МУЛЬТИКОЛЛИНЕАРНОСТЬ

1. МУЛЬТИКОЛЛИНЕАРНОСТЬ

2. МК – это название проблемы, которая возникает, когда в уравнении регрессии две или более объясняющих переменных либо связаны между собой точной линейной зависимостью, либо сильно коррелированны.

3. При наличии в уравнении регрессии МК: • оценки коэффициентов становятся ненадежными, • их интерпретация оказывается проблематичной.

4. Коэффициент при любом регрессоре модели множественной регрессии представляет «чистое» влияние данного регрессора на зависимую переменную. «Чистое» - означает «при неизменности других регрессоров модели».

5. Но при МК два или более регрессоров действуют «в унисон». При изменении одного коррелированного регрессора, другой коррелированный регрессор не может оставаться неизменным. Поэтому становится почти невозможно выделить «чистое» воздействие на зависимую переменную каждого из этих регрессоров. Поэтому оценки коэффициентов оказываются очень неточными.

6. МК возникает в силу разных причин. Она особенно вероятна при оценке регрессии: • по малым выборкам • или по временным рядам.

7. А. СОВЕРШЕННАЯ МК Объясняющие переменные связаны строгой линейной зависимостью. В этом случае определить коэффициенты уравнения регрессии становится невозможно.

9. Пример Y = 1+ 2*X2 + 3*X3 + u Пусть X3 = * X2, где  = const, например, X3 = 3* X2. Тогда Y = 1 + 2*X2 + 3*3*X3 + u = = 1 + (2 + 3*3)*X2 + u = 1 + /2*X2 + u. Для коэффициентов 1 и /2 можно по выборке получить МНК-оценки b и b/2.

10. Но b/2= b2 + 3* b3 - это одно уравнение с двумя неизвестными b2 и b3, которое имеет бесконечно много решений.

11. Б. НЕСОВЕРШЕННАЯ МК В уравнении регрессии два или более регрессоров связаны линейно (коррелированны) не строго, но так сильно, что это сказывается на оценках коэффициентов при коррелированных переменных.

13. Следствия МК

14. МНК-оценки коэффициентов регрессии по-прежнему остаются наилучшими линейными несмещенными оценками. • Дисперсии, а значит с.о. коэффициентов при коррелированных регрессорах увеличиваются, их t-статистики уменьшаются, оценки коэффициентов становятся незначимыми.

15. Это легко видеть из формул: и tстат = (bi - H0) / с.о.(bi)

16. Величина (variance inflating factor) показывает, как увеличивается дисперсия оценки коэффициента из-за МК.

18. Оценки коэффициентов при коррелированных регрессорах получают неправильные с точки зрения теории знаки или неоправданно большие значения. • Оценки коэффициентов при коррелированных регрессорах становятся очень чувствительны к конкретной выборке и к спецификации уравнения . При самом небольшом изменении выборки значения коэффициентов могут очень сильно меняться. То же при добавлении новых переменных в уравнение

19. Общая значимость модели практически не затрагивается. Т. е. значения R2или R2adjи соответствующей F–статистики или вообще не изменяются или изменяются мало. Благодаря этому уравнения, подверженные МК, могут быть использованы для прогноза (если коллинеарность регрессоров сохраняется такой же и для периода прогноза).

20. Оценки коэффициентов при некоррелированных регрессорах МК не затрагивает.

21. Ci - среднегодовые потребительские расходы i–го студента; Yi - годовой располагаемый доход i–го студента; LAi - ликвидные активы семьи i–го студента. = -367,83 + 0,5113*Yi + 0,0427*LAi; R2adj = 0,835 (1,0307) (0,0942) = -471,43 +0,9714*Yi; R2adj = 0,861 (0,157) rY,LA = 0,986

22. Функция Кобба-Дугласа, оцененная для США 1899-1922 гг. = -0,18 + 0,23*lnK + 0,81*lnL; R2 = 0,96 (0,43) (0,06) (0,15) = 2,81 – 0,53*lnK + 0,91*lnL +0,047*t; (1,38) (0,34) (0,14) (0,021) R2 = 0,97 rlnK,t = 0,997

26. Выявление МК

27. Классический признак МК. Сочетание в уравнении нескольких (или всех) мало значимых коэффициентов с высокой значимостью всей модели (высокие значения R2и F–статистики) указывает на возможность МК. • Неожиданные знаки или значения коэффициентов указывают на возможность МК.

28. Если для каких-то пар регрессоров коэффициенты корреляции окажутся высокими – МК возможна. • Возможно, что взаимосвязаны сразу несколько регрессоров, но попарной связи между ними нет. Тогда проводят анализ вспомогательных регрессий, т.е. регрессий каждой из объясняющих переменных на все остальные объясняющие переменные.

29. Пусть, например, Y = 1+ 2*X2 + 3*X3 +4*X4+ u и = b1+ b2*X2 +b3*X3 +b4*X4. Для обнаружения МК строят и оценивают три вспомогательные регрессии: = b1/ +b/3*X3 + b/4*X4; R22 = b1// + b//2*X2 + b//4*X4; R23 = b1/// + b///2*X2 + b///3*X3; R24

30. Если какие-то из R2i, i =2, 3,4, имеют высокие значения, проблема МК возможна. • Расчет коэффициентов увеличения дисперсии – VIF. После расчета вспомогательных регрессий рассчитывают VIF (bi) = 1 / (1- R2i), i=2,3,4 (в общем случае до k). Чем больше VIF (bi) для какого-то bi, тем вероятнее проблема МК.

31. Большими считаются VIF > 5, хотя иногда МК возможна и при VIF < 5.

32. Что Делать В Случае МК?

33. Не делать ничего. Все кардинальные методы борьбы с МК имеют свои недостатки. Поэтому иногда бывает лучше не принимать никаких мер против МК. Особенно, когда из-за МК t-статистики хотя и уменьшаются, но коэффициенты все-таки остаются значимыми.

34. Отбросить одну или более из коррелированных переменных. Это самый радикальный способ борьбы с МК. Ясно, что в этом случае МК и ее последствия пропадают, но коэффициент при оставшейся переменной получает смещение, т.к. теперь измеряет не только свое «чистое» влияние на Y, но и влияние на Y всех отброшенных переменных.

35. Преобразование коррелированных переменных. • Образовать линейную комбинацию коррелированных переменных. Пусть Y = 1 + 2*X2 + 3* X3 + u и X2 и X3 сильно коррелированны. Тогда вместо X2 и X3 можно ввести Z = 2*X2 + 3*X3, но надо хорошо обосновать выбор 2 и 3.

36. Переход к первым разностям. Применяется в уравнениях, построенных по временным рядам. Например, для модели Yt = 1+ 2*X2t + 3*X3t + u вместо переменных Yt, X2t и X3t рассматривают Yt = Yt – Yt-1, Xjt = Xjt-Xjt-1, j=2, 3, т. е. переходят к модели: Yt = 2*  X2t + 3*  X3t+ u/.

37. Иногда помогает переход к другим функциональным формам. При использовании метода 3 надо иметь в виду, что при преобразовании переменных может измениться теоретический смысл модели.

38. Использование внешней информации. • Теоретические ограничения – допущения о величине коэффициента или связи между коэффициентами.Например, в примере с функцией Кобба-Дугласа можно устранить последствия МК , если допустить, что  +  = 1. Тогда: = -0,11 + 0,11* ln(K/L) + 0,006 *t (0,03) (0,03) (0,006) R2 = 0,65

39. Оценки для коэффициентов при ln(K/L) и t теперь более реалистичны.

40. Внешние эмпирические оценки. Пусть модель Y = 1 + 2*X2 + 3* X3 + u (*) оценивается по выборке (Yi, X2i, X3i), i = 1,…,n : = b1 + b2*X2 +b3*X3 причем rX2,X3высокий и проявляется сильная МК.

41. Однако из другого (корректного) исследования соотношения Y и X по другой выборке Вы имеете оценку: = b1/ + b/2*X2. Тогда вместо (*) рассматривается модель: Y = 1 + b/2*X2 + 3*X3 + u, или = (Y – b/2*X2) =  + 3*X3 + u, которая оценивается по выборке (Yi – b/2*X2i, X3i), i = 1 ,…, n : = b1+ b3*X3 (**).

42. Т. е. для 1 и 3из (*) получаются оценки b1 и b3из (**), а для 2 используется внешняя эмпирическая оценка b/2.

43. Методы, связанные с уменьшением с.о. коэффициентов. • Увеличить размер выборки n. • Максимизировать дисперсию регрессоров (Var(Xi)) в выборке.

44. Поискать выборку, в которой rX2,X3был бы как можно меньше. • Сократить σu2. Например, если опущена существенная переменная, то ее введение в уравнение сократитσu2 и может помочь с проблемой МК.

45. Все сказанное для моделей с 2-я или 3-я регрессорами переносится на случай моделей с k-1 регрессором X2, …, Xk.

46. Замечания: • Сильная коррелированность факторов иногда не дает никаких плохих последствий для оценки модели. В этом случае учитывать МК и бороться с ней не надо.

47. МНК и при МК дает наилучшие возможные оценки модели регрессии. Только из-за МК это наилучшее оказывается плохим. МК – это порок данных, но не порок метода.

48. Следует помнить, что незначимость какого-то фактора – это не всегда следствие МК. Может быть, данный фактор действительно не влияет на зависимую переменную.

49. МК в моделях с ФП, принимающими более двух значений. Пример с производством электроэнергии в РФ. Y=β1+β2*t+β3*Весна+β4*Лето+β5*Осень+β6*Зима+ u =β1*X1+β2*t+β3*Весна+β4*Лето+β5*Осень+β6*Зима+ u где Х1≡1 для всех наблюдений выборки. В такой модели присутствует совершенная МК, т.к. для любого объекта (месяца) выборки выполняется: Х1= Весна + Лето + Осень + Зима (≡1)