С.С. Валландер - Лекции по статистике и эконометрике (1160549), страница 27
Текст из файла (страница 27)
. . , Xk1 ).Линейная регрессионная модель161⊥Обозначим его Y∗ . Точно так же, столбцы матрицы P(1)X(2) можнорассматривать как остатки от проектирования регрессоров второйгруппы на L(X(1) ). Обозначим эту матрицу остатков X∗ . Тогда (6.14)приобретает вид, сходный с (6.6):00X∗ X∗ β̂(2) = X∗ Y∗ .(6.140 )Матрица X∗ имеет линейно независимые столбцы, в чем легко убедиться,выражая эти столбцы через первоначальные регрессоры X1 , . . .
, Xk .Действительно,X∗ = X(2) − P(1) X(2) = X(2) − X(1) L,т. к. столбцы матрицы P(1) X(2) — линейные комбинации регрессоровпервой группы, т. е. представляются в виде X(1) Lj , где Lj — некоторыевекторы коэффициентов — столбцы матрицы L. Рассмотрим линейнуюкомбинацию X∗ γ столбцов матрицы X∗ . Она представляется в видеX(2) γ − X(1) Lγ и равна нулю только при γ = 0 (регрессоры X1 , . .
. , Xkлинейно независимы).Из доказанной линейной независимости столбцов X∗ следуют00обратимость матрицы X∗ X∗ и возможность разрешить уравнение (6.14 ):00β̂(2) = (X∗ X∗ )−1 X∗ Y∗ .(6.15)В неявном виде эта разрешимость, конечно, следует из разрешимостисистемы (6.6) для полного набора оценок β̂.Теперь, подводя итог, мы можем интерпретировать изложенную схемуследующим образом. На первом шаге процедуры строятся регрессииY на X(1) и каждого столбца матрицы X(2) на X(1) .
На втором шагестроится регрессия остатков Y∗ регрессии первого шага на X∗ — матрицуостатков остальных регрессий первого шага. Полученные на второмшаге оценки β̂(2) — искомые оценки коэффициентов регрессии из второйгруппы.Возвращаясь к первой группе коэффициентов, мы можем теперьнаписать00(6.151 )β̂(1) = (X(1) X(1) )−1 X(1) (Y − X(2) β̂(2) )Рассмотрим теперь частный случай, упомянутый в начале параграфа— X(1) = X1 = 1→ . Тогда на первом шаге строятся регрессии наконстанту, остатками от которых являются векторы отклонений y =Y − Ȳ → , xj = Xj − X̄j→ (j = 2, .
. . , k). На втором шаге строится регрессия162Глава 6вектора y на укороченный набор новых регрессоров x2 , . . . , xk . Формулу(6.15) можно записать в виде (x — матрица, составленная из столбцовx2 , . . . , xk )00β̂(2) = (x x)−1 x y(6.16)— оценка коэффициентов линейной регрессии в отклонениях. Дляоставшегося коэффициента β1 теперь легко получаемβ̂1 = Ȳ − β̂2 X̄2 − · · · − β̂k X̄k .(6.161 )Очевидно, (6.15) и (6.16) обобщают ранее полученные формулы (6.10).Из формул (6.16) получаем такжеŶ = β̂1→ + β̂2 X2 + · · · + β̂k Xk = Ȳ → + β̂2 x2 + · · · + β̂k xk .(6.17)Отсюда следует, что Ŷ = Ȳ (для парной регрессии это было полученов параграфе 6.4).
Действительно, нужное соотношение непосредственновытекает из очевидных равенств x̄2 = · · · = x̄k = 0.Мы будем использовать блочную регрессию при обсуждении проблемспецификации (см. параграф 6.12).6.10КоэффициентпрогнозадетерминацииикачествоВ этом параграфе мы предполагаем, что X1 = 1→ .Наиболее короткое определение коэффициента детерминации —квадрат выборочного коэффициента корреляции между фактическими(Y ) и прогнозными (Ŷ ) значениями объясняемой величины. Отсюдапроисходят обозначение R2 и соответствующая формула.
Длявычисления,впрочем, используется несколько иная формула00ŷ ŷε̂ ε̂R = 0 =1− 0 ,yyyy2которая получается несложными преобразованиями.Запишем сначала по определению0(y ŷ)22R = 0y y · ŷ 0 ŷ.Поскольку Ŷ = Ȳ , имеемy = Y − Ȳ → = Ŷ + ε̂ − Ȳ → = ŷ + ε̂.(6.18)Линейная регрессионная модельПоэтому163000y ŷ = (ε̂ + ŷ) ŷ = ŷ ŷ(мы воспользовались ортогональностью остатков ε̂ с прогнознымвектором Ŷ и регрессором X1 = 1→ ). Теперь из определениякоэффициента детерминации получаем00000ŷ ŷ(y − ε̂) (y − ε̂) y y − ε̂ ε̂ε̂ ε̂R = 0 ===1− 0 ,00yyyyyyyy2что и требовалось доказать.Если вспомнить, что разложение Y = Ŷ + ε̂ определяетсяне набором регрессоров, а порожденным ими подпространствомL(X1 , .
. . , Xk ), определение коэффициента детерминации (в любойформе) без изменения переносится на чуть более общий случай —когда 1→ лежит в этом подпространстве (но не обязательно являетсярегрессором).Из определения R2 непосредственно вытекает неравенство0 ≤ R2 ≤ 1.Можно еще отметить, что коэффициент корреляции R между Y и Ŷнеотрицателен и сам по себе (без возведения в квадрат), т.к. прогнозŶ не хуже прогноза без использования регрессоров — посредствомŶ → .
Крайнее значение R2 = 1 означает совпадение Y = Ŷ , ожидатьэтого равенства вряд ли целесообразно. Другое крайнее значениеR2 = 0 свидетельствует о незначимом вкладе регрессоров X2 , . . . , Xk вобъяснение — см. ниже обсуждение проверки соответствующей гипотезы.При добавлении в модель новых регрессоров коэффициентдетерминации может лишь увеличиться — сумма квадратов остатковуменьшается.Принято считать, что выражение0yy=NX(Yi − Ȳ )2i=1(оно иногда называется вариацией) характеризует изменчивостьвеличины Y .
В этих терминах R2 показывает, какую часть вариации00y y составляет объясненная моделью часть вариации ŷ ŷ. Хотятрадиционная эконометрика считает коэффициент детерминациидостаточно важной характеристикой модели (скажем, его значение164Глава 6вычисляется эконометрическими пакетами), роль коэффициента R2 неследует преувеличивать. Все авторы учебников подробно объясняютпроблемы, возникающие в связи с его использованием.Во-первых, различные варианты определения перестают совпадать,если константа не лежит в подпространстве регрессоров.
Приемлемогоопределения в этом случае дать не удается.Во-вторых, R2 не инвариантен относительно выбора объясняемойвеличины. Действительно, возьмем в качестве новой объясняемойвеличины Y∗ = Y − Xα, где α — некоторый (известный) векторкоэффициентов. Тогда наша модель приобретет видY∗ = Xβ∗ + ε,причем, очевидно, β∗ = β − α. Вектор остатков ε̂ = P ⊥ ε в обоихслучаях один и тот же (матрица P ⊥ не связана с выбором объясняемойвеличины). Однако вектор y∗ = y − xα совсем не обязан иметь ту жедлину, что и y. Поэтому и0ε̂ ε̂R∗2 = 1 − 0y∗ y∗не обязан совпадать с R2 .
В то же время прогнозные свойства обеихмоделей одинаковы:Ŷ∗ = P Y∗ = P Y − P Xα = Ŷ − Xα.По-существу, мы имеем дело с двумя представлениями одной модели, ане с двумя моделями.В-третьих, несмотря на кажущуюся объективность этойхарактеристики качества модели (мы имеем в виду безразмерностьR2 ), коэффициент детерминации можно сделать сколь угодно близкимк единице (или даже равным ей), если присоединить к моделидополнительные регрессоры в достаточном числе.
При этом совершенноне требуется, чтобы эта операция имела какой-нибудь содержательныйэкономический смысл, главное — линейная независимость регрессоров.В учебной литературе обсуждается так называемый подправленный илискорректированный (adjusted) на число регрессоров коэффициент:N −1(1 − R2 ),N −kкоторый далее использоваться не будет. Убедительного объяснения2именно такой формулы для Radjмы не нашли.21 − Radj=Линейная регрессионная модель165Наиболее важным применением коэффициента детерминацииявляется использование его при тестировании значимости регрессионноймодели в целом — при проверке гипотезы H0 : β2 = · · · = βk = 0. Опишемэто применение более подробно.Как уже было отмечено выше, о малой значимости регрессиисвидетельствуют малые значения R2 .
Остается (предполагая ошибкинормально распределенными) связать с R2 одно из традиционныхшаблонных распределений. Формулы (6.18) позволяют сделать это безтруда. Действительно,0ŷ ŷR2 = 0 ,yy0ε̂ ε̂1 − R2 = 0 .yyДеля первое равенство на второе, получаем00R2ŷ ŷŷ ŷ/σ 2= 0 = 0.1 − R2ε̂ ε̂ε̂ ε̂/σ 2(6.19)При этом для модели с нормально распределенными ошибкамичислитель и знаменатель последней дроби независимы и распределеныпо закону χ2 .
Действительно, мы уже проверяли в параграфе 6.7независимость β̂ и ε̂, откуда следует независимость ŷ и ε̂, а, тем самым, ижелаемая независимость числителя и знаменателя. Там же установлено,0что ε̂ ε̂/σ 2 распределена по закону χ2N −k . Остается разобраться счислителем.Заметим сначала, что согласно формуле (6.17)ŷ = β̂2 x2 + · · · + β̂k xk ,так что Eŷ = β2 x2 + · · · + βk xk . Последнее выражение равнонулю в предположении справедливости H0 . Кроме того, очевидно,вектор ŷ нормально распределен. Вычислим, снова в предположениисправедливости H0 , его матрицу ковариаций0cov(ŷ) = E(ŷ ŷ ).00Будем при этом использовать обозначение P(2) = x(x x)−1 x в духепараграфа 6.9. Геометрический смысл матрицы P(2) фактически ужебыл получен в 6.9 — это матрица проектирования на (k − 1)-мерноеподпространство в L(X1 , .
. . , Xk ), состоящее из векторов, ортогональныхX1 = 1 → .166Глава 6Заметим еще, что согласно формулам (6.17) и (6.16) из параграфа 6.900ŷ = xβ̂(2) = x(x x)−1 x y = P(2) y.Кроме того,y − Ey = (Y − EY ) − (Ȳ − EȲ )→ = ε − (ε̄)→ .Легко сообразить, что P(2) (ε̄)→ = 0. Поэтому0cov(ŷ) = E[P(2) (ε − (ε̄)→ )(ε − (ε̄)→ ) P(2) ]00= E[P(2) εε P(2) ] = P(2) E[εε ]P(2) = σ 2 P(2) .0Теперь утверждение о том, что величина ŷ ŷ/σ 2 распределена позакону χ2k−1 , доказывается тем же рассуждением, что и аналогичное0утверждение для ε̂ ε̂/σ 2 в параграфе 6.7 (напомним, что мы рассуждаемв предположении справедливости гипотезы H0 , так что Eŷ = 0).Возвращаясь, наконец, к (6.19), заключаем, что дробьR2 /(k − 1)N − k R2=(1 − R2 )/(N − k)k − 1 1 − R2имеет распределение Фишера Fk−1,N −k .
Остается взять нужнуюпроцентную точку F-распределения и зафиксировать критическуюобласть теста видаR2≥ const.1 − R2Упражнение. Используя блочную регрессию общего вида, обобщитьпроведенное рассуждение и доказать, что в предположениисправедливости гипотезы β(2) = 0 дробь2(R2 − R(1))/k2(1 − R2 )/(N − k)0=0(ε̂(1) ε̂(1) − ε̂ ε̂)/k2ε̂0 ε̂/(N − k)имеет распределение Фишера Fk2 ,N −k .6.11Индикаторные величины в линейной моделиИндикаторными или сигнальными мы называем величины,принимающие только два значения — 0 и 1 (английский термин —dummy; в русскоязычных текстах можно встретить крайне неудачныйЛинейная регрессионная модель167перевод "фиктивная— и неверно по сути, и бессмысленно).
Величинытакого сорта появляются во многих случаях, когда неоднородностьэмпирических данных имеет "групповой"характер, и мы пытаемсяучесть ее, не выходя за рамки классической модели. Рассмотримнесколько стандартных примеров.Пример 1. Индикатор военного времени. Если эмпирические данныепредставляют собой временной ряд (например, годичныеданные), включающий, скажем, показатели, относящиеся кпромежутку между двумя мировыми войнами, к периодувторой мировой войны и к послевоенному периоду, томожет оказаться важным выделение военного времени.Это можно сделать следующим образом. Рассмотриминдикаторную величину I, принимающую значение Ii = 1для военных лет, и значение Ii = 0 для остальных.
С еепомощью каждый регрессор Xj , для которого различиямирного и военного времени кажутся нам существенными,порождает парную величину IXj , которая включаетсяв линейную модель со своим коэффициентом γj . Такимобразом, модель включает слагаемые βj Xj и γj IXj ,которые учитывают различия мирного и военного временина уровне коэффициентов. Для мирных лет в моделиприсутствует слагаемое βj Xj , а для военных — слагаемое(βj + γj )Xj .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
