С.С. Валландер - Лекции по статистике и эконометрике (1160549), страница 26
Текст из файла (страница 26)
Во-первых, появляется возможность включить оценкинаименьших квадратов в общую схему метода максимальногоправдоподобия и сравнивать их не только с линейными оценками.Во-вторых, с нормальным распределением связаны другие, хорошоизвестные в статистике, распределения — хи-квадрат, Стьюдента,Фишера, которые сразу начинают работать.Начнем с обсуждения метода максимального правдоподобия. Всделанных предположениях наблюдаемый вектор Y имеет нормальноераспределение N(Xβ, σ 2 1).
Соответствующая функция правдоподобияимеет видL(β, σ 2 ) =N ·Yi=1(Yi −(Xβ)i )21√ e− 2σ2σ 2π¸= (2π)¸10exp − 2 (Y − Xβ) (Y − Xβ) .2σ·−N/2 −NσПоэтому максимизировать ее по β — то же самое, что минимизировать0сумму квадратов (Y − Xβ) (Y − Xβ). Таким образом, оценка β̂метода наименьших квадратов оказывается одновременно и оценкоймаксимального правдоподобия.
Далее,· 0 ¸ε̂ ε̂L(β̂, σ 2 ) = (2π)−N/2 σ −N exp − 2 .2σ156Глава 6Отсюда находится оценка максимального правдоподобия для σ 2 :0ε̂ ε̂=.NКак и следовало ожидать, она смещенная (см. предыдущий параграф).Ее исправление дает несмещенную оценку s2 , обсуждавшуюся выше.С помощью многомерного неравенства Рао–Крамера можно доказать,что β̂ — эффективная оценка в классе всех (не обязательно линейных)несмещенных оценок вектора β.
Утверждение о том, что s2 —эффективная несмещенная оценка дисперсии σ 2 , тоже верно, но для егодоказательства приходится применять более сложные методы — теориюдостаточных статистик (достаточная статистика в нашей ситуации00имеет вид (Y Y, X Y )). Мы не приводим деталей соответствующихрассуждений, оставляя их для самостоятельного исследования наиболееподготовленными читателями.Перейдем теперь к свойствам оценок β̂ и s2 . Прежде всего,00 0заметим, что они независимы.
Действительно, случайный вектор (β̂ , ε̂ )нормально распределен. Согласно формуле (6.13) подвекторы β̂ и ε̂ не0коррелируют. Следовательно, они независимы. А тогда и s2 = ε̂ ε̂/(N −k)не зависит от β̂.0Докажем теперь, что случайная величина ε̂ ε̂/σ 2 распределена по хиквадрат с N − k степенями свободы. Мы уже проверяли в параграфе6.3, что ε̂ = P ⊥ ε. Выберем ортогональный нормированный базисe1 , . . . , eN −k в подпространстве L⊥ (X1 , . . . , Xk ), где принимает значения0ε̂.
Пусть e — матрица, составленная из столбцов e1 , . . . , eN −k . Тогда e ε̂— вектор размерности N − k, составленный из координат вектора ε̂ в0базисе e1 , . . . , eN −k . Очевидно, e ε̂ нормально распределен и центрирован.Вычислим его матрицу ковариаций2σML000000cov(e ε̂) = E[e ε̂(e ε̂) ] = e E(ε̂ε̂ )e =00= σ 2 e P ⊥ e = σ 2 e e = σ 2 1N −k0(мы воспользовались вычисленным в параграфе 6.6 значением E(ε̂ε̂ ) =σ 2 P ⊥ , а также тем, что P ⊥ действует тождественно на векторы базиса0000e1 , .
. . , eN −k ). Заметим теперь, что суммы квадратов ε̂ ε̂ и (e ε̂) · (e ε̂)дают одну величину — квадрат длины вектора ε̂. Отсюда получаем, что−20σ ε̂ ε̂ = σ−2N−kXj=10(ej ε̂)2Линейная регрессионная модель1570имеет распределение χ2N −k . Действительно, величины σ −1 ej ε̂ имеютстандартное нормальное распределение и независимы.Теперь мы получаем возможность построения доверительныхинтервалов для коэффициентов регрессии βj и совместныхдоверительных областей для них. Ограничимся пока описаниемконструкции доверительных интервалов.
Мы знаем, что0β̂j ∈ N(βj , σ 2 [(X X)−1 ]jj ),(N − k)s2∈ χ2N −k ,2σи эти величины независимы. Поэтому√β̂j −βj√V(β̂j )N − kq(N −k)s2σ2β̂j − βj= ps [(X 0 X)−1 ]jjимеет распределение Стьюдента tN −k . Выбирая по доверительнойвероятности 1 − α соответствующее табличное значение zα ((1 −α/2)–квантиль распределенияСтьюдента), мы получаем доверительныйp0интервал вида β̂j ±zα s [(X X)−1 ]jj для коэффициента βj . При большомчисле степеней свободы распределение Стьюдента, как обычно, можетбыть заменено нормальным.Доверительный интервал позволяет проверять гипотезу вида βj =βj0 .
Для этого достаточно лишь выяснить, попадает ли гипотетическоезначение βj0 в построенный доверительный интервал. Гипотезаотвергается на уровне α, если гипотетическое значение βj0 не попадаетв доверительный интервал.Проверка более сложных гипотез, включающих линейные комбинациикоэффициентов регрессии, обсуждается в следующем параграфе.Доверительный интервал для σ 2 строится непосредственно по χ2 распределенной дроби (N − k)s2 /σ 2 . Мы предполагаем, что читательможет проделать это самостоятельно.Без предположения о нормальности ошибок оба специальныхраспределения — Стьюдента и хи-квадрат — исчезают, однакочасто предполагают, что при больших N изложенные рецепты дают"приближенные"доверительные интервалы.1586.8Глава 6Проверка линейных гипотез общего видаПростейшие гипотезы вида βj = βj0 о коэффициентах регрессии,рассмотренные выше, составляют лишь малую часть содержательныхлинейных гипотез.
Обозначим на уровне идей ряд примеров, в которыхпоявляются гипотезы другого вида.Гипотеза β2 +β3 = 1 появляется в связи с производственной функциейКобба–Дугласа.Гипотеза β2 + β3 = 0 может проверяться в модели, где X2 — ставкабанковского процента, а X3 — уровень инфляции.Гипотеза β2 = β3 = · · · = βk = 0 появляется при выяснении вопроса означимости всей регрессионной связи.Общая формулировка линейной гипотезы о коэффициентах имеетследующий вид:H0 : Rβ = γ.Здесь R — матрица коэффициентов, имеющая k столбцов.
Каждаяее строка (будем считать, что число строк равно r) задает линейноеограничениеRl1 β1 + · · · + Rlk βk = γl ,l = 1, . . . , r.Без ограничения общности можно считать, что строки матрицыограничений R линейно независимы, так что r ≤ k (как правило числоограничений значительно меньше k).Как и в предыдущем параграфе, мы будем предполагать, что ошибкинормально распределены. Для построения теста проверки гипотезыH0 воспользуемся тем, что случайный вектор Rβ̂ распределен понормальному закону с математическим ожиданием Rβ и матрицейковариаций0cov(Rβ̂) = E(Rβ̂ − Rβ)(Rβ̂ − Rβ) =000= Rcov(β̂)R = σ 2 R(X X)−1 R .Легко проверить, что эта матрица невырождена. Действительно, она00представляется в виде R∗ R∗ , где R∗ = R(X X)−1/2 — матрица полногоранга r.
Отсюда следует, что нормально распределенный вектор00(R(X X)−1 R )−1/2 (Rβ̂ − Rβ)Линейная регрессионная модель159σ 2 1r .центрирован и имеет матрицу ковариацийнормализованная сумма квадратов его компонент00Поэтому0σ −2 (Rβ̂ − Rβ) (R(X X)−1 R )−1 (Rβ̂ − Rβ)распределена по закону χ2r . В предыдущем параграфе установлено, чтослучайная величина(N − k)s2σ2также распределена по хи-квадрат (с N − k степенями свободы) ичто она не зависит от вектора оценок β̂.
Вспоминая, что отношениенезависимых хи-квадрат величин, деленных на соответствующие числастепеней свободы, имеет F-распределение Фишера, получаем, что впредположении H0 дробь000(Rβ̂ − γ) (R(X X)−1 R )−1 (Rβ̂ − γ)/rs2распределена по закону Fr,N −k . Большие значения этой дроби образуюткритическую область искомого теста. Точно так же, неравенства вида000(Rβ̂ − γ) (R(X X)−1 R )−1 (Rβ̂ − γ) ≤ constзадают совместные доверительные области для компонент вектора Rβ,ограниченные эллипсоидами (поверхностями второго порядка).
В обоихслучаях используются процентные точки F-распределения.Описанные в предыдущем параграфе доверительные интервалыукладываются в нашу теперешнюю схему в качестве частного случая,т.к. имеет место "символическое"равенство:(tN −k )2 = F1,N −k .Тестирование вызывающей особый интерес гипотезы β2 = · · · = βk = 0детально обсуждается в параграфе 6.10.6.9Блочная регрессияРассмотрим модель, внепересекающихся блока:которойрегрессорыX = (X(1) , X(2) ),разбитынадва160Глава 6содержащих, соответственно, k1 и k2 регрессоров (k1 + k2 = k). Дляопределенности будем предполагать, что X(1) состоит из первых k1регрессоров.Вектор коэффициентов β при этом также разбивается на подвекторыβ(1) и β(2) .
Мы получим двухэтапную процедуру построения подвектораβ̂(2) оценок наименьших квадратов, обобщающую схему, изложенную впараграфе 6.4. Важнейший частный случай (ср. с §6.4) — X(1) = X1 =1→ , X(2) = (X2 , . . . , Xk ), однако мы увидим в дальнейшем, что блочнаяструктура оказывается полезной и совсем в других контекстах.Запишем формулу (6.6) для оценок наименьших квадратов в блочнойформе: 0Ã 0! β̂ 0XY(1)X(1) X(1)X(1) X(2) (1) =,000X(2) X(1)X(2) X(2)X(2) Yβ̂(2)так что000X(1) X(1) β̂(1) + X(1) X(2) β̂(2) = X(1) Y,000X(2) X(1) β̂(1) + X(2) X(2) β̂(2) = X(2) Y.Поскольку регрессоры первой группы линейно независимы, матрица0X(1) X(1) обратима. Выражая β̂(1) из первого уравнения и подставляя вовторое, получаем000000X(2) X(1) (X(1) X(1) )−1 [X(1) Y − X(1) X(2) β̂(2) ] + X(2) X(2) β̂(2) = X(2) Y.Производя перегруппировку, запишем это равенство в виде0000[X(2) X(2) − X(2) X(1) (X(1) X(1) )−1 X(1) X(2) ]β̂(2)0000= X(2) Y − X(2) X(1) (X(1) X(1) )−1 X(1) Y.Вводя естественные обозначения00P(1) = X(1) (X(1) X(1) )−1 X(1) ,получаем0⊥P(1)= 1 − P(1) ,0⊥⊥Y,X(2) P(1)X(2) β̂(2) = X(2) P(1)откуда00⊥⊥⊥⊥(P(1)X(2) ) (P(1)X(2) )β̂(2) = (P(1)X(2) ) (P(1)Y ).(6.14)⊥Вектор P(1)Y можно рассматривать как вектор остатков отпроектирования Y на подпространство L(X(1) ) = L(X1 , .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
