С.С. Валландер - Лекции по статистике и эконометрике (1160549), страница 32
Текст из файла (страница 32)
Более того, стационарные решенияуравнения (7.4), отличные от нулевого, существуют не для всех наборовкоэффициентов. Для выяснения этого вопроса выпишем уравнения,которым должны подчиняться дисперсия γ0 = E(ε2t ) и ковариацииγk = E(εt εt−k ), k ≥ 1, центрированной стационарной последовательности{εt }, удовлетворяющей авторегрессионному уравнениюεt = φ1 εt−1 + · · · + φp εt−p + ut(7.5)(общий случай уравнения (7.4) с δ 6= 0 рассматривается почти так же).Итак,γ0 = E(ε2t ) = E[εt (φ1 εt−1 + · · · + φp εt−p + ut ] == φ1 γ1 + · · · + φp γp + E[(φ1 εt−1 + · · · + φp εt−p + ut )ut ]= φ1 γ1 + · · · + φp γp + σu2 ,γ1 = E(εt εt−1 ) = E[(φ1 εt−1 + · · · + φp εt−p ) + ut )εt−1 ] == φ1 γ0 + φ2 γ1 + · · · + φp γp−1 ,γ2 = · · · = φ1 γ1 + φ2 γ0 + φ3 γ1 + · · · + φp γp−2 ,γp = φ1 γp−1 + φ2 γp−2 + · · · + φp γ0 .Выписанные уравнения образуют замкнутую систему из p + 1 уравненийс таким же числом неизвестных.
Они называются уравнениями ЮлаУолкера (Yule-Walker equations). Остальные ковариации рекуррентнонаходятся через γ0 , γ1 , · · · , γp при помощи аналогичных соотношенийγp+k = E(εt εt−p−k ) = φ1 γp+k−1 + · · · + φp γk(7.6)190Глава 7Легко установить, что даже в простейшем случае p = 1 уравнения ЮлаУолкера могут не иметь подходящего решения. Действительно, при p = 1имеемγ0 = φ1 γ1 + σu2 , γ1 = φ1 γ0 ,(7.7)откудаσu2.γ0 =1 − φ21(7.8)Если |φ1 | > 1, то решение системы (7.7) не имеет вероятностногосмысла (дисперсия γ0 должна быть положительной), а при |φ1 | = 1решение вообще не существует.
Если |φ1 | < 1, мы получаем осмысленныевыражения для γ0 и γ1 . Более того, из (7.6) легко найти γs = φs1 γ0(s = 1, 2, · · · ). Последовательности {εt } с такими ковариационнымихарактеристиками действительно существуют. Построить {εt } можно,опираясь на следующие наводящие соображения. Из формулы (7.5) приp = 1 следует, чтоεt = φ1 (φ1 εt−2 + ut−1 ) + ut = · · · = ut + φ1 ut−1 + · · · + φs1 ut−s + φs+11 εt−s−1 .Формально устремляя s → ∞, можно предположить, чтоεt =∞Xφs1 ut−s .s=0Нетрудно проверить, что последний ряд сходится (в среднемквадратичном) и что его сумма стационарна и удовлетворяетавторегрессионному соотношению, а потому имеет требуемыековариации3 .Для авторегрессии произвольного порядка p можно получитьаналогичные условия существования стационарной последовательности,удовлетворяющей (7.5).
Рассмотрим так называемое характеристическоеуравнениеλp − φ1 λp−1 − · · · − φp−1 λ − φp = 0.Для того чтобы уравнение (7.5) имело стационарное (в слабомсмысле) решение, необходимо и достаточно, чтобы все корнихарактеристического уравнения лежали в открытом единичном круге{λ ∈ C : |λ| < 1} плоскости комплексных чисел4 . Мы не будем3Мы не останавливаемся на этом подробно, поскольку обсуждение увело бы нас слишком всторону от основной темы4В этой формулировке предполагается, что белый шум {ut } не вырожден, т.е. σu 6= 0.Анализ регрессионных предположений191доказывать это утверждение. Отметим однако, что один из подходов кдоказательству — обобщить рассуждения, изложенные выше для p = 1.Совокупность стационарных последовательностей, удовлетворяющих(7.5) (или, более общим образом, (7.4)) часто обозначается AR(p).Перейдем теперь к обсуждению свойств линейной регрессионноймодели с ошибками класса AR(p), или, как еще говорят, савтокорреляцией ошибок порядка p.
Помимо собственно свойствэтой модели, следует обсудить вопросы о том, как выбрать p, и о том,есть ли вообще необходимость в допущении автокорреляции ошибок.Мы уже указывали в предыдущем параграфе, что обычные оценкинаименьших квадратов для коэффициентов β остаются несмещенными,хотя и перестают, вообще говоря, быть эффективными. Сейчас у нас естьвозможность дополнить это обсуждение.В предположениях настоящего параграфа главной характеристикойошибок по-прежнему является дисперсия γ0 = σε2 , не зависящая отномера наблюдения.
К сожалению, оценка этой дисперсии через суммуквадратов остатков, изучавшаяся в главе 6, перестает быть несмещенной.Более того, во многих типичных ситуациях смещение оказываетсяотрицательным (об этом можно прочитать в [4], гл.8, или в болеепозднем издании [23]; в [9], гл.6, излишне категорично утверждается, чтосмещение всегда отрицательно). Недооценка дисперсии ошибок можетпривести к разнообразным заблуждениям при реализации последующихстатистических процедур, например, при определении статистическойзначимости коэффициентов регрессии.Обратимся теперь к обобщенному методу наименьших квадратов(см.
параграф 4). Если коэффициенты авторегрессии φ1 , · · · , φp считатьизвестными (мы используем все тот же учебный прием — начать с болеепростой, хотя и нереалистичной, ситуации), оценки GLS можно получитьследующим простым приемом. Введем новые величины (t ≥ p + 1)Yt∗ = Yt − φ1 Yt−1 − · · · − φp Yt−p ,Xtj∗ = Xtj − φ1 Xt−1,j − · · · − φp Xt−p,j ,ε∗t = εt − φ1 εt−1 − · · · − φp εt−p = ut .Для них выполняется соотношение∗∗Yt∗ = β1 Xt1+ · · · + βk Xtk+ ut(t ≥ p + 1), так что в модифицированной модели ошибки удовлетворяютклассическим предположениям. К сожалению мы теряем при этом p192Глава 7первых наблюдений, что во многих практических задачах нежелательно.Восполнить понесенные потери можно следующим образом.
ПоложимY1∗ = C11 Y1 ,Y2∗ = C21 Y1 + C22 Y2 ,···Yp∗ = Cp1 Y1 + Cp2 Y2 + · · · + Cpp Yp (7.9)и определим коэффициенты C.. так, чтобы дисперсии и ковариации этихмодифицированных величин приняли требуемые значения:E(Yi∗2 ) = σu2(i = 1, · · · , p),E(Yi∗1 Yi∗2 ) = 0(1 ≤ i1 < i2 ≤ p). Треугольный характер соотношений (7.9) позволяетлегко сделать это при малых p.Пусть p = 1. Следует искать единственный коэффициент C11 изуравнения2C11γ0 = σu2 .Знак C11 не имеет какого-либо значения, поэтому можно взятьqσuσu= 1 − φ21 .C11 = √ =γ0σεАналогично, при p = 2 получаемC11 =σu,σεа для C21 и C22 имеем уравнения22C21γ0 + 2C21 C22 γ1 + C22γ0 = σu2 ,C11 C21 γ0 + C11 C22 γ1 = 0.Из второго уравнения получаемC21 = −так что22 γ0C22γ1C22 ,γ0− γ12= σu2 .γ0Анализ регрессионных предположенийОтсюдаC22 =σu1p,σε 1 − ρ21193C21 = −σuρp 1 ,σε 1 − ρ21где ρ1 = γ1 /γ0 — соответствующий коэффициент корреляции.
Выразитьэти коэффициенты C.. через φ1 и φ2 несколько сложнее. Легко проверить,φ1что ρ1 = γγ01 = 1−φ. Выражение для σσuε достаточно громоздко; мы его не2приводим.В учебной литературе обычно обсуждается простейшая регрессионнаямодель AR(1) для ошибок, в которой φ1 = ρ1 . Изложим популярнуюитеративную процедуру, позволяющую оценить в этом случаекоэффициент ρ1 (удобно трактовать его именно как коэффициенткорреляции). Она называется процедурой Кохрейна-Оркатта5 (CochraneOrcutt procedure).На первом шаге коэффициенты βj основной регрессии оцениваютсяобычным методом наименьших квадратов.
Остатки ε̂t этой регрессиииспользуются на следующем шаге для получения оценки коэффициентаρ1 из вспомогательного авторегрессионного уравнения (7.5) вида εt =ρ1 εt−1 + ut :PTε̂t−1 ε̂t(7.10)ρ̂1 = P2T2ε̂2 t−1(ср. с параграфом 6.4). На третьем шаге с помощью ρ̂1 делаетсяпреобразование модели, имитирующее описанный выше переход кнекоррелированным ошибкам, и строятся оценки обобщенного методанаименьших квадратов для коэффициентов основной регрессии.
Начетвертом шаге остатки ε̂ˆt , полученные с помощью этих GLSоценок, используются для нахождения следующего приближения ρ̂ˆ1для коэффициента автокорреляции и т.д. Принято считать, чтоэтот итеративный процесс быстро сходится (в практическом смысле,т.е. с наперед заданной точностью) и что оценки последнего шагаэффективнее первоначальных GLS-оценок. Корректную теоретическуюпостановку соответствующего вопроса не так легко дать, однакообсуждение этой проблемы выходит за рамки наших лекций.Процедура Кохрейна–Оркатта почти непосредственно обобщается наAR(p)-модель ошибок с произвольным p.Известны (см., например, [24, 9]) и другие процедуры оцениваниякоэффициента автокорреляции, используемые в практических расчетах.5D.Cochrane, не путать с известным статистиком Кокреном (W.G.Cochran)194Глава 7Вернемся к обсуждению вопросов оценивания в модели с AR(1)ошибками.
Располагая оценками коэффициентов регрессии βj и оценкойкоэффициента автокорреляции ρ1 , можно оценить дисперсии σu2 и σε2 .Вспомогательная дисперсия σu2 оценивается обычным образом черезостатки, а дисперсия σε2 после этого с использованием соотношения (7.8).Если уж мы соглашаемся с оценками коэффициентов регрессии, мы,видимо, вынуждены согласиться и с оценкой дисперсии σε2 .Далее можно использовать эти оценки и для решения последующихзадач, обсуждавшихся в гл.6, т.е. для построения доверительныхинтервалов и проверки гипотез о коэффициентах регрессии. Напрактическом уровне никаких изменений при этом не происходит, атеоретическое обоснование, как уже отмечалось выше, не входит в нашипланы.Следует выделить, однако, новую задачу — задачу выбора междудвумя моделями.
Одна из них — классическая модель, изучавшаясяв гл.6. Другая — модель с автокорреляцией ошибок, требующаяиспользования других статистических приемов. Естественно взять вкачестве основной гипотезу об отсутствии автокорреляции ошибок ρ1 = 0(мы продолжаем обсуждать простейшую схему автокорреляции первогопорядка), а в качестве альтернативной — гипотезу ρ1 > 0 (альтернативаρ1 < 0 рассматривается точно так же).Разумнойхарактеристикойкорреляцииошибокявляетсяэмпирический коэффициент корреляцииPTε̂t−1 ε̂tr = qP 2T 2 PT 22 ε̂t−12 ε̂t(это выражение отличается, хотя и незначительно, от (7.10)), однакочаще всего используется статистика DW , предложенная Дёрбином(Durbin) и Ватсоном (Watson) в 1950 г. ([16, 17, 18] )6 :PT22 (ε̂t − ε̂t−1 ).DW =PT 2ε̂1 tПользуясь рассуждениями, аналогичными приведенным в параграфе 3,можно доказать, что при некоторых естественных предположениях ρ̂1 и r6Дёрбин=Дурбин=Дарбин, Ватсон=Уотсон.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
