Ю.Н. Тюрин, А.А. Макаров - Анализ данных на компьютере (1115311), страница 85
Текст из файла (страница 85)
Пусть, как и ранее, εt обозначает процессбелого шума, M εt = 0, Dεt = σ 2 . Белый шум εt можно понимать как вшироком, так и в узком смысле. Соответственно в широком либо узкомсмысле окажутся стационарными далее вводимые случайные процессыX(t). Рассмотрим временной ряд, заданный соотношениемX(t) = εt + εt−1Очевидно, что X(t) — стационарный процесс, причем M X(t) =0, DX(t) = 2σ 2 . Ясно, что траектории X(t) будут более гладкими,чем траектории белого шума εt , так как корреляция между соседнимичленами процесса X(t) положительна:corr(X(t), X(t + 1)) = 0.5.Корреляция между более удаленными членами при этом равна 0:corr(X(t), X(t + k)) = 0Определение. Случайный процесс X(t) называется процессомскользящего среднего порядка q (кратко MA(q)), если для неговыполняется соотношение:X(t) = εt + θ1 εt−1 + .
. . θq εt−q .(14.25)Свойства. Очевидно, что MA(q) (14.25) — стационарный случай"ный процесс,(14.23)435для |k| 2.Процесс (14.24) — простой пример процессов скользящего среднего.Дадим общее определение этих процессов.M X(t) = 0,где значение x̂p+1 в (14.23) вычислено с помощью (14.22). Продолжаяэтот итеративный процесс, можно получить все значения x̂i при i =p + 1, .
. . , n, а также спрогнозировать дальнейшее поведение процесса,то есть вычислить значения x̂n+1 , x̂n+2 и т.д. Если полученные остаткиxi − x̂i для i = p +1, . . . , n ведут себя как белый шум, то процесс подборамодели можно считать завершенным. В противном случае, следуетизменить порядок подбираемой модели или перейти к более сложнымкомбинированным моделям авторегрессии"скользящего среднего.(14.24)DX(t) = σ 2 (1 + θ12 + · · · + θq2 ).Используя (14.25), нетрудно подсчитать, что для |k| qcov(X(t), X(t + k)) = σ 2 (θk + θ1 θk+1 + · · · + θq−k θq ),(14.26)и что для |k| > q выполняется cov(X(t), X(t + k)) = 0. Из этогопоследнего свойства следует, что автокорреляция rk обращается в нульвне некоторого конечного участка:rk = 0для|k| > q.Это свойство автокорреляции хорошо различимо на ее графике.Оно позволяет уверенно различать процессы скользящего среднего,436основываясь на графике выборочной автокорреляционной функции rk ,если наблюдаемая траектория процесса достаточно велика.К сожалению, оценивание коэффициентов θj в (14.25) по наблю"даемому участку траектории — довольно сложная в теоретическом ивычислительном отношении задача.
Ниже мы излагаем одно из воз"можных ее решений. К сожалению, при этом приходится обращатьсяк несколько более сложным математическим средствам, чем мы обхо"дились до сих пор.Оценивание неизвестных параметров θ1 , . . . , θq процесса скользящегосреднего MA(q) по наблюденному отрезку его траектории может быть про"ведено по методу наименьших квадратов. Этот метод нам хорошо знаком пообработке независимых наблюдений, например, в схеме линейной регрессии.Для статистических наблюдений, связанных взаимной зависимостью, каковымиявляются временные ряды, метод наименьших квадратов приходится применятьв соответственно измененном и обобщенном виде.Рассмотрим сначала схему MA(1).
Пусть θ означает (единственный) неиз"вестный параметр. Пусть X(1), X(2), . . . , X(n) обозначает отрезок временногоряда. Рассмотрим эту совокупность как n"мерный случайный вектор. Соотноше"ние (14.26) позволяет немедленно выписать матрицу ковариаций этого вектора.Обозначив ее через ∆ = ∆(θ), находим чтоθ0... 001 + θ22 θ0 1 + θ θ 0 ... 0∆=.. .. .....2000... θ 1 + θ(Матрица ∆ — квадратная матрица размера n × n; элементы ее главной диа"гонали равны 1 + θ2 ; элементы диагоналей, примыкающих к главной сверху иснизу равны θ; прочие элементы матрицы ∆ равны 0.)Пусть x1 , . . . , xn суть наблюденные значения упомянутых X(1), .
. . , X(n).Обозначим через Z их совокупность, записанную в виде вектора столбцаУказанная задача на минимум решается численно, когда известен векторZ. Статистические пакеты, предназначенные для анализа временных рядов, какправило, содержат для этого специальные программы.Можно указать несколько более явные формулы для оценивания θ, есливвести некоторые упрощающие предположения. Эти упрощения мало влия"ют на конечный результат (на количественное значение оценки), когда числонаблюдений n не слишком мало. Рассмотрим сначала случай |θ| < 1. Предпо"ложим, что ε0 = 0. При этом предположении временной ряд X(t), задаваемыйсоотношением (14.25), не является стационарным. Однако распределение егоэлементов X(t) с ростом t быстро сближается с распределением для стацио"нарного ряда MA(1).
Это и обеспечивает количественную близость той оценки,которая сейчас будет выведена, с уже упомянутой оценкой θ̂.В случае ε0 = 0 вектор X = (X(1), X(2), . . . , X(n))T , удовлетворяющий(14.25), получается из вектора (ε1 , ε2 , . . . , εn )T с помощью линейного преобра"зования с матрицей, скажем1 0 0 ... 0 0θ 1 0 ... 0 00 θ 1 ... 0 0A = A(θ) = .... ....
.0Z [∆(θ)]Z → minθθ1θT −1T −1−1В данном случае (AA )= (A ) A , ибо A — квадратная матрица;обратную к ней мы обозначили как A−1 . Поэтому решение (14.28) совпадает срешением более простой экстремальной задачи|A−1 (θ)Z|2 → min .По этому вектору Z нам необходимо сделать вывод о том, каково истин"ное значение θ в формуле (14.25), с помощью которой отрезок белого шумаε0 , ε1 , . . . , εn перешел в Z.Метод наименьших квадратов, относящийся к взаимно зависимым случай"ным величинам, в данном случае состоит в выборе в качестве оценки неизвест"ного θ такого числа θ̂, которое доставляет минимальное значение квадратичнойформы Z T [∆(θ)]−1 Z:−10(Матрица A — квадратная матрица размера n × n; ее элементы на главнойдиагонали равны 1; элементы диагонали, снизу примыкающей к главной равныθ; прочие элементы матрицы A равны 0.) С помощью матрицы A можнозаписать, что X = Aε и что матрица ковариаций X равна AAT .Применяя к Z = (x1 , .
. . , xn )T упомянутый обобщенный метод наименьшихквадратов, приходим к следующей задаче/−1.Z → min(14.28)Z T A(θ)AT (θ)Z = (x1 , . . . , xn )T .T...(14.27)Здесь [∆(θ)]−1 обозначает матрицу, обратную по отношению к ∆(θ). Явныевыражения для элементов матрицы [∆(θ)]−1 указать довольно сложно, да и онине приведут нас к аналитическому решению полученной экстремальной задачи.437(14.29)θЯвное выражение для [A(θ)]−1 легко указать:100 −θ10θ1θ2A−1 = ...(−θ)n−1 (−θ)n−2............000...−θ000..
.1Поэтому (14.29) можно записать более явно, как#min x21 + (x2 − θx1 )2 + (x3 − θx2 + θ2 x1 )2 + . . .θ: |θ|<1$· · · + (xn − θxn−1 + θ2 xn−2 + · · · + (−θ)n−2 x2 + (−θ)n−1 x1 )2 .438Решение этой последней задачи также может быть найдено только числен"ными методами.Для |θ| > 1 можно провести аналогичное упрощение (14.27). Для этого надоположить εn = 0 и явно выразить εn−1 , εn−2 , . . . , ε1 , ε0 через xn , xn−1 , . .
. , x1 .Мы не будем проводить этих выкладок.Без принципиальных изменений указанный обобщенный метод наименьшихквадратов можно применять к процессу MA(q) — с тем отличием, что матрицаковариаций в этом случае будет зависеть не от одного параметра, как это былодля MA(1), а от q параметров θ1 , . . . , θq . Оценки для θ1 , . . . , θq тоже можнонайти только численно, с помощью уже упомянутых вычислительных программ.Существуют и другие методы оценивания для схемы MA(q), но здесь не местодля их обсуждения.14.5. ……… -ƒ*… ARMA(p, q)Происхождение аббревиатуры ARMA очевидно: она соединяет со"кращения AR и MA, нам уже известные.
Числа p и q указываютпорядок процесса.Определение. Случайный процесс X(t) называется процессомавторегрессиискользящего среднего порядков p и q соответственно(кратко ARMA(p, q)), если для него выполняется соотношение:X(t) =pφi X(t − i) + εt +i=1qθj εt−j ,В согласии с параграфом 14.3, процесс (14.30) может быть стацио"нарным, только если все корни характеристического многочленаλp = φ1 λp−1 + · · · + φp−1 λ + φpпо абсолютному значению меньше единицы.Формулы, выражающие автоковариацию и автокорреляцию стацио"нарного случайного процесса (14.30) через коэффициенты φ1 , .
. . , φp иθ1 , . . . , θq , выглядят сложно и мы их не приводим. Скажем только, чтодля k > q автокорреляция rk процесса (14.30) удовлетворяет тем жеуравнениям Юла"Уолкера, что уже были получены для процесса AR(p):pφi rk−iОценивание. Прежде чем приступить к оцениванию параметров в(14.30) по наблюдаемому участку траектории X, надо прежде выбратьпорядок (p, q) модели ARMA(p, q).
Для такого выбора редко когда естьтеоретические основания. Обычно решение принимают, руководствуясьформой выборочной автокорреляционной функции r k , выборочной част"ной автокорреляционной функцией φ̂kk и естественным стремлениемиметь модель наиболее простого вида.Но даже после выбора порядка модели оценивание коэффициентовφ1 , . . . , φp , θ1 , . .
. θq представляет сложную задачу. По счастью, многиестатистические пакеты прикладных программ содержат алгоритмы дляее решения. Мы не будем касаться подробностей.Заметим, что задача оценивания не всегда разрешима. Рассмотрим,например, процесс ARMA(1, 1), гдеX(t) − φX(t − 1) = εt + θεt−1 .Здесь, если φ = −θ, решением X(t) служит εt , и значения φ и θ неоказывают на процесс X(t) никакого влияния. Поэтому они и не могутбыть определены по траектории.14.6. >…… (14.30)j=1где εt — процесс белого шума, M εt = 0, Dεt = σ 2rk =Поэтому при больших k автокорреляция rk процесса ARMA(p, q) при"обретает такую же форму, как и у процесса AR(p).для всех k > q.i=1439Короткие формулы для записи перечисленных ранее линейных мо"делей и их обобщений можно получить, если ввести так называемыйоператор сдвига.
Точнее — оператор сдвига назад, который мы обозна"чим через B. Этот оператор действует на множестве последователь"ностей конечных или бесконечных. Проще всего определить его длябесконечных в обе стороны последовательностей. Пусть u, v — дветакие последовательности:u = (. . . , u−2 , u−1 , u0 , u1 , . . . ),v = (. . . , v−2 , v−1 , v0 , v1 , . . .
).Мы скажем, что v = Bu (последовательность v получена из u путемдействия на u оператором B), если vt = ut−1 для всякого целого t.Тем же соотношением можно определить, как оператор B действует напоследовательность u = (u1 , u2 , . . . , un , . . . ) или на конечную последо"вательность u = (u1 , u2 , . . . , uN ). При этом оператор B применяется440ко всем элементам, за исключением первого, так как значение Bu1 неопределено.
В частности,B(u2 , u3 , . . . , uN ) = (u1 , u2 , . . . , uN−1 ).Следует помнить, что после каждого действия оператора B на ко"нечную последовательность число ее членов уменьшается на единицу.Можно определить и степени оператора B. Например,B 2 u = B(B(u)).Это означает, что если v = B 2 u, то для всякого целого t: vt = ut−2 .Можно говорить и об операторах, представляющих собой многочленыот B. ПустьP (B) = a0 + a1 B + a2 B 2 + · · · + ap B p .По определению, v = P (B)u, если:Переход от u к последовательности вторых разностей, скажем, z,определяют как переход от u к v = (1 − B)u и затем как переход от v кz = (1 − B)v.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
