4. Математическая статистика. Ивченко_ Медведев (1984) (1186157), страница 50
Текст из файла (страница 50)
3. Прогнозирование в случае линейной функции ре ре г сени. Пусть функция регрессии (5.95) является линейной, т. е. имеет М (х) =- йо -)-(1'х = ~о + Отхт + " + (?эхр (5.103) Найдем выражение коэффициентов рь ! =О, 1,..., р, через харак- теристики распред аспределения Ж (Х, У). Как было показано в при- мере 5.9 для нормально распределенной пары (Х, У), коэффи- циенты регрессии (см. (5.99) и (5 101)1 выражаются только через первые й вторые моменты исходного распределения.
Покажем, что это обстоятельство имеет общий характер. Т 5.7. 77 сть имеет меспю представление (5.103) и еорема .. у матрица вторых моментов вектора Х, Е= ( ), нв вырож Тоада оптимальный предиктор У по Х имеет вид М (Х) = Е1'+ а'Е-' (Х вЂ” ЕХ), (5.104) где а=(а„..., а ), а~=сон(У, Хз), (=1, ..., р. С? Так как согласно теореме 5.6 оптимальный предиктор есть М (Х) и имеет место представление (5.103), то оптимальными являются те значения р; коэффициентов (?т, которые минимизи- руют величину Е (У вЂ” ~о — ф'Х(э = Е ((У вЂ” Е?' ) — Ь вЂ” (1' (Х вЂ” ЕХ))э = = О?'+ Ьэ+(?'Е(? — 2(Га, (5.105) где Ь = рэ — +Р~' = р — ЕУ ' н'ЕХ. Из этого представления следует, что опти- мальные значения Ь и р таковы: Ь =О, (? =Е-..
Действительно, прн р=(?э+Ь Ь'+ (?'Ер — 2р'а = — $1" 'а+ 6'ЕБ+ Ь' ) — рз'а (5.107) и равенство достигается только при Ь = О, 8=-0. Из (5.106) сле- дует, ч то оптимальным значением коэффициента (?в является (5.108) Таким образом, из (5.106) н (5.108) имеем, что оптимальный пре- (5.109) р*(Х)=М(Х)=(?3+(?" Х имеет вил (5.104). ° Отметим также, что в силу соотношений (5.10 ) — ( . ) р 5 — 5.107) с едне- квадратическую оши ку ю ошибку предикторэ (5.104) можно записать в виде оух = Е [У вЂ” М (Х)?з= 0У вЂ” а'(?а = 0У вЂ” а'Х-'а. (5.110) Отсюда имеем, что корреляционное отношение т)ух (см.
(5.98)1 совпадает с величиной (5.!11) Рух а'Х-та/ау, которая называется множественным коэффициентом корреляции. Эта величина зависит только от дисперсий и ковариаций переменных н является обобщением квадрата коэффициента корреляции двух величин на случай многих переменных (для случая двух переменных рух =р'(Х, У)). Отметим, что отношения (5.101) и (5.102) являются соответственно частными случаями соотношений (5.104) и (5.110). х а 3 а меч а н не. разлагая определитель -". ~ по элементам последней а' оз / строки, а затем и алгебраические дополнения этих элементов (за исключением алгебраического дополнения элемента о-"„) — по элементам ях последнего столбца, для о',х южно получить следуюмее эквивалентное представление: (а''а' / 4. Линейное прогнозирование.
Предположим теперь, что вид функции регрессии неизвестен и нужно построить оптимальный предиктор в классе линейных предикторов <р(Х), т, е. влтесто всех функций от Х будем рассматривать только функции вида ч(Х)= =(?э+ (ГХ. Тогда имеет место следующее важное утверждение. Теорема Б.В. Линейная функция ~р'(Х) =(?;, (?э'Х, определенная соотноитвниями (5.106), (5.108) и (5.109), является оптимальным линейным предикпюром для У. Зта функция имеет также максимальную корреляцию с У среди всех линейных првдикторав.
П Первая часть утверждения следует из того, что р," и (?* определяются из условия минимума Е(У вЂ” йо — (ГХ)э. Далее, из определения векторов а и (?ч имеем следующие равенства: сон(У, (?'Х)=-(1'а= — ()'Ерэ, сот(У, (?э Х)=рэ Е(!" =0(йэ Х)~0. Из последнего равенства получаем о' р'(У, (?э Х) =- сонэ(У, (?" Х)т'0 ((?а Х) = (?э Е(?'. (5.1!2) Воспользовавшись неравенствам Коши — Буняковского ((?'Е(?')э =- =((ГЕ™Еьэ(?э)э ==. (!)'Е(1) ((?э'Е(?э) и учитывая соотношение (5.112), получаем Таким образом, р (у, рэ Х) = р(у, сэ" (Х)) ) ! р (у, р(Х)) ~ для любой линейной функции гр(Х).
В Отметим, что на основании соотношений (5.1!2), (5.106) и (5.111) квадрат максимальной корреляции р'(У, р" (Х)) =(?* Ер'!оЬ=РИ, т. е, множественный коэффициент корреляции равен квадрату коэффициента корреляции между У и оптимальным линейным предиктором для У Так как т?ух — максимум корреляции между У и любыми функциямн Х, а ргх — максимум корреляции между У и лишь линей21Б <5.1 16) ); х. При этом, как было показано ными функциямн Х, то т]ух~рук > совпадают и в и.
3, при линейной регрессии обе эти величины са — х может служить показатвлвм отклонения реги 'х п инято записывать вссии ат линейности. Величины т]~ х и рух пр в виде тд о ... р> и ро и ... т. па~~ мацки. В ряде случаев бывает пе- 5. Использование дополнительной пн~~рмац . р а и н узелнлько яелпчнпается точность прогноза прн абходнмо я следовать, насколько у аа нх пе еменных. реднека = Х Х ) ранна (см (596)] а» пред сказаниЯ 1' по Яелпчннам Х = ( „ ..., р аан — =аз (! — " ) Если же учит =аз ( — ) Е, ыяать какое-то число дополнипе еменных Х „..., Х»(й) р], то эта ашябка тельных предскаэыааюшнх переменных н мепьшенне ашнбкн опРеделЯетсЯ числом и, (т>э, »> величины, н уменьшение ябкн я результате нспальзоеанпя — Чз ). Относительное уменьшеняе ошя кн я ез дочолпнтельпых переменных, след ео...р> ааательпо, равна (5.
113) чз< ч->...»>о...т — оп...р... =('1 ......»> Че« .. р>)7( Чоо ..р>). яо ял ионным отношением, Эту величину назыаают частным рре и > ейные предякторы, то Если для прогяазяр ояання нспальзуются только лине ны уменьшения среднекяадратясоответствующее зыраж н дл аженне для относнтельпога умень пз (5.113), заменяя ч на р: ческой ошибке прогноза можно получить пз »> и - т р, /(1 Ро » ). (5.114! э<рт> ...»>и ..т тным мналтственным коэффициента.н корреляции; Х ты~м ыюсв~осп, ат опа измеряет корреляцню между роз. °" )»нХ х,, ...,х.
есааб явность добаз.ченяя отдельных пере. Е п необходяма исследовать целесаабр . нет. менных к уж е нмеюшкмся, та надо вычислить ре' „ (5. ! 1а) 1 — Ра <р> о ... р»=(' — Рз <> ... р>)l(1 Ро<> .. р- »). Используя представление (5.
!111, мажпа показать, чта ра<> ... Ю=<>р >., ', ' —,... (Х»=У] Из (5.115!в где]р<1=]р< ! з н ру р(Хп Х.), з, )=О, 1,, р, ( — (5.!161 легко получаем <5. 1 17) ро<р> и ... р-и = ори ...р — и= .117 коэ."" пцпент р' <, назыэают част- Определенный а соотношения (5. ) коэч:".е ер « 1' п Х, исключающей алнянпе переменных что, „=р(е,, е,>, где е>=у'» — (ро+6»Х»-~-". ' рХ >- -]-~ Х,) т, е эта обычна корреал чающймксп зычнтапнем нз У Я Хр нх оптнмачьляяяя между астаткамя, палучающямнся зы .
р аль ных лняейных предяктороя, оспа а нне обшях фактороэ Х„..., Х, на переменные н р). 6. Эмпирические иредикторы. Изложен иая тео ия предсказар яств ющим переменным ]( предполагает ния величины У по сопу~тву~~~м р известным совместный з р р акоп аспределения (,; при ли первые и втоозн авании достаточно знать только первы ном же прагнознр . В вских приложениях У Х чаще всего неизвестен и ого асп еделения.
практич точный ви й вид зависимости между и чащ ния, необходимые для построения оптимальных поэтому все сведения необходимые дл предикторов, получают в результате р тки Рассмотрим преобразоаанне Ф> рье капарнацпоппок функцнн [<с»! 1 ъч ! )(ь) = — и, + — у <<'» 2м и »У< 2п 7< зм 1 — и, м]. <5.121) Услонне (5.120) абеспечнеает ранномерпую сходямость ряда (5.12!) к непрерыяпой функции, я его сумму )(я> назызают спектральная плотносршт псследопательпастя (Х,!. Козффнцпенты сходящегося ряда Фурье однозначно определяются его суммой по формуле 7(» = $ 1 (Х) соз й> б».
(5.1221 9 заказ ю >за< данных, которые представляют собой выборку из распределения Х(Х, 1'). Оценив по такой вспомогательной выборке (по результатам прошлых измерений Х и У) соответствующие характеристики распределения ь(Х, У) (для построения линейных предикторов это первые н вторые моменты (см. (5.104)!) и заменив этими оценками теоретические характеристики, строят змпиричвский предиктор, который и используют для предсказания в других случаях (в будущих измерениях). Более подробно теория статистической регрессии изложена, например, в [16, гл.
4! н в 110, гл. 26 — 28.~. 7. Прогнозирование стационарных последовательностей. Теория линейного прогноза имеет наиболее широкое применение при прогнозировании стационарныл случайных процессов. Пад этим терминам будем понимать бесконечную в обе стороны последовательность случайных величин (Х<), (=..., — и, ..., — 1, О, 1, ... ..., и, ..., удовлетворяющих следующим условиям: ЕХ»=т=сопз1, соя (Х,,», Х»)=Е(Х<„— т) (Х< — т) =]ч>».
(5.118) Таким образом, для стационарной последовательности случайных величин их среднее постоянна, а ковариация любых двух величин зависит только ат разности номеров этих величин. Последовательность чисел Я»), й =..., — 1, О, 1, ..., называют ксвариационной функцией последовательности (Х,). Отметим следующие ее свойства: )г» = Е (Х, — т)' = РХ< = оз = сопИ; ]шгг(Х<,», Х<)= -'~]7(»!~)ы', ]ч-»=)(»; (5.1! 9) г. » „,= ..р.<х„хо=о, г.„х,) о. »,7=<»,>=> »=< Последнее свойство называется свойством положив<слакай определенности. Особый интерес представляет случай, когда ряд нз Й» сходится абсолютна: ]]7»<=)7о+ 2 'кр', ! )7»] т са.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
