4. Математическая статистика. Ивченко_ Медведев (1984) (1186157), страница 43
Текст из файла (страница 43)
В других случаях значения факторов для каждого опыта могут быть обусловлены не вависящими от исследователя причинами (как правило, это имеет место, 179 например, в экономических исследованиях), Но в любом случае статистические данные состоят из множества наблюдавшихся зна- чений «откликов» Х„..., Х„и соответствующих значений фак- торов, т. е. имеют вид (х;; ггг>, ..., г",), 1=1, ..., и; прн эгом всегда предполагается, что к<' и. Часто можно считать, что факторы г„..., г» оказывают влия- ние только на среднее значение «отклика», прн этом математиче- ское ожидание исхода 1-го опыта имеет внд ЕХ. = У, 'ги>р =гг'>'() га> =(гго ... г'о) > ( > Ф '''1» )~ >=> т. е.
является линейной функцией неизвестных параметров р- =- (рм ..., р»). (Напомним, что прн матричных преобразованиях векторы всегда понимаются как вектор-столбцы.) Другими сло- вами, случайную величину Хь описывающую результат >'-го опыта, можно представить в виде Х>=гп>()+еь 1=1, ..., и, где Ее>=0 и распределение «ошибкн» е; от параметров () не за- висит. Введем матрицу плана Х=!гг'>...гг»>! размером Ахи, со- ставленную из вектор-столбцов гп>, ..., г<»>, и вектор ошибок е=(е„..., е„). Тогда в матричных обозначениях предыдущие равенства принимают вид Х = Е'(1 -)- е, Е (е) = О.
(5.!) Далее обычно предполагают, что случайные величины е„ ..., е„(нли, что то же самое, Х,, ..., Х„) не коррелированы й имеют одинаковые дисперсии 0Х,=0е,=о* О, >'=1, ..., и, где и' обычно неизвестна. В этом случае матрица вторых моментов вектора наблюдений Х имеет следующий вид: 0 (Х) 0 (е) Е (вв') = а'Е,. (5.2) Если выполняются условия (5.1) — (5.2), то говорят, что имеет место модель линейной регрессии. Параметры Ом ..., ()» называют коэффициентами регрессии, а и' — остаточной дисиерсивй. В описанной схеме переменные гм ..., г» могут быть функ- ционально зависимы.
В частности, все г, могут являться функ- циями одной переменной 1, например г;=а1 (!), где ау(!) — полинам степени 1) 1, в этом случае говорят о параболической регрессии. В более общем случае возможны корреляции между наблюде- ниями, т. е. вместо условия (5.2) вводится условие 0(в) и'б. Если матрица С известна, то, положив У=С-м'Х, получим, что преобразованные таким образом данные удовлетворяют модели (5,!) — (5.2) (прн линейном преобразовании»' ЕХ первые и вто- рые моменты случайного вектора преобразуются следующим обра- зом: Е(»')=(.Е(Х), 0(»')=$.0(Х) Е').
Таким образом, подробного изучения заслуживает только стандартная модель (5.1) — (5.2). Далее определяющую роль играет матрица А = УХ'. (5 3) Эта матрица всегда неотрицательно определена и положительно огределена тогда н только тогда, когда ганя к = й, т. е, когда строки матрицы 2 линейно независимы. Действительно, квадратичная форма Ф'А1= Ф'ЕХ'1=(Х'1)' (Х'1) ~ О, »>1= (!ь ..., !»), причем равенство нулю возможно только при 2'1=О. В свою очередь, это равенство эквивалентно равенству !>г,+...+!»г»= — О, н где гм ..., г»-столбцы матрицы Х'. Таким образом, равен тво улю 1'А1 при некотором 1чв О имеет место только в случае лис нейной зависимости векторов гм ..., г„т.
е. при гапй2(й. Излагаемая далее теория строится в предположении, что матрица А не вырождена (или, что эквивалентно, ганя 2 =-й), Полные результаты, относящиеся н к вырожденному случаю, можно найти в (16, гл. 4~. й 5.2. Оцениванне неизвестных параметров модели В этом параграфе будет рассмотрена задача построения точечных оценок параметров ()», ..., р» и о' модели линейной регрессии (5.1) — (5.2).
М . Метод наименьших квадратов. Общим методом оцениванпя неизвестных коэффициентов регрессии (>м ..., р» является разра. ботанный К. Гауссом (1809 г.) и А. Марковым (1900 г.) метод наименьших квадратов, в соответствии с которым оценки этих параметров находят из условия обращения в минимум квадратичной формы 5(()) =5(Х; !)) (Х вЂ” Х'())'(Х вЂ” Х'()), (5.4) представляющей собой сумму квадратов разностей между наблюдениями и их математическими ожиданиями. Точку Ь=-(Ь, ... > ..., Ь»), удовлетворяющую равенству 5(Ь) =ппп5 (!)), называют, в по определению, оценкой наименьших квадратов (о.
н. к.) параметра !)=(()», ..., (!»). Пусть т'= «Х; тогда с помощью непосредственных вычислений можно убедиться, что система уравнений д5(())1д()г — — О, 1'=1, ... ..., й, в матричной форме записывается в виде А!1= 7, (5.5) где матрица А задана в (5.3). Это уравнение для экстремальных точек () называют нормальным уравнением метода наименьших квадратов. Справедливо следующее утверждение. Теорема 5.1. Пусть () — любое решение нормального уравнения, Тогда ппп 5(р) =5 (()) в и, следовательно, этот минимум одинаков длл всех р. 181 Если 1А)~0, то о.
м, к. единственна и определяется равенством Ь вЂ” Р А-1У А-'ХХ. (5.6) Е) Пусть ра — произвольное фиксированное значение 1); тогда из (5.4) имеем 5 ())) = [Х вЂ” Х'))а+ Х' (ра — ())1' 1Х вЂ” Х'1)е+Х (ра — ())1 =- 5 (~*)+ 2 ())а — ~)' (У вЂ” А)Р)+((Р— ф)' А (Ра — ()). (5.7) Если 1)" =р, то 5(Р) =ЯМ)+4 — Р)'А()) — ())~Ю(Й). (5.8) поскольку матрица А неотрицательно определена. Таким образом, минимум Я(()) равен 5(Р), достигается при ()=р и одинаков для всех решений р уравнения (5.5).
Отсюда следует, что любое решение нормального уравнения является о, н. к. для (). Для невь!рожденной матрицы А уравнение (5.5) однозначно разрешимо и, следовательно, в этом случае о. н, к. единственна и имеет вид (5.6). ° В ряде случаев интерес представляют не сами параметры 5„... ..., 5», а их некоторые линейные комбинации, т. е. новый параметрический вектор 1=(ст, ..., 1м), т~й, связанный с (1 соотношением 1= Т)), где Т вЂ” заданная матрица размером т хм. В этом случае о.
н. к. 1 для ( определяется равенством (=Т)), где р— любое решение нормального уравнения (5.5). Если',А!~0, то из (5.6) следует, что $ определяется однозначно и имеет вид 1= ТА-тУ = ТА-'ХХ. (5.9) 2. Оптимальность оценок наименьших квадратов. Исследуем свойства полученных оценок. В общем случае будем рассматривать задачу оценивания вектора 1 = Т(1 в классе линейных оценок, т. е..оценок вида 1= Ех, являющихся линейными функциями от наблюдений Х = (Х„ ..., Х„). Теорема 5.2.
Пусть матрица А не вырождена. Тогда для произвольного вектора 1 =Т() о. и. к. 1, определенная равенством (5.9), является несмещенной оценкой с минимальной дисперсией в классе всех линейных месмещенных оценок 1; при этом матрица вторых моментов случайного вектора 1 имеет вид О (1) = ТА- Т' = аО (5.10) П Из (5.9) и (5.1) имеем Е(1) =Е(ТА- ХХ) =ТА- ХЕ(Х) =ТА- ХХ'й=тй=(, т. е. 1 — линейная несмещенная оценка Е Г1усть 1=ЬХ вЂ” произвольная линейная несмещенная оценка 1, т. е.
Е(1)=ЕЕ(Х) = = ЕХ'))=Тр. Это равенство должно выполняться для всех р, по- ~аз этому отсюда следует что Ы'=Т, (5.1 1) Из (5.2) находим 1) (1) = Е О (Х) Е ' = ЧД,'. (5 12) Наша цель — минимизировать дисперсии оценок 1„..., !„, т. е. диагональные элементы матрицы ЕЕ'. Для этого запишем тож- дество Е(.' = (ТА-'Х) (ТА-'ХЕ + (Š— ТА-'Х) (1, — ТА- Х) которое непосредственно следует иэ равенства (5.11). Каждое слагаемое правой части этого тождества имеет вид НН', отк а ', откуда следует неотрицательность диагональных элементов. Но от Е зависит только второе слагаемое, поэтому диагональные элелтенты О (!) одновременно достигают минимума тогда и только тогда, когда Е ТА-'Х. Соответствующая оптимальная оценка имеет ви и еет вид 1" =ТА-'ХХ=1, т.
е, совпадает с о. и. к. (5.9). Наконец, формула (5.10) следует из соотношения (5.12), если подставить вместо Е найденное оптимальное решение. ° В качестве простого следствия теоремы 5.2 получаем, что О(~) =оаА-! или сот (р,а()т)=оаа!/, 1, 1=1, ..., й, (5.13) где (ац',.=А-' =!а; 1-'.
!т' Замечание. Если матрица т имеет вид Т=ЛА, то формулы (бхй н (5,10) принимают соответственно еид 1=лУ, и О) оаллл' т, е, необходимость а вычислении обратной матрицы А ' для нахождения о, н. к. н их вторых иоментов отпадает, Итак, теорема 5.2 позволяет ре!пить задачу о построении оптимальных оценок для произвольных линейных Функций от коэффициентов регрессии; это оценки наименьших квадратов.
3. Оценивание остаточной дисперсии. Из равенства (5.4) имеем ч Ед (()) = ~ 07(! = по', ! ! Далее, учитывая (5.13), найдем Е(Р-())'А4-))) = ~ а!уЕ(Рг-Р!) Фу-Рт) ам / ! =о' ~ а!уааУ оа1г(АА-х)=ох1г(Еа)=7то'. ! Отсюда и из тождества (5.8) следует, что ЕЯ(р)=(п — й) о' т е несмещенной оценкой для остаточной дисперсии о' является ста- тнстика 8.. ~ 5 (8) = ', (Х вЂ” Хф (Х вЂ” Х'8), (5.14) Вектор () =Х вЂ” Х'р называют остаточным вектором, а его компоненты — остатками. Таким образом, оценка бе равна сул|ме квадратов остатков, поделенной на п — й (разность между числом наблюдений и числом параметров (),). Приведем другое выражение для (5.14), которое понадобится в дальнейшем.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
