Г.И. Ивченко, Ю.И. Медведев - Математическая статистика (1115270), страница 42
Текст из файла (страница 42)
Параметры Ом ..., ()» называют коэффициентами регрессии, а и' — остаточной дисиерсивй. В описанной схеме переменные гм ..., г» могут быть функ- ционально зависимы. В частности, все г, могут являться функ- циями одной переменной 1, например г;=а1 (!), где ау(!) — полинам степени 1) 1, в этом случае говорят о параболической регрессии. В более общем случае возможны корреляции между наблюде- ниями, т. е. вместо условия (5.2) вводится условие 0(в) и'б. Если матрица С известна, то, положив У=С-м'Х, получим, что преобразованные таким образом данные удовлетворяют модели (5,!) — (5.2) (прн линейном преобразовании»' ЕХ первые и вто- рые моменты случайного вектора преобразуются следующим обра- зом: Е(»')=(.Е(Х), 0(»')=$.0(Х) Е').
Таким образом, подробного изучения заслуживает только стандартная модель (5.1) — (5.2). Далее определяющую роль играет матрица А = УХ'. (5 3) Эта матрица всегда неотрицательно определена и положительно огределена тогда н только тогда, когда ганя к = й, т.
е, когда строки матрицы 2 линейно независимы. Действительно, квадратичная форма Ф'А1= Ф'ЕХ'1=(Х'1)' (Х'1) ~ О, »>1= (!ь ..., !»), причем равенство нулю возможно только при 2'1=О. В свою очередь, это равенство эквивалентно равенству !>г,+...+!»г»= — О, н где гм ..., г»-столбцы матрицы Х'.
Таким образом, равен тво улю 1'А1 при некотором 1чв О имеет место только в случае лис нейной зависимости векторов гм ..., г„т. е. при гапй2(й. Излагаемая далее теория строится в предположении, что матрица А не вырождена (или, что эквивалентно, ганя 2 =-й), Полные результаты, относящиеся н к вырожденному случаю, можно найти в (16, гл. 4~. й 5.2. Оцениванне неизвестных параметров модели В этом параграфе будет рассмотрена задача построения точечных оценок параметров ()», ..., р» и о' модели линейной регрессии (5.1) — (5.2). М . Метод наименьших квадратов.
Общим методом оцениванпя неизвестных коэффициентов регрессии (>м ..., р» является разра. ботанный К. Гауссом (1809 г.) и А. Марковым (1900 г.) метод наименьших квадратов, в соответствии с которым оценки этих параметров находят из условия обращения в минимум квадратичной формы 5(()) =5(Х; !)) (Х вЂ” Х'())'(Х вЂ” Х'()), (5.4) представляющей собой сумму квадратов разностей между наблюдениями и их математическими ожиданиями.
Точку Ь=-(Ь, ... > ..., Ь»), удовлетворяющую равенству 5(Ь) =ппп5 (!)), называют, в по определению, оценкой наименьших квадратов (о. н. к.) параметра !)=(()», ..., (!»). Пусть т'= «Х; тогда с помощью непосредственных вычислений можно убедиться, что система уравнений д5(())1д()г — — О, 1'=1, ... ..., й, в матричной форме записывается в виде А!1= 7, (5.5) где матрица А задана в (5.3). Это уравнение для экстремальных точек () называют нормальным уравнением метода наименьших квадратов. Справедливо следующее утверждение. Теорема 5.1. Пусть () — любое решение нормального уравнения, Тогда ппп 5(р) =5 (()) в и, следовательно, этот минимум одинаков длл всех р.
181 Если 1А)~0, то о. м, к. единственна и определяется равенством Ь вЂ” Р А-1У А-'ХХ. (5.6) Е) Пусть ра — произвольное фиксированное значение 1); тогда из (5.4) имеем 5 ())) = [Х вЂ” Х'))а+ Х' (ра — ())1' 1Х вЂ” Х'1)е+Х (ра — ())1 =- 5 (~*)+ 2 ())а — ~)' (У вЂ” А)Р)+((Р— ф)' А (Ра — ()). (5.7) Если 1)" =р, то 5(Р) =ЯМ)+4 — Р)'А()) — ())~Ю(Й). (5.8) поскольку матрица А неотрицательно определена. Таким образом, минимум Я(()) равен 5(Р), достигается при ()=р и одинаков для всех решений р уравнения (5.5).
Отсюда следует, что любое решение нормального уравнения является о, н. к. для (). Для невь!рожденной матрицы А уравнение (5.5) однозначно разрешимо и, следовательно, в этом случае о. н, к. единственна и имеет вид (5.6). ° В ряде случаев интерес представляют не сами параметры 5„... ..., 5», а их некоторые линейные комбинации, т. е. новый параметрический вектор 1=(ст, ..., 1м), т~й, связанный с (1 соотношением 1= Т)), где Т вЂ” заданная матрица размером т хм. В этом случае о.
н. к. 1 для ( определяется равенством (=Т)), где р— любое решение нормального уравнения (5.5). Если',А!~0, то из (5.6) следует, что $ определяется однозначно и имеет вид 1= ТА-тУ = ТА-'ХХ. (5.9) 2. Оптимальность оценок наименьших квадратов. Исследуем свойства полученных оценок. В общем случае будем рассматривать задачу оценивания вектора 1 = Т(1 в классе линейных оценок, т. е..оценок вида 1= Ех, являющихся линейными функциями от наблюдений Х = (Х„ ..., Х„). Теорема 5.2. Пусть матрица А не вырождена. Тогда для произвольного вектора 1 =Т() о.
и. к. 1, определенная равенством (5.9), является несмещенной оценкой с минимальной дисперсией в классе всех линейных месмещенных оценок 1; при этом матрица вторых моментов случайного вектора 1 имеет вид О (1) = ТА- Т' = аО (5.10) П Из (5.9) и (5.1) имеем Е(1) =Е(ТА- ХХ) =ТА- ХЕ(Х) =ТА- ХХ'й=тй=(, т. е. 1 — линейная несмещенная оценка Е Г1усть 1=ЬХ вЂ” произвольная линейная несмещенная оценка 1, т.
е. Е(1)=ЕЕ(Х) = = ЕХ'))=Тр. Это равенство должно выполняться для всех р, по- ~аз этому отсюда следует что Ы'=Т, (5.1 1) Из (5.2) находим 1) (1) = Е О (Х) Е ' = ЧД,'. (5 12) Наша цель — минимизировать дисперсии оценок 1„..., !„, т. е. диагональные элементы матрицы ЕЕ'. Для этого запишем тож- дество Е(.' = (ТА-'Х) (ТА-'ХЕ + (Š— ТА-'Х) (1, — ТА- Х) которое непосредственно следует иэ равенства (5.11). Каждое слагаемое правой части этого тождества имеет вид НН', отк а ', откуда следует неотрицательность диагональных элементов.
Но от Е зависит только второе слагаемое, поэтому диагональные элелтенты О (!) одновременно достигают минимума тогда и только тогда, когда Е ТА-'Х. Соответствующая оптимальная оценка имеет ви и еет вид 1" =ТА-'ХХ=1, т. е, совпадает с о. и. к. (5.9). Наконец, формула (5.10) следует из соотношения (5.12), если подставить вместо Е найденное оптимальное решение. ° В качестве простого следствия теоремы 5.2 получаем, что О(~) =оаА-! или сот (р,а()т)=оаа!/, 1, 1=1, ..., й, (5.13) где (ац',.=А-' =!а; 1-'. !т' Замечание.
Если матрица т имеет вид Т=ЛА, то формулы (бхй н (5,10) принимают соответственно еид 1=лУ, и О) оаллл' т, е, необходимость а вычислении обратной матрицы А ' для нахождения о, н. к. н их вторых иоментов отпадает, Итак, теорема 5.2 позволяет ре!пить задачу о построении оптимальных оценок для произвольных линейных Функций от коэффициентов регрессии; это оценки наименьших квадратов. 3. Оценивание остаточной дисперсии.
Из равенства (5.4) имеем ч Ед (()) = ~ 07(! = по', ! ! Далее, учитывая (5.13), найдем Е(Р-())'А4-))) = ~ а!уЕ(Рг-Р!) Фу-Рт) ам / ! =о' ~ а!уааУ оа1г(АА-х)=ох1г(Еа)=7то'. ! Отсюда и из тождества (5.8) следует, что ЕЯ(р)=(п — й) о' т е несмещенной оценкой для остаточной дисперсии о' является ста- тнстика 8.. ~ 5 (8) = ', (Х вЂ” Хф (Х вЂ” Х'8), (5.14) Вектор () =Х вЂ” Х'р называют остаточным вектором, а его компоненты — остатками. Таким образом, оценка бе равна сул|ме квадратов остатков, поделенной на п — й (разность между числом наблюдений и числом параметров (),).
Приведем другое выражение для (5.14), которое понадобится в дальнейшем. Используя разложение (5.7), запишем остаточнык вектор в виде $3 = (ń— Х'А-'2) Х = ВХ. (5.15) Непосредственно можно проверить, что матрица В, определяемая этим равенством, симметрична н идемпотентна (В'=В); следовательно, вместо (5.14) можно использовать представление 8«= — Х ВХ, (5.16) показывающее явную зависимость оценки о' от наблюдений. Наконец, из (5.15) имеем, что первые и вторые моменты остаточного вектора имеют внд Е (В) =О, 0(О) =о'В= 0(Х) — 0(7'()). (5.17) 4, Обобщенные о. н.
к. Ранее рассматривался случай, когда на возможные значения параметров !) =(8п ..., (4») не накладывалось никаких ограничений, т. е. областью их возможных значений было все евклидова пространство )7». Однако в ряде задач допустимые значения р бывают ограничены теми или иными условиями. Часто эти условия имеют вид линейных ограничений на параметры 8„..., ()», что в общем виде будем записывать так: ТВ=!гп (5. 18) где Т вЂ” некоторая заданная матрица размером тх й (т - й) и 1« — заданный т-мерный вектор такой, что система (5.!с) совместна.
Другими словами, условие (5.!8) означает, что допустимые значения коэффициентов регрессии рм ..., !)» удовлетворяют т заданным линейным ограничениям 1;() =!гв (5.19) где 1,=((ы, ..., („е) и 1;, ..., !' — строки матрицы Т. Естественно предполагать, что ограничения (5.19) линейно независимы (иначе можно перейти к меньшему числу уравнений, исключив линейно зависимые). Таким образом, в дальнейшем будем считать, что гапйТ =т (случай т = Ф, однозначно фиксирующий вектор (1, в последующих рассуждениях формально допускается).
Рассмотрим задачу оценивания параметров р в этой усложненной ситуации. Обозначим 5» = ппп 5 (р) 83тр Ь и назовем обабкиной оценкой наименьших каадратои ()~ то значение р (удовлетворяющее условию (5.18)), при котором 5 - 5 ((!т) Нахождение обобщенной о. и. к. — это задача нахождения условного экстремума функции 5(р), и ее можно решить методом неопределенных множителей Лагранжа. Приведем только окончательный результат: ()г = () — А-'Т'0-' (Тб — 1„), (5.21) где р — обычная о.
н. к. (без ограничений на параметры ()), определенная равенством (5.6), а матрица 0=ТА-'Т' размером т хт положительно определена. Докажем тот факт, что Вг — точка условного минимума квадратичной формы 5(р). Из (5.21) непосредственно получаем, что Т()г=!е, т. е. точка !)т удовлетворяет условию (5.18). Воспользуемся далее разложением (5.?) для 5((1) и положим в нем ре = -- рт. 5(())=5($~т)+2(Вт — В)'(У вЂ” А()г)+4г — $))' А(йт — ()). Так как АР=У, то из (5.21) следует, что Х вЂ” Айт=Т'0-' х х (Тр — !е). Учитывая также, что Т(()г — $)).=,!я — Т(1, получаем равенство 5 (()) = 5 ф г) + 2 (!е — Т())' 0 ' (Т() — !в) + ((1 г — ~)' А (фг — ~), (5.22) справедливое при всех р. Пусть теперь () удовлетворяет условию (5.18); тогда средний член обращается в нуль и 5 (й) = 5 (() г) -', (() г — ()) ' А (Рг — ()) ~ 5 (Дт), причем равенство достигается только при ()=()т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
