4. Математическая статистика. Ивченко_ Медведев (1984) (1186157), страница 44
Текст из файла (страница 44)
Используя разложение (5.7), запишем остаточнык вектор в виде $3 = (ń— Х'А-'2) Х = ВХ. (5.15) Непосредственно можно проверить, что матрица В, определяемая этим равенством, симметрична н идемпотентна (В'=В); следовательно, вместо (5.14) можно использовать представление 8«= — Х ВХ, (5.16) показывающее явную зависимость оценки о' от наблюдений.
Наконец, из (5.15) имеем, что первые и вторые моменты остаточного вектора имеют внд Е (В) =О, 0(О) =о'В= 0(Х) — 0(7'()). (5.17) 4, Обобщенные о. н. к. Ранее рассматривался случай, когда на возможные значения параметров !) =(8п ..., (4») не накладывалось никаких ограничений, т. е. областью их возможных значений было все евклидова пространство )7».
Однако в ряде задач допустимые значения р бывают ограничены теми или иными условиями. Часто эти условия имеют вид линейных ограничений на параметры 8„..., ()», что в общем виде будем записывать так: ТВ=!гп (5. 18) где Т вЂ” некоторая заданная матрица размером тх й (т - й) и 1« — заданный т-мерный вектор такой, что система (5.!с) совместна. Другими словами, условие (5.!8) означает, что допустимые значения коэффициентов регрессии рм ..., !)» удовлетворяют т заданным линейным ограничениям 1;() =!гв (5.19) где 1,=((ы, ..., („е) и 1;, ..., !' — строки матрицы Т. Естественно предполагать, что ограничения (5.19) линейно независимы (иначе можно перейти к меньшему числу уравнений, исключив линейно зависимые).
Таким образом, в дальнейшем будем считать, что гапйТ =т (случай т = Ф, однозначно фиксирующий вектор (1, в последующих рассуждениях формально допускается). Рассмотрим задачу оценивания параметров р в этой усложненной ситуации. Обозначим 5» = ппп 5 (р) 83тр Ь и назовем обабкиной оценкой наименьших каадратои ()~ то значение р (удовлетворяющее условию (5.18)), при котором 5 - 5 ((!т) Нахождение обобщенной о. и. к. — это задача нахождения условного экстремума функции 5(р), и ее можно решить методом неопределенных множителей Лагранжа. Приведем только окончательный результат: ()г = () — А-'Т'0-' (Тб — 1„), (5.21) где р — обычная о.
н. к. (без ограничений на параметры ()), определенная равенством (5.6), а матрица 0=ТА-'Т' размером т хт положительно определена. Докажем тот факт, что Вг — точка условного минимума квадратичной формы 5(р). Из (5.21) непосредственно получаем, что Т()г=!е, т. е. точка !)т удовлетворяет условию (5.18). Воспользуемся далее разложением (5.?) для 5((1) и положим в нем ре = -- рт. 5(())=5($~т)+2(Вт — В)'(У вЂ” А()г)+4г — $))' А(йт — ()).
Так как АР=У, то из (5.21) следует, что Х вЂ” Айт=Т'0-' х х (Тр — !е). Учитывая также, что Т(()г — $)).=,!я — Т(1, получаем равенство 5 (()) = 5 ф г) + 2 (!е — Т())' 0 ' (Т() — !в) + ((1 г — ~)' А (фг — ~), (5.22) справедливое при всех р. Пусть теперь () удовлетворяет условию (5.18); тогда средний член обращается в нуль и 5 (й) = 5 (() г) -', (() г — ()) ' А (Рг — ()) ~ 5 (Дт), причем равенство достигается только при ()=()т. Зиме ч в н не, Полагая в (822) й=й и учнгывея, что в силу (З 2!) (()т й)' д ((4т йе) =(тд ив «е)' ц '(тын — !е).
получаем слелуюшее предстввле. оие условного минимума от — — о((»г) через вбсолютный минимум о (й): зт=з(р!+(т() — ей и (т() — ге)=з(р)+Ф„ (9 определено втнм р»венсгвом], 5. Оптимальный выбор матрицы плана. Рассмотрим «активный» эксперимент, т. е. когда значения факторов г„..., г» для каждого опыта выбирает исследователь.
Покажем, как в этом случае оптимально задать матрицу плана Х=!хц'...хге'1, где Рй столбец гсо — комбинация значений факторов дяя ьсго опыта (1=1, ..., л). В качестве критерия оптимальности естественно использовать величину дисперсий оценок (1; [см. (5.13)1; тогда задача сводится к выбору такой матрицы Х, чтобы диагональные элементы матрицы А-' = (ХХ')-' были минимальны.
Н зеве» ги нн« $85 !84 Если значения факторов выбирать произвольными, то все элементы матрицы А-' можно сделать одновременно как угодно малыми, так как если Х заменить на аХ, то А-' заменится на а-'А-'- О при а- со. Чтобы исключить этот случай, предположим, что значения факторов можно менять в ограниченных областях, именно: наложим ограничения вида (5.24) х)хт= )' (гч~) =Р), 1= 1,, ю й, 1 ! где хм ..., 7» — столбцы матрицы Х' (наборы значений н уровней соответствующих факторов) и а,", ..., ໠— заданные положительные константы.
При ограничениях (5.24) на допустимые значения а уровней каждого фактора следует подобрать комбинацию значений факторов (т. е. выбрать столбцы матрицы Х), так, чтобы дисперсии о. н. к. параметров 6„..., 5» приняли наименьшие возможные значения. Теорема 5.3. При условиях (5.24) и,иеют место неравенства 05, а 1а,', 1 = 1, ..., й, и минимум достигается тогда и только тогда, когда саюлбцы матрицы Х' ортогональны.
П Пусть 1 = 1. Запишем матрицу А = ХХ' в виде А=) Ь Г где Ь=(х',х„..., х»х,). Тогда а" =-! Г И А ~. Далее, умножая определитель ~ А ~ справа на определитель, равный 1, получаем следующую формулу: х;х, Ь' ~1 1: О ! х',хл — Ь'Г-'Ь)Ь'1 Ь Г ',~ — Г-'Ь(Е» »1 О,Г ~ = ~ Г ~ (*;*, — Ь'Г-'Ь). Отсюда, учитывая соотношения (5.13) и (5.24), имеем П(1 = а'ам = а'/(а,' — Ь'Г-'Ь) ) а»1а», так как Ь'Г-'Ь~О. Знак равенства имеет место только при Ь=О (поскольку подматрица Г положительно определена), т. е. при х';7,=0, 1=2, ..., я (первый столбец матрицы Х' ортогонален всем остальным столбцам).
Доказательство для других 1 можно получить простой перенумерацией факторов. ° В заключение отметим, что для оптимальной матрицы плана Х матрица А является диагональной с диагональными элементами а,'=х,'х~, 1=1, ...„й, поэтому проблема обращения А для вычис. 1ВВ лепна о. н к.
и их вторых моментов отпадает; в этом случае л;.Х . ьн ()л — — ОРИ вЂ” — соч(~( (л ) — О )Ф» l !! 6. Примеры применения метода наименьших квадратов. Пример 5.1 (аристон регрессия, оценивание параметров). Про- иллюстрируем общую теорию на примере важного для практичес- ких приложений случая простой регрессии, когда число пара- метров 5=2, т. е. () =(()м (),), а векторы хш имеют вид ха'=(1, 1;), 1=1, ..., и. Тогда ЕХ;=~»+()»(ь 1=1, ..., а, (5.26) т. е. среднее значение наблюдений является линейной функцией одного фактора б Так, 1 может быть температурой, при которой производится эксперимент, дозой лечебного препарата, возрастом обследуемых лиц и т.
д., и речь идет об изучении связи между откликом (исходом эксперимента) и фактором 1 на основании выборки, при этом регистрируют п пар измерений (Хн гд, (=1, ..., и, где Х, наблюдается при значении Ь фактора б Прямую к (() = р, + й,й соответствующую (5.26), называют линией регрессии, а коэффициент ()» — ее наклоном, В данном случае матрицы Х, А и столбец т'=ХХ равны: ,У.(,Х,1' Будем предполагать, что яе все Ь одинаковы (чтобы гапяХ=2), тогда ( А ~ = а ~ П вЂ” ~ ~ (; ) = п ~ ', ((, — 1)» ) О $ 8=3 ~ С=! (черта сверху означает арифметическое среднее) и У.~Г ~~,, н А 1 УЬХ, В результате несложных преобразований запишем оценки рл и (5» в следующем удобном для вычислений виде: р„= ъ (Ь вЂ” г)(х,.— хну;((,— к)', р, =х — ~р,.
(5.27) Вторые моменты этих оценок образуют матрицу а'А-', поэтому Ф ПЦ = „,, а, О()» = . (,, соч фм р,) = — г П» а». Иаконец, величина 5(()) (5.!4) равна б(())-~(Х, — Х)' — М ~(Ь вЂ” ГР (5.28) и несмещенная оценка для остаточной дисперсии а' имеет вид йл ° 8 (1))/(а — 2). х Пример 5,2 (параболическая регрессия) Пусть 1-й фактор г~ является полиномом аг (1) степени 1' — ! от об! щей переменной 1; тогда ху = (аг ((т), а (1„)), 1 1, ..., й,— набор его значений для л уровней, а х<!! (а,(1!), ! ! ! ! ! ! ..., аз(1!)), 1=1, ..., и,— комбинация с, с, сз с значений факторов гы ..., гз для г-го опыта. Такам образом, матрица плана Х ) х!" ...
х!"'1 определяется выбором л точек (т, ..., („ значений обшего фактора 1 дчя л опытов. В этом случае среднее вначеиие !'-го наблюдения Х, имеет вид Рнс, 5.1 (5.29) , (1, ()) — Я Я~а,(1!), 1=1, "°, л Определенная здесь функция гр(1; ))) представляет собой полинам (параболу) степени й — 1 и называется кривой параболической регрессии. Приведем твпичиую ситуанию, когда имеет место схема параболическая регрессии. Предположим, что имеется теарпгическая зввисимость вида х=!р (1; (!) между переменными ! и х, причем значения ! и х получают ив наблюдений. задача состоит в определения по экспериментальным данным невзаестных параметров Й!...., Йь, входящих в эта уравнение.
Каждое измерение к прв заданном ! дает уравнение, связываю!пес неизвестные параметры, н если бы нзмереиня величины к производились без погрешностей, то дл: определения параметров йо ..., Йз было бы достаточно з измерений. Однако точные изме. реиия на практике чаше всего невозможны, поэтому для заданных значений ! соответствующие значения х известны с какими-то погрешностями, т. е, реально вместо точного значения хг=!р (!а р) имеем случайный результат Хг=<р (!а /!)-1-з!, где з! — ошибка измерения. Если условия эксперимента обеспечивают отсутст. вие систематической ошибки (Ее! О), равноточиость (Гув! а'„! 1, ..., л) в некоррелированность (сот(е!.
з!) О, !!~ 1! результатов нзыеренвй, то прихаяим к схеме регрессии вида (5.2И). Чтобы исключить влияние погрешностей измерений„нужна заполннтельнаи ниформвпия. Лля этого праичвадят большое чисно измерений а ) й. Полученные экспернментальные даниме обрабатывают по методу наименьших квв!ь ратин. В реаультатг находят не точные значения коэффипиеитоа а овределяют нх в. и. в. Йм ..., рз. и данном случае !тому методу можно дать слезуюшую наглядную геометрическую явтерпретапню (рис 5.1). Нанесем на плоскости (1, х) наблюдавшиеся точка (1а Х,), ! 1, ... и.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
