Шеффе Г. - Дисперсионный анализ (1185347), страница 3
Текст из файла (страница 3)
Часто бывает так, что один из параметров ())() действует постоянно. Тогда в математической модели перед соответствующим параметром р( ставится коэффициент (, так что для этих !' величина хн — — ! при любом й Мы можем назвать такое Р( аддитнвной постоянной (в приложениях это обычно в некотором смысле «генеральное среднее»). Модель, в которой все параметры Щ) случайны, за исключением, может быть, одного, являю1дегося аддитивиой постоянной, называется моделью со случайными факторами. Промежуточный случай, когда по крайней мере один параметр случаен и по крайней мере один не случаен, но не является аддитивной постоянной, называется смешанной моделью.
П р и м е р ы. Теперь поясним примерами введенные понятия; мы не бу. дем использовать типичные примеры дисперсиониого анализа. твк квк нх удобнее ввести позднее после дополнительных пояснений. 1. Рассмотрим задачу подбора полиномв 3 й степени у = и« + о~х + +а«хе+а«х' по множеству изблюдеиий (хь у~) ((= 1, 2, ..., и), предползгзя, что у; — случайная велнчннв, х~ — постоянная, з мвтемзтическое ожидание у~ является ординвтой кубической пзрвболы в точке х = хп Яз (Ус) оо+ а1хс+ а я~с+ азхзи В этом случае р = 4, Рс = аг, (1 1, ..., и), Отметим, что регрессия а«+а~я+ о»х'+ озх' иелииейна по «незввисимой» переменной х и линейнв по неизвестным параметрам.
2. Другая задача заключается в подборе тригонометрического полииомз по периодичесним денным с известным периодом, который преобрвзоввнием «) Следуя Эйзенхзрту (Еыепйзг1, 1941), модель с постояниымн фзкторами ивзыввют также моделью'-1, в модель со случвйнымн факторами— моделью 11. Ь й.й МАТЕМАТИЧЕСКИЕ МОДЕЛИ (7 Р ей Рй ей Во е„ и матрицу: хй! хи ° ° ° хйл Хйо х я) хйй хйй ... хйя хо, хо ...
хяа 'где верхний индекс (гХз)-матрицы указывает, что матрица имеет г строк и з столбцов. Когда отсутствие индексов не затрудняет чтение, мы их опускаем. Множество уравнений (!.2.1) можно записать как у = Х()+а, (1.2,4) где Х' обозначена матрица, транспонированная, с Х.
Случайная матрица Определение. Пусть заданы совместный закон распре. Мления случайных величин (ин) с конечными математическими ожиданиями и матрица ой~ ои .. ойй о„о,й ... ой, ою ойй ° ойй определим математическое ожидание матрицы $7 матрицей М(„) М(о„) ... М(о,) М(ой,) М(ойй) ... М(ойй) (1,2.5) М (о й) М (о,й) ... М (ойй) «1 См. предисловие. ийкилы времеии можно свести к 2и: М(уй) ее+ айсояй,+ Ьйив(й+ айсоя2йй+ Ь и!п2! + а сояЗ( + Ь МпЗ( Ндесь ияблюдеяия уй производятся в моменты времеии П и (рй) — это семь ковффиииеитов а и Ь.
Приведенные примеры показывают, что наша модель включает большое число различных случаев. Изложение общей теории в главах 1, 2 и 6 облегчается е) использованием векторной и матричной алгебры. Автор надеется, что он дал достаточный материал по векторной и матричной алгебре в приложениях 1 и П. Введем векторы (векторы и матрицы будут печататься жирным шрифтом): Уй !их И Гл.
ь точечнын оценки «в Это определение позволяет записать условия (!.2.2) и (1.2.3) в более сжатой матричной форме М(е) = О, М(ее') = о,1, (1.2.6) где Π— нулевая (пХ1)-матрица, а 7 — единичная (пХп)- матрица. Л е м м а. Если А'чко и В<'"и — постоянные матрицы, а уико — случайная матрица, то М(АУВ) =АМ(У)В. ( 1,2.7) Д о к а з а т е л ь с т в о. В доказательстве используются обычные свойства линейности оператора М, т. е.
М(ах+ Ьу) = =- аМ(х)+ 8М(у), где а и Ь вЂ” константы, а х н у случайны. Ковариационная матрица Пусть задан совместный закон распределения случайных величин оь ..., о„, имеющих конечную дисперсию. Рассмотрим вектор о = (о„оь..., о„)'. Ковариационной матрицей вектора о назовем матрицу Г, = (соо(оь о«) ), (1.2.8) (~',!)-й элемент которой является ковариацией о, и оь Положим «ч = М(о~). Тогда соч(оп о ) = М [(о; — «ь) (о« вЂ” рв)]. Используя (1.2.5), можно (!.2.8) записать в виде Г, = М [(о — р) (о — «х)'), (! .2.9) где «х = М (о). Мы будем часто использовать следующее простое с во й с та о: если линейное.преобризование с матрицей А переводит п случайных величин оь ..., о„ в случайные величины гвь ..., гв, т.
е. тво"к» = А<"'""~ о~"~'>, то ковариационная матрица вектора и задается формулой Г„= АГ,А'. (1.2.10) Доказательство. Г =М([«в — М(а~)][те — М(тв)])= = М (А [о — М (о)) [о — М (о))' А')=АМ ([о — М (о)] [о — М (о))') А' = = АГ„А'. й !.3. Оценки метода наименьших квадратов и нормальные уравнения В этой книге символом «1 мы будем обозначать совокупность основных предположений. Предположения, введенные в $1.2, можно залпсать так: иык ) ~~'ймх»Ц е«чк» М(е) «! М«ее.) )с $ !.3. МЕТОД ссАИЛгЕНЬШИХ КВАДРАТОВ или еще короче 11: М(у)=ХЬ, Г„=,Ч.
а / Р ьз У (у, Ь) = ~ ~ ус — ~ хссЬ)1, с-! (1.3.1 котоРое можно РассматРивать как 2 езе где чеРез ес обозна. с=! чена оценка ошибки ес в наблюдении ус (см. (1,2.1)), если 1 оценивается посредством Ь. Величину (1.3.1) можно рассмат ривать как меру близости модели с параметрами р и ее оценк! с величинами Ь; чем меньше 9', тем лучше подобраны Ь. В мат ричных обозначениях мы можем записать 9'= (у — Х'Ь)')с Х(у — Х'Ь) нли, если длину вектора и обозначить ~! о 1), как 9(у,ь)=(1у хь)1. (!.3.2; Определение. Множество функций а) от у (т. е.
мно жество статистик) рс=()с(у), рз=()з(у), ..., б =(),(у), таких что величины Ьс =()с (1 = 1, ..., р) минимизируют 9'(у, Ь), на зывается множеством мнн-оценок (оценок метода нас!мень!и!с! квадратов**)) параметров Щ. Нормальные уравнения Мы увидим, что мнк-оценка всегда существует, но не обя зательно единственна. Будет показано, что любая мнк-оцени! ') Для математически подготовленного читателя заметим, что здесь ~ в дальнейшем имеются в виду измеримые функции. Если(р ) — единственна с оценка, то она может быть только линейной функцией от (уг)! если един ственности нет, то существует бесчисленное множество линейных функций Удобно рассматривать только линейные оцеиии (например, для вычислеин их ковариациопной матрицы).
*') Меток наименьших квадратов был использован независимо Гауссо! (Гзапзз, 1809) и Лежандром ().ейепбге, 1806) для решения астрономически: задач, Пусть через Ьс, Ьз..., Ь обозначены величины, которые мы хотим рассматривать как оценки параметров»рс, ()з .. рр. Параметры рс, рз, ..., рг являются неизвестными постояннымг: величинами. тогда как Ьс, Ьь ..., Ьа мы будем изменять так, чтобы подобрать «наилучшие» в некотором смысле оценки. Для каждого Ь =(Ьс, ..., Ь )' образуем следующее выражение: гл, !. точен!!ые оценки удовлетворяет уравнениям (недостаточно подготовленный читатель должен прочитать сноску «) — О (»=1, . „р), Из этих уравнений находим и « я — = — ю~(я — )'ч/ю)*„,=ю ! !..., рю, дэ дь» ! ! / ! Отсюда и п Е Е л»!х/!Ь/= Е л !у (»=1, ..., р), (!.3.3) ! ! / ! ! ! или в матричной форме ХХ'Ь = Ху, Полагая 3 = ХХ', находим нормальные уравнения ( !.3.4) Символ () будем использовать для обозначения любого реше- ния нормальных уравнений, сохраняя () исключительно для мнк-оценки.
Однако мы покажем, что каждое решение нор- мальных уравнений является мнк-оценкой и что любая мнк- оценка удовлетворяет нормальным уравнениям, поэтому не бу- дет ошибки, если й заменить на р. На практике при решении системы нормальных уравнений можно не различать Ь и Решив систему уравнений ' = О (» = 1, ..., р) относи. дя(р,й) дь, тельно Ь, можно решение () обозначить через (), Мы надеемся, что после этих объяснений не будет никаких недоразумений.
Геометрическая интерпретация !1окажем, что мнк-оценки существуют и совпадают с решениями нормальных уравнений. С этой целью мы используем результаты векторной алгебры, приведенные в приложении 1. В л-мерном пространстве ря введем вектор математических ожиданий т) = М(у); так что при условиях Й т)! Хп = Хга, «) Символом дУ(р, Ь)/дЬ обозивченв чвстнвя производнвя от й«(у, Ь) по Ь». Ее можно рассматривать иви обычную производную по Ь», если оствльные (Ь!) считвть постояниымн. В иннге будут нспользовзться только частные производные по неиоторой переменной 0 от фунипин У.
которая является суммой квадратов вырзжевий, линейных относительно 0 (т. е, выра. жеиий вида А+ ВО, где А н В не зависят от 0). Этв частная производная равняется удвоенной сумме произведений вырвжеипй А + В0 (ио не их кяяяпятппю! пя кп«вюнюппп«пт ппп а т и В З ьз метод нлимзиыпих кзлдклтов или (см. применение матричного умножения в (11.
7) приложе- ния 11) (1.3.7) ц=и+м+ ... +рь, где вектор $!""и является )ьм столбцом матрицы Х', Обозначим через г ранг Х н через Р, г-мерное векторное пространство, порожденное (см. приложение 1) векторами зь ..., йк. Тогда вектоР г<""и пРинадлежит к', в том и только в том случае, когда существуют коэффициенты Ь„..., Ьр такие, что я = Ь4~ + ... ЬД,. В частности, т! еи $', при 11, Пусть я = Х'Ь, где Ь считается переменной. Из теоремы 2 (приложение 1) следует, что У(у,Ь) = !)у — а)р имеет минимум, который достигается тогда и только тогда, когда г является проекцией вектора р на к',.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
