Андерсон Т. - Введение в многомерный статистический анализ (1185341), страница 55
Текст из файла (страница 55)
(28) Уравнение на Е дает Ех=Лх. (29) Это уравнение совпадает с (4), и можно пользоваться приведенными там алгебраичв~кичи методами. Такич образом. векторы ры1, ..., р'ю являются главными осями эллипсоида, Преобразование и=- Вх представляет собой вращение координатпых осей такое, что направление новых осей совпадает с направлением главных осей эллипсоида. Уравнение этого эллипсоида в новых координатах имеет вид 1 ит Отсюда длина Г-й глзвной оси равна 2 у'Л,С. Третий метод получения этих результатов можно изложить в терминах «наименее отклоняющихся плоскостей» (К.
Пирсон (3)). Рассмотрим плоскость, проходящую через гллвныг. компоненты 878 1гл. и начало координат, м'х = О, где а'м = 1, Расстояние точки ж от этой плоскости равно п'х. Найдем коэффициент уравнения плоскости такой, что среднее значение квадрата расстояния случайной точки Х от плоскости минимально, причем МХ= О и МХХ' = л. Таким образом, мы хотии найти минимум М (а'Х)я = Мм'ХХ'и = и'?'и при ограничениях м'в=1. Из сравнения с первым методом сразу получается, что решением является м=р(л'. Методы аиализа с помощью главных компонент лучше всего подходят к случаям, когда все кочпонеиты Х измеряются в одних и тех же единицах.
Если они измеряются в различных единицах, то вряд ли разумно искать максимум р'?'р отиосителы:о р'р; в самом деле, результаты такого анализа будут зависеть от различных единиц измерения. Пусть Ь вЂ” диагональная матрица, и пусть У=АХ. Например, одна компонента Х может быть измерена в дюймах, а соответствующая компонента У вЂ” в футах, другая компонента Х может быть измерена в фунтах, а соответствующая компонента У вЂ” в унциях. Ковариационная матрица Х равна МУУ'=М ЬХХ'А=А?~Ь=%". Тогда анализ У при помощи главных компонент приведет к задаче нахождения л~аксимума М(Т'У)'= ('%Т относительно Т'Т и к решению уравнения О=(%г — г)Т=(Ь?:Ь вЂ” «г)Т, где «должна удовлетворять уравнению (%г — «г'1=0.
Умножение слева па Ь ' дает О =(Х вЂ”.Ь ')(ЬТ). (31) Пусть ЬТ=м, т. е. Т'У=Т'ЬХ=м'Х. Тогда (31) получается из задачи нахождения максииума М(м'Х)а=а'?:п -2 относительно и Ь и. Последняя квадратичная форма представляет собой взвешенную сумму квадратов, где коэффи— 2 циенты веса — диагональные элементам матрицы А . Следует отметить, что если матрица Ь выбрана в виде оп О ... О Ь-2 О ою ...
О (33) О О ...влр то %г является корреляционной матрицей. ОНЕНХИ НАИЗОПЬП<ЕГО ПРАВПОПОДОВИЯ 379 !( э) !1.3. Оценки наиболыпего правдоподобия для главных компонент н их дисперсий Основная аадача теории статистических выводов, рещае мая с помощью анализа главных компонент, состоит в оценке векторов р<(1, ..., 1(<в( и скаляров Лм ..., Л . Применим алгебраические результаты прелыдущего параграфа для оценки човариациониой матрицы. Творе<(а 11,3.1.
Пусть х,, ..., х — (((() р) наблюдений над совонупностью (<((р, Е), где Š— матрица, имеющая р различных характеристических корней. 7огда множество оценок наибольшего правдоподобия для Л,, ..., Л и Р<п, ..., 9<в(, определенных в теореме 11.2.1, состоит из корней й() ... ) Вр уравнения [$-37[=0 (1) и множества соответствующих вектороВ йаа). ", 3<и), удовлетворяющих уравнениям (2) (3) где Й вЂ” оценка наибольшего правдоподобия для матриць< Х.
Д о к а з а т е л ь с т в о. Поскольку корни уравнения [Š— ЛР[=0 различны, ка<<г(<ый вектор р<~1 однозначно определяется с точностью ло замены Р на — Р . Если потребовать, (о <(( чтобы первая ненулевая компонента 1( была положительно», то (() определяются однозначно, и р., А,  — однозначные функ. ((( ции р, м. По слелствию 3.2.1 множество оценок наибольшего правдоподобия для р, д, В является той же самой функцией от р., Х. Эта функция определяется уравнениями (1), (2) и (3) и соответствующиь( условием, что первая ненулевая кампо.
пента Ь~ положительна. [Можно показать, что если [Е[ чьО, (и то с вероятностью 1 корни уравнения (1) различны. тая как наложенные на Х условия, при которых эти корни имеют кратность, бдльшую единицы, определяют область гллвнып компонснты (гл и 1 в пространстве Е, размерность которой меньше — р(р+1)~.
2 Из формулы (18) Э 11.2 видно, что Е = ВХ В = ~ф")!" (4) и в соответствии с алгебраическими результатами, приведенными там же, Е = ~А!Ь! !Ь' ' . (5) При замене Ь на — Ь! ~~lг!Ь~ Ь !, очевидно, не изменится. Так как функция правдоподобия зависит только от Е (см. э 3.2), то максимум функции правдоподобия можно получить, выбрав любое множество решений уравнений (2) и (3), что и требовалось доказать. Можно решить залачу с учетом произвольной кратности характеристических корней матрицы Е. Если эти кратности не все равны единице, то оценки наибольшего правдоподобия не определяются уже по теореме 11.3.1.
Не вдаваясь з подробности этой задачи, рассмотрим только один крайний случай. Предположим, что уравнеш!е 1Š— )У/ = О имеет один только корень кратности р. Пусть этот корень равен Тогда по следствию 11.2.1 матрица Š— )!У имеет ранг нуль, т. е. Š— )!! = О или Е = )!У. Если вектор Х распределен )т'(р, Е) = г!((р, )!У), то компоненты Х независимы и имеют дисперсию ),!. Таким образом, оценка наибольшего правдоподобия для )!! равна и Е =)!!г, а Й вЂ” ортогональная матрица.
Следует отметить, что в 3 10.7 рассматривалась задача проверки гипотезы о том, что Е=)!У ()! не задана), т. е. гипотеза состояла в том, что Е имеет один характеристический корень кратности р. В большинстве приложений анализа главных компонент можно считать, что характеристические корни матрицы Е различны. Следует отметить также, что при некоторых применениях этого метода алгебраические результаты применяются к матрице коэффициентов корреляции, з не к коварнационной матрице.
В общем случае при этом получаются различные корни и векторы. нл1 Вычисление ОценОк нАиБОлшнего пРАВдоподозия 331 11.4. Вычисление оценок наибольшего правдоподобия для главных компонент и решении полученного уравнения р-й степени относительно 4е (например, по методу Горнера) для корней Ф( ) 441 ) ... ~ (г . Тогда ранг матрицы з' — й(7 равен р — 1, и решение уразнения (л' — Л(7)Ь =0 можно получить, Выбирая(>41 и качсстае (о (И алгебраического пополнения элемента первого (илн любого другого фнксироаанного) столбца и У-й строки матрицы Х вЂ” >(,.7.
Второй метод язляется методом последовательных приближений. Ураанс((ие для характеристического корня и соотзстстаующсго характсристического вектора можно записать и аиде (2) причем уравнение относится к совокупности. Пусть х(> — любой зсктор, не ортогональный к первому характсристичсскому Вектору; опрсдслнм х'(> = Вун-1> 1 У(1>= . г —.~((> г «(нк(я 4=1,2,... 1=-0, 1, 2, (з) (4) Можно показать, что !'ш у(1> = ~р(н ( +.и Р !!ш х(охш — ).а. ( +оэ (6) Имеем Е = ВЛВ', и, таким образом, по инлукции Х'=(ВЛВ)Х '=(ВЛВ)ВЛ' ' В =ВЛ'В. (7) Пусть г(= 1>ф'х',х, >.
Из (3) и (4) имеем «(» = аРУ((-1>. Имеется несколько способоз вычисления харзктсристичсских корнсй и характеристических векторов (глзяных компонент) матрицы Х. Здесь будут указаны два метода. Один метод состоит з разложении уравнения О=! — И~ (1) ГЛАВНЫЗ КОМПОНЕНТЫ Примеиаи несколько раа ф), получим вм, -(Ц,) в'*,„Чвв в'к . в в где 8,= Д а.
Из (4) получим 7 о Можно записать ~в Предел выражения !А — А) равен ~х, !10) 11 1) 1 0 ... 0 Игн (-1 — А) = Ию ! 0 ... 0 0 О ... О 0 О ... О 113 так кав ) ф, ( 1 при С ) 1. Таким образом, 1 О ... О Ию В(-~- А) В'хо= В '" У» ~ 0 0...0 =Ф" О ... О)В'ха=Р"'Рнт, 9"'х,)РП' !10) Из !10) и !13) имеем Иа 1Мгф~~ о. ° 1 в-+ О!Н) л Отсюда следует (5) и !6). (И) пл) вычисление оцинок нлпволшпвго пгавдоподовня 383 Чтобы найти второй корень и вектор.
определим Е, = Š— )4"'Р'"'. (15) Тогда (16) если 1+1 и Ер<> О (1У) Таким образом, )сз — наибольший характеристический корень матрицы Ез и р<з> — соответствующий характеристический вектор. Процесс последовательных приближений применяется тепеРь к Ею в РезУльтате опРеделЯютсЯ )<з и Р<з>.
ОпРеделЯЯ Еа=Еа — )<аР~'>Р<"Г, можно найти >з и РГз' и т. д. Имеется несколько способов, позволяющих сократить об.ьем работы в методе послсловзтсльных приближений. Один из них состоит в том, что матрицу Х возводит в некоторую степень, а затем уже применяют метод последовательных приближений.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
