Андерсон Т. - Введение в многомерный статистический анализ (1185341), страница 59
Текст из файла (страница 59)
«+! !1)' Г!усть У!н = йп' Х~", где мп' — решение уравнения (57) при «==«, («,— наибольший корень уравнения (58)), тогда МУ!н=мп'Вх~ ~, Г!усть а~ ~ В=/гТ~ ', где /г определяется таким образом, чтобы ~Тп! х!мх!' Т'и = Т!н я Тп" (59) 1 —, н «г ! ья тогда й = )/ «ш Г1усть «(и =- Тпух(ай Таким образом, е ч МУ''н =- 'Гl о'и. си гл ! Аналогично определяются У.'.', ..., У«ЯЗ и о,, ..., о,"з. Тогда 402 кюгоннчяскпг кояягляции н вгличины (гл.
ы равно в~ (! — рт)/ае = ! — р') эта величина явля.тся мерой относительного влияния (г на у или мерой относительной эффективности величины )г при прелсказании величины у. Таким образом, чем больше рз илн )р', тем более эффективной является величина !' при прелсказании ве.)ичины У. Рассмотрим случайный вектор Х, допускающий представление в зиле (!). Воспользуемся линейной комбинапией. )г=Т'Х( ' лля предсказзния линейной комбинапии У= и'Х"); тогда величина $г позволит наилучшим образом предскааывать величину У. если коэффициент корреляции между У и )г максимален. Таким образом, можно утверждать, что а') Х' ' прелставляет собой линейную комбинацию компонент (»' (» вектора Х'), котору)о можно прелсказывать наилучшим обра(» зоч, и такое наилучшее предсказание осуществляет комбинация Т')' Х(а).
За меру среднеквадрзтнчного эффекта величины )г на () можно выбрать 2 ))((())))г рз " й((га тат б, (63) а в качестве л(еры относительного среднеквадратичного эффекта можно взять отношение М (И')'/М Ут = р'. Таким образом, максимальный эффект, который может окааывать линеИная комбинация компонент вектора Х' на линейную (т) комбинацию компонент вектора Х' ), оказывает Т' ) Х' ' на (» (»' и) и' 'Х' '. Лналогичную интерпретацию попускает случай, когда вектор Х' не случайный.
При этом вычисляем математи- (2) ческое ожидание векторов Х( ' и производим усреднение по р. ()) Слелует отметить, что в частном случае р, = ! единственная каноническая корреляция прелставляет собой вектор множественной корреляции межлу Х' =Х, и Х ), (» (з) Определение канонических величии и канонических кор- реляциИ было дано в терминах ковариационной матрицы л = М (Х вЂ” МХ) (Х вЂ” МХ)'. Можно было бы применить более общий метод: взять в качестве исходного (р + рз)- мерный нормально распределенный вектор )' и опрелелить Х как вектор, распределение которого совпадает с распределением первых р компонент вектора г' при фиксированных мм онгнкл значениях последних рз компонент. Это означало бы, что рассматривается вектор Х со средним значением МХ = еэу~~г; влементы коаарианионноЙ матрицы прелставляли бы собой в этом случае частные ковариании первых р элементов вектора У.
12.3. Оценка канонических корреляций н канонических величин Пусть х,, ..., х — гч' наблюдений над совокупностью И1р, л). Пусть вектор х, разбит на два подвектора размерностей р, и ра соответственно: Оценка наибольшего правлоподобия для матрицы л (разбитой на части, как в формуле 12) а 12.2) равна ~и~и 1 л =- ~ ~ = — (х„— х) 1х. — х)' = ~м ~тг ~г(х~н — хнг)(х~» — х~н)', 'э (х~~~ хи>)(х1и хсн) ~ ~~й„(х~~' — хн)(х~'1 — хп>)', ~г(х(~~ — лчт>)(х<~> — Фи)' ) 12) Оценки наибольшего ггравдоподобия аля канонических коэффициентов корреляции А и канонических величин, определенных с поиошью матриц А и 1', требуют примепения к матрице л алгебраических рассужлений, приведенных в предыдущем параграфе.
Матрицы А, А и 1', определяются однозначно, если предположить, что канонические корреляции различны и первый ненулевой элемент каждого столбца матрицы А положителен. Неоднозначность матрицы Рт позволяет умножать справа на ортогональную матрицу порядка 1рт — р,) )( 1ра — р,); от этой неопределен. ности можно избавиться, наклалывая разного рода ограничения, например, требуя, чтобы подматрина, образованная нижними рт — р, строками, была треугольной с положительными диагональными элсмснтамн. Применяя следствие 3.2.1, можно показать, что оценками наибольшего правдоподобия для величин ), ..., ). являются корни уравнения (3) и /-е столбцы матриц А н Г! удовлетворяют уравненччч =о, ;,((Г~,-,((! ни Т(з!'~,(!! Матрица 1'г удовлетворяет уравнениям ГгХггГ! = О, Мю1'г = — у.
(7) (8) Когда на матрицы А и 1', наложены другие ограничения, матрицы А, 1' и А определяются однозначно. Те о ре ма 12.3,1, Пусть хн ..., хы — (!(' наблюдений нид совокупностью (ч(((ь, Х). Пусть матрица Х разбита на лодмотрицы с р, и р, (р,~(рг) строками и столбцами соответственно, кик в формуле (2) э !2,2, и пусть вектор х„аналогичным образам разбит но части, кик в формуле (1). Оценки наибольшего правдоподобия для канонических корреляций являютсн корнями уравнения (3), где митрииы Е,) определяются по формуле (2). Оценки наибольшего правдоподобия длн коэффициентов при у-х канонических компонентах удовлетворя(от уравнениям (4), (5), (6), /=1, ..., рн остальные компоненты удав.гетворяют уривненинм (7) и (В).
Канонические корреляции и канонические величины генеральной совокупности были найдены из условна максимума корреляции линейных комбинаций двух множеств величии. Те же самые рассуждения можно применить в случае, если все указанные величины относятся к выборке. Таким образом, выборочный коэффициент корреляции между и(П'х(н н Т(()х(г! принимает максииальное значение среди всех коэф- 4о4 ка(но(ИГИГские коРРГляции и ВГличи!(ы (Гл (г <аа! спинка фнциентов корреляции между любыми двумя линейными комбинациями векторов х<„'< и х<т<, и этот коэффициент корреляции равен Х,. Аналогично, линейным комбинациям а<ю'х<н и Т<енха' соответствует второй по величине выбоа а рочный коэффициент корреляции и т.
д. Следует также заметить, что можно было бы определить выборочные канонические величины и корреляции через матрицу 8, являющуюся несмещенной оценкой матрицы Х. тогда аоч = уг(Й вЂ” 1)/и а"', сьй = уг(А< — !)/м та' и 1 = Х удовлетворяют уравнениям 1 1 З„с =1Рна', О< <1< ют<аьа =- !.8<пса, ! 22 аОСЮнанй =. 1, сьб 8 сьо = 1. ю (9) (1О) (1 1) (12) (13) Пусть 1'ан О О )<я~ ... О (14) О О'<<гарр (15) О О Линейные комбинации а<лих<ц и с<дс х<ю будем называть выборочными каноническими величинами. Выборочные канонические величины можно также определить с помощью выборочной корреляционной матрицы 406 КА!ГОНИ'!ЕСКИГ КОРРГЛЯ)!ИИ И ВРЛИЧ!П!Ы [ГЛ 12 Тогда можно выразить уравнение (9) через (!2) В)г($2с)1)) = 11ВИ ($,а)1)), В„($,а)1)) = 1,В„($2с!»)-, ($,а)1))' Вц ($,а)») = 1. ($гс)) ))' Вгг ($,,сы ) = 1.
гак, что (16) (1 7) (16) (19) Рассмотрим теперь случай, когда МХ~ ~=91~)+В(х) -х) )) и !)1(Х!~) — МХ)')(Х„' — МХ) ') = Ч'. Тогда оценки матриц В и )л' имеют внд В.= $12$И', (20) Вц — В$ИВ' =- $ц — $,2$22'$2, (21) Корни Р), ..., тр, уравнения ) $12$22 $И вЂ” 2 ($ц — $!Р$22 $ы) ) =- 0 (22) Явлаютси оценками величин 21, ..., Ррг ПУсть всктоР а") является рендением уравнений (23) (24) !$12$21 $21 21 ($ц $!2$22 $21)! а = О, а ($ц — $12$Й $И)а —.-1. Тогда 2! — — 1;/(! — 1;) и а' ) = !1/(! — 1;)! а)'), Следовательно, величина (1Ф ч,) В'а, = с, равна сп Эти алгебраические выкладки допускают геометрическую интерпретацию.
Столбцы матрицы (хц ..., Хл)) можно пред- ставить в виде р-мерных векторов в 1)1-мерном пространстве, а строки (х, — х, ..., Хл) — х) представляют собой проекции р-мерных векторов на ())(†1)-мерное подпрострацство, орто- гональное к прямой, образуюц)ей равные углы с осями коор- динат. Обозначим их х), ..., хр. Любой вектор и" с ком- понентами а (х) — х ...,, Хл) — х ) = а)х, +... + ар,хр, ~ /,1) -Н) Ц) -!1)т содержится в р)-ь!ерном пространстве с базисными векто- рами х", ..., х, а вектор т" с компонентами Т'(х") — хи)..
! ..., х') —.Ф~ )) ='1',х*, +...+Т х' содер)китса в,ог-мер- ном пространстве с базиснымп векторачи х* „,, ..., х' Косинус угла л!ежду этими двумя векторами равен коэффи- !2.4! спосог внчисле!!ип циенту корреляции между величинами и =-а'а~'! и о =Т'хп! (а=!, ..., А!).
Задача нахождения векторов а и Т, при которых коэффициент корреляции достигает максимума, эквивалентна задаче определения таких векторов в р,-мерном и в р;мерном пространствах, угол между которыми принимает нзименьшее значение (и, следовательно, косинус принимает наибольшее значение). Отсюда находится первав пара канонических величин, и первая каноническая корреляция равна косинусу этого угла.
Аналогично вторая пара канонических величин соответствует векторам, ортогональным первым двум каноническим величинач, причем угол между векторами, входяшиии во вторую пару, минимален. !2.4. Способ вычислений (2) Здесь буд~т дано краткое изложение четода вычислений в терминах величин, относящихся к совокупности. Обычно используются формулы (50), (51), (52) э 12.2. Вь!числение матрицы Х!тХтз'Хт! описано в $ 8.2.3.
Эту матрицу можно также найти, вычислив из УРавнениЯ Хы — — Х Р величинУ Г..=Х.т'?а! и умножив резуяьтат на Хж. Если число р, достаточно мало, то определитель ! ХмХзт Хт! — «Х!! ) можно разложить по степенюч «и пояучснное алгебраическое уравнение можно решить относительно «. Решение подставляется затем в формулу (51). откуда находятся векторы а. Во многих сяучаях число р, слишком велико, и этот метод оказывается неэффективныч. Тогда сяедует применять метод последоватеяьных ппиближений ХмХяе Х !а(!)'=? (1+ 1) Х!!а(г -(-1). (1) В качестве исходного приближения выбирается а(0); вектор а(1+1) можно нормировать при помоши соотношения а(!+ 1)' Хна(!+ 1) =!. Обычно вместо соотношения (1) испояьзуется Х!!'ХмХю Хе!а(!) = 1'(! + 1) а (!+ 1) (3) (для этого решается уравнение Х!еХет'Хт! = Хг!Е).
Тогда )т(г+!) сходится к г!, а а(г+1) сходится к а!'! (есяи яг) ~). Это можно показать с помощью метода, применяв- 408 клноии!(вские коРРгляции и вглнчиньт [гл и шсгося при в(лводе аналогичных соотношений для главных компонент. Из формулы (45) Ч 12.2 можно заключить, что Х)1 Х)2 Х22 Хг) = А А 2А (4) Результат (1+ 1)-го приближения равен м(1+!) =11+1(АА А ) а(0) =~ьь!АА" ')А п(0), (5) где г)+! — нормнруюший множитель. При этом матрица Сье)А " сходитса к матРице, в веРхнем левом УглУ кото- 2(1, Н рой стоит единица, а на всех остальных местах — нули. Огсюда следует, что а(1+1) сходится к вектору, который ~олько постоянным множителем отличается от первого столбца матрицы А. равного вектору м(1).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
