Андерсон Т. - Введение в многомерный статистический анализ (1185341), страница 58
Текст из файла (страница 58)
Пусть А =- ==(а(1) ... а(.)), Г) — — (Т(1) ... Т( )) и Лц) 0 ... 0 ! — «Е'ХИЕ Е'Х),Р =О Р'ХшŠ— «Р'Х2)Р ! (26) имеет корень, так как )Е'Х„Е) ° (Р'Х22Р( еа О. Из приведенных раисе алгебраических рассуждений следует, что существуют векторы а и Ь, такие, что Е'Х„РЬ = чЕ'ХИЕа, Р'Х„Еа = Р'Х,РЬ. (27) (28) Пусть Еа =а« и РЬ=Ь. Покажем, что ч, д и Ь образуют новое решение ).' ), а( ' ', Т( '. Пусть ХИ Х!2Ь=Ф.
Из А'ХИЬ=А'ХмРЬ=О следует, что вектор Ь ортогоналсн строкам матрицы А'Хп и, с.)едовательцо, является линейиой комбинацией столбцов матрицы Е, т. е. имеет вид Ес. Таким образом, уравнение Х!2Ь = ХИЬ можно записать в виде ХжРЬ = ХИЕс. (29) Уап)ожеиие иа Е' слева дает Е'Х,2РЬ = Е'Х Ес. (30) Так как матрица Е'ХИЕ невырожденпая, то из сравнения (27) и (ЗО) получается с.=ча и, следователю!О„Ь=«а. Т)ким образом, Х,Ь = «Х„а. (31) ((иалогичио можно покамть, что Х21в Х22Ь' (32) Следовательно, ч=)( '), а«=а ' ', Ь=Т ' ) предста(«2 (.1) ОР ' и .,(м : !) в л я ет собой другое решение .
Но это противоречит и р едпол ож ем ию о том, что Л . и , Т вЂ” и оследиее воз м ож и ое (е) (м) ВР) решение. Следовательно, т = рп Условия, наложенные нз ), и и Т, можно записать в виде А'ХИА = Е А'Х!2«ч) = Ь, (ЗЗ) (34) (Зб) 2 (а 21( 1 = l. 12.2) СЛУч!ап ГКНРРЛЛЫГОЙ СОВОКУПНОСТИ 393 Р'Х22Р тоже невырождспная.
Следователю!о, уравнение 396 кАнОнические коРРеляции и Величины ггл. 12 Пусть Г2=(ТГР ' И... Тгл ~) — матрица порядка р2)((ра — р,). удовлетворяющая уравнениям ГЕ Г=О, Г2Е22Г2 = г (36) (37) Эту матрицу можно построить последовательно.
столбец за столбцом; вектор Тгл Р О ортогоналсн вектору Е2,Г, и нормирован так, что Т1Р '~ЕЕ22ТгР ™ = 1, вектор Т~Р ~н ортогонален вектору Е22 (Г2 Тго еп) и нормирован так, что Тгл 2РЕЕ,Т(Р "2) = 1, и так далее. Пусть Г.= (Г, Г2). Эта квадратная матрица невырождена, так как Г'Е22Г =- У. Рассмотрим определитель А ' 0 О г' Е ~1А 0 Πń— >Е„1! О Г, Г,, 0 Г2 ' — Лу Л 0 Л1 А )7 О ( Л) ! О О )7! =( — Л)"' " ~ — Лу~ ! — Лу — Л( — Лу) 'А/= =( — Л)" " ~Л27 — Л21=( — Л)Р*-"Ц(Л2 Л"').
Л1 — Л7, 1= (38) ' — ЛЕИ Х„ Е2! ЛЕ22 (39) Таким образом, корни уравнения (14) равны корням уравнения, которое получается, если приравнять нулю выражение (38), т. е. Л=+Л~", (=1, ..., р, и Л=О (корень кратности р2 — р,). Таким образом, (ЛР .. „Л ) = (Лн ..., Лр, 2~2 О, ..., О, — Л„, ..., — Л2).
Множество (гЛ~ ) ((= — 1, ..., Р,) совпадает с множеством (Лг~ ((=1, ..., р,). Чтобы доказать, ~ г что множество (Л"'1 (1= 1, ..., р,) совпадает с множеством (Л,.) (( = 1, ..., р2), достаточно показать, что все Л~ ' иеотрицательны и, следовательно, каждое из них равно одному Полученный многочлен с точностью до постоянного множителя равен )22! случАЯ Гн)ЕРАльно(т сОвокупнОстн з9т из чисел Л, 1! = 1, ..., у!). Замечаем, что 140) (41) Таким образом, если 1. , и , Т вЂ” решение, то и — Л (г) гг) (г) (г) — и, Т вЂ” также решение.
Если бы Л были отрицатель- (г) (г) (г) ными, то — Л были бы неотрицательпыми и — Л ~ь А', (г) (г) .(г) Ио так как Л(г) должны быть максимальными, то должно выполняться соотношение Л ) — г. и, следователыю, Л ) О. , г) ° (г) (г) Поскольку множество (Л~ ~1 совпалает с множеством 1).,) (1=-1, ..., р,), должно быть Л"= — А! Пусть () ! = А Х(~).
(г'р, 1г) = Р;Ф). Лгр„! (44) 1гр, Компоиеиты вектора ар составляют одно множество канона )'1(" ') ческих величин, а комионенты вектора 1г=~ ) — другое (2) множество. Имеем ) и М у'~О (е11Р ) у'())= (р(2) — О Г! ! (2, = Л у О, 145) зйй КЛНОНИЧЕСКИР КОРРГЛЯ)(ИН И ВГЛИЧИНЬ! (ГЛ Ю где л, о...о о >,...о (46) о о ... л„ >'Х(')! Определение !22.!. Пусть Х=~ ), где век- (,х(") ' тор Х' ' р,-л(ерный, а вектор Х ' р;л(ерный (рг = р— ()) (г) — р, ) р,), г- й' пи рой кано и ич ес ки х величин нвл нет ся пари линейных коябинаций (7, =в)() Х() и У, =Т(г) Х( ), киждая иэ которых имеет един(иную дисперсию, не коррелирована с первы.чи г — 1 пара.ии канонических величин.
причем коэффициент корреляции иезиду алел(ентими этой пиры л)аксилсален. Эо)оо! коэффициент корреляции называется г-й канонической корреляцией. >'Х( )') Те о р е ма 12.2.1. Пусть Х=-~ 1 — случайный век- Ж тор с ковариационной л)атрицей Х. г-я каноническая (!) (г! корреляции м ежду Х' ' и Х' ' равна г-му по величине корню уравнения (14). Коэффициенты в линейных комбинациях а(" Х(!' и Тьч Х'г', определял)щие г-ю пару канонических величин, удовлетворнют уравнению (13) при условии >.=Л, и при условинх (3) и (4). Теперь можно проверить (не дифференцируя).
что коэффициент корреляции межлу (У! и У) принимает максимальное значение. Линейные комбинации а'Еl=(а'А')Х(' и Ь'У= = (Ь'Г') Х(г) нормированы, т. е. выполняются соотношения а'а — — 1 и Ь'Ь= 1. Поскольку матрицы А и Г невырожденные, любой вектор и можно записать в ниле Аа и любой вектор Т можно записать я виде ГЬ, и поэтому любые две линейные комбинации а'Х(' и Т'Х' ' можно записать в зиле а'17 и Ь'У.
Коэффициент корреляции между ними равен Рь а' (Л О) Ь = ~ Л,а,Ь, (47) ) ! Пусть Л(и,./'углэы (Л,и,)г = сн Тогда максимум выражения СЛУЧАИ ГГНВРАЛЬНОИ СОВОКУПНОСТИ 399 12.2! а' (А 0) Ь = ~~'У'„()<л<)2 ~~с<Ь< отиосителыю Ь достигается при Ь, =со так как ~~2'с<Ь< представляет собой коснпус угла между векторами Ь и (сп ..., с»с О, ..., 0). Тогда выражение (47) раино опо достигает максимума при а< =О, 1'=2, ..., ро Таким образом, максимум достигается при выборе СГ< и (г, в качестве линейных комбипацнй.
Для проверки того, что (У и У2 образуют вторую пару капонических величин, заметим, что пскоррслированность (/1 и липсйпой комбинации а'<У влечет О =-М(<<а'(Г = М(<1~< о<1<1 = а< и некоррслированность величин У< и Ь'У влечет 0 =Ь,. А,тгсбраические выкладки, использованные выше, позволяют получить требуемый результат; при этом всюду суммирование должно начинаться с<= 2. Для векторов и и Т <южно получить о»9<о матричное уравпеиие. Если умножить уравпсиие (11) на ) и уравнение (!2) иа Х22~, то получится ),Х<2Т = Л2ХПа, -1 Х22 Х2!м Подстановка из (49) в (48) дает Х<2Х22 Ема =-), Хиа (50) И:<И (Х<2Х22 Մ— ). ХП)а = О.
(51) Величю<ы ),1, ..., ).„, удовлетворяют уравнению 2 2 ~ Х,2Х22 Х21 — 2Х<1 ~ = 0 (52) и векторы и< 1, ..., а<»а удовлетворяют уравнению (50) при н) Л =Л<, ..., Л<ч соотвстстве<пю. Аналогичные УРавнеииа дли г 2 Т<", ..., Т«ь< получаются при подстаиовкс ) =Л<, ..., Л„,; п и этом (Х2 Х 'Х вЂ” Л'Х,! Т = О. (53) Если два множества величии не являются случайными, то для построении канонических величии используется другой подход. Пусть имеется миожество величии Х~~' со средними <и 400 клноннчгские кОРРРляиии и вглпчины (гл. !2 зпачсниями Вх») при и=1, ..., л, и пусть М (Х!." — Вх!2)) (Х)п — В»',.")' = )р, (54) Это распределение является условным распределением вектора Х' при условии Х =-хе, если совместная плотность )и )2) )2) всроятиости вектора Х равна )Ч(О; Х); тогда В = ХИХ2! и %'= Хи — ХИХл Хм. Рассмотрим линейную комбинацию (7.„=» Хт Математическое ожидание этой линейной комбии) нации равно М(l = »'Вх, и дисперсия 1)((/Р) = »'%'а; среднее значение суммы квадратов математических ожиданиИ равно ч — У (Мс)' )' = — У»'Влп)х)2)'В'а = а'1Ы,,„В'».
(55) 9=! где $ =- - Хх)2)е)2)'. 1 (56) Для того чтобы найти максимум средней суммы квадратов при задапной дисперсии, найдем максимум выражения (55) при условии а'%» = 1. Получим векторное уравнение (В$22В' — 2%))» = О, (57) где 2 удовлетворяет уравнению ~В522В' — )Р! = О. (58) Умножая уравнение (57) слева на»', получим, что при» и тч удовлстворшощих услови)о а'%».= 1 и уравнению (57), имеет л!есто соотношение»'ВЯ22В'» = к Для того чтобы найти максимум, выберем наибольший корень уравнепия (58). Ли)!) нсйиая комбинация ко мпонс нт вектора Х' ), для которой среднес зна чс нис суммы квалратов максимально среди всех линейных ком бина ци И, не коррелированных с первой, соответствует рсш епи ю уравнения (57) пр и выборе второго по величине ко рня ура инеи ия (58).
Чтобы уста повить более полное родство между вторым и столом построения канон ически х величин и первым методом, требуется рассмотреть соответствующие оценки. Можно получить их, замечая, что если второй метод получается из первого при Х = »... То % = Х)1 — Х!2ХРл Хм ° В = ХИХ22 ! Яц со- !2) )2) ответствует Х22, так что ВЮ22В' соответствует ХИХ22 Хги слю!Ал гснеиалы!Ои совокупности 401 ып МУ!,." = ~/'ч о'," (60) и У«' некоррелнрована с У,у~, ! чь /.
Дисперсия чины У!о равна единице. Аналогично Т«о'. ~ > о' ! ! — 6 л.с~ , е У' вели- (6 !) Таким образом, мы получили каноническое решение регрессионной структуры. Этим выводаи можно дать еще одну интерпретацию в терминах предсказаний. Рассмотрим две случайные величины У и Гг со средними значениями, раиными нулю, дисперсняии е,', и ва и коэффициентом к!гз(ареляпии р. Будем искать прибли« жение величины У при помощи Иг, величины, отличающейся от Ь' только множителем; тогда среднеквадратичная ошибка приближения равна М(У вЂ” И')'=еа — 25е е е Л-И,т— = еи (1 э«««+. (Ье — ра )Я. (62) Она имеет минимум прн 5 = а„я/е,, Можно считать, что ве.чичнна Иг определяет линейное предсказание величины У но значениям величины 1/, тогда е'-',(! — ря) равна среднеквадратичной ошибке предсказания. Отношение среднеквадратичной ошибки предсказания к дисперсии величины У н ЪБа.В' — «% соответствует ЕшЕт«Ем — «(Ен — Е~ Ета Ев)= -! « =(!.+ )(ЕюЕ,,р Ем — — — Е, ).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
