Андерсон Т. - Введение в многомерный статистический анализ (1185341), страница 57
Текст из файла (страница 57)
Затеи в каждом множестве рассматриваются слсдующие линейные комбинации, обладающие тем свойством, что корреляция между ними больше, чем корреляция между любыми лругичн линейными комбинациями, некоррелированными с первыин линейными комбинациями. Этот процесс продолжается до тех пор, пока не будут полностью построены две' новые координатные системы. указанный статистический метод оказывается особенно полезным в исследовательской работе. Может оказаться, что исследователю доступны два больших множества величин, и его могут интересовать взаимосвязи между ними.
Если эти множества очснь велики, то естественно ограничиться рассмотрением небольшого числа линейных комбинаций из каждого множества. Исследователя может интересовать изучение наиболее коррслированных линейных комбинаций. Например, одним множеством величин могут быть анатомические характеристики, такис, как длина и ширина различных черепов; другие величины могут представлять собой измерения 390 канонические коРРеляции н Вели'1нны (гл, 12 характеристик умствещ1ых способностей, например, число очков, набранных з испытаниях на сообразительность.
Если исследователя интересует взаимосвязь л1ежду этими мновсествами, то оп может установить, что эта взаимосвязь почти полностью описывается коэффициентом корреляции между несколькими первымн каноническими случайнымн величинами. Эта теория была разработана Х о т е л л и н г о м [0). 12.2.
Канонические корреляции н канонические величины генеральной совокупности Пусть ковариационная матрица р-мерного случайного вектора Х равна з~. (Эта матрица предполагается положительно определенной.) Так как в этой главе нас будут интересовать только дисперсии и коэффициенты ковариации, то будем предполагать, что МХ= О.
Прп выводе основных положений и при алгебраических доказательствах нач не понадобится предположение о том, что вектор Х распределен по нормальному закону, хотя это предположение потребуется при построении теории, относящейся к выборкам. Вектор Х рззбивается на два подвекторз размерности р, н ре соответственно Для удобства будем полагать р,~(рт. Ковариационная матрица разбивается аналогичным образом на блоки с р, и рз строками н столбцами. (2) В предыдущей главе рассматривалось вращение координатных осей и переход к новой системс, в которой свойства дисперсии оказывались нанболес наглядными. В этой главе будет построено преобразование первых р, координатных осси и преобразование последних рз координатных осей к новой (р, + ре)-мерной системе координат, в которой взкимная корреляция между л и Х'' станет наиболее наглядной.
.Н11 Н1 Рассмотрим произвольную линейную комбинацию У вЂ”вЂ” 111 =н Х~ компонент вектора Х' и произвольную линейную 12.2! слг'1»п генов»л! нон сОВОкупнОсти ЗО1 функшлю )' =Т Х! ! кош1опепт вектора Х! 1. Найдем прежде ВССГО ЛИИСИИЫЕ фУнкш1и с максвмальНОй КОрРеляЦпей. Так как коэффициент корреляции между величиной, отличающейся от У только множитсл и, и величиной, отличающейся от Ъ' только множителем, равен коэффициенту корреляции между У и (г, то векторы а и Т можно нормировать произвольпым образом. Поэтому выберем векторы а и Т такпми, чтобы дисперсии величии У и лг бь1ли равны единице, т. е. 1 = б(У' = Мп'Хп!Хп' а = п'Хна, (3) 1 = Мр'= МТ'Х"'Хси Т = Т'Х„Т.
(4) От» етим, что МУ = Ма Х! 1= — а МХлн=О, аналогично М)» =О. Тогдз коэффициепт корреляции между У и )г равен МУ)г = Ма Х'!'Х'2' Т = а Х, Т. Алгебраическая задача состоит, таким образом, в определении векторов а и Т, при которых выражение (5) достигает максимума при условии, что выполняются (3) и (4). 1!усть ! 1 ф=" Х!2Т 2 "(" Хпа 1) 1'!" (Т Х22Т 1) (8) где ) и р — множители Лагранжа. Продиффсренцируем ф по компонентам векторов а и Т. Приравняв векторы проидводиых нулЮ, получим дф Х12Т АХ!!а — О, дя — =е" ма — ОХюТ = О.
дф дт (8) — ),Хна+ Х12Т = О, Х2!п )'Х22Т = О (! 1) (12) Умножив выраженис (71 слева на а' и (8) слева иа Т', получим а'Хжу — Ла'Хпа = О, (9) Т Х12а — 1»Т Х22Т = О. (1О) Так как п'Хна=! и Т'Х22Т= 1, то очевидно, что ).=1»= =а'Е12Т. Таким образом, выражения (7) и (8) можно переписать в виде клнони'1еские коРРгля!и<и и вгличины (гл !т 392 так как Егт .— Хя<. Это можно переписать в виде одного матричного уравнения (13) Для существования нстривнального решения (это необходимо для того, чтобы решенно удовлетворяло соотношениям (3) и (4)) матрица слева должна быть вырожденной, т.
е. ( — ) Х„Х(Я (14) Определитель слева представляет собой многочлен степени р. Чтобы показать это, рассмотрим формулу Лапласа для разложения по минорам первых р( столбцов. Один член имеет вид! — ЛХ„! ° ! — ЛХяз) =( — Л)ем~')Хи ( ~Хта~. Другие члены разложения содержат Л в низшей степени, так как одна илн несколько строк кажлого минора в первых р, столбцах не содержит Л. Так как матрица Х положительно определенная, то ! 2<1, '/ Хая!еьО (следствие (3) приложения 1). Следовательно, уравнение (14) — алгебраическое степени р.
Поэтому оно имеет р корней: Л( ) Ля ) ... ) )р, Из формулы (9) видно, что величина Л=м'Х<ЕТ рав(ю коэффициенту корреляции между У = и Х(11 и (г = Т Х< ', где а и Т удовлетворяют уравнению (13) при некотором значении Л. Так как требуется получить максимальный коэффициент корреляции, выберем Л вЂ” Лн Пусть решение уравнения (13) при ).= — Л, прелстазлиет собой а(н, Т<", и пусть (У<=к 'Х(' и Ъ'1 — Т' Х '. Тогда У, и (~1 являются норлшроваш<ыми линсйнымн комбинациями компонент векторов Х'' и Х( соответственно и коэффициент корреляции между (11 Я< ними максимален. Определим теперь вторую линейную комбинацию компо- (11 (1) нент вектора Х' 1, пусть это будет У = м Х 1.
н вторую линейную комбинацию компонент вектора Х( 1, пусть это Ф булет У=Т Х(~, таким образом, чтобы они имели наибольшую корреляцию среди всех линейных комбинаций, некоррелированных с У< и Р1. Продолжим этот процесс. На г-м шаге получили лннейныс комбинации У<=а~ <Х( ', ('1 — — Т( <Х('1, ..., СЛУЧАИ ГГНВРАЛ!,НОЙ СОВОКУПНОСТИ зйз 12.2! (),=и Х ', )',=-7( Х~ ' с соотвстствуюшнми «оэффнцн(«) (!) («) (". ентами корреляции А(Н=ЛН Л(2), ..., )(') (эти коэффициенты корреляции являются корнями уравнения (14)). Будем искать ги такую линейную комбинацию компонент вектора Х(), Ь'= (1) = сг Х( , и такую линейную комбнна пню 7 Х , ч гобы коэфГ2) фнцнснт корреляции между ними был больше коэффициента корреляции межау любыми двумя линейными комбннациямн, нскоррелироваш(ыми с (71, )'1, ..., (7,, 1~,.
Условие некоррелнрояшшости величин (7 и (7! имеет вид О=~й()'()',.-=Ми Х' Х ) и ' — — и Х,)а . (15) Если Л(очьО, то Х!(а'О =(11)( )Х!27(О и, следовательно, О =-. а Х!27(О = М( ')'с (16) Если Л") = — О, то Х!27Н~ = — О и выполняется соотношение (16). Условие нскоррелированности )г и )г! имеет вид О М) )Г = 1 1221(! (17) По тем же причннаи О = Т'Хт,и(1) =. М)г(lс (! 8) Найдем. теперь максимум М(7,+!)«„1, выбирая и и 7 таким образом, чтобы удовлетворялись соотношения (3), (4), (15) и (17) при 1'=.
1, 2, ..., г. Рассмотрии Ф = и Х 7 2 ) (и Х)()м — 1) — 2 ",(т Х227 — 1)+ « « + У «р'Хн~~*'+ ~ О,т'Х~у~!), (19) гДе Л, Р, «н ..., «,, Он ..., 6,— множители ЛагРанжа, Векторы частных производных функции фг+1 по элементам векторов а и 7 приравняем нулю, пол)ч!!!! — —" — = Х, у — ЛХ)!и -' «)Хнмн' = О, Д.! лт Ха)м — 1АХ227+Хб(Х22'7~' =-О. (21) канони)гскив когггляции и вгличинь) )гл и Умножая (20) слева па а(1) и (21) слева иа 70), получим 0 = а()) Хцаи) —— р 0 =)).Т()) Х„а()) = бр ! (22) (23) О Л(') ... 0 0 0 ...
).'") Условии (3) и (15) можно записать как (24) А'ХцА = 1. (25) Из того, что ранг матрицы Хц разек рц а ранг матрицы 1 равен т, следует т (рц Покажем теперь, что предположение т ( р, приводит к противоречию, устацовпя, что я этом случае существует другой вектор, удовлетворяющий указанным условиям. Так как матрица А'Хц имеет порядок т Х рц то существует матрица Е поридка р, )С (р, — т) и ранга р, — т, такая, что А'ХцЕ = О. Аналогично существует матрица 1'' порядка р )( (рз — т) и ранга р, — )и, такая, что !')Хтзр= О. Имеем также Р)Хт)Е = ЛА ХцЕ = О и У А Х)з!е= ЛГ)ХтзР= О. Так как ранг матрицы Е равен р,— )и, то матрица Е'ХцЕ исвырождепиая и аналогично матрица Таким образом, уравнении (20) и (2!) сводятся к урависпиям (11) и (12) или к уравнению (13).
Следовательно, выберем наиботьший из корней Л, (пусть это будет, для определенности, Л" '~) таких, что существует решение уравнения (13), удовлетворяющееусловиям(3), (4), (15) и (17) при (=1.. ..., г. Пусть это решение будет а ', Т, и пусть (7,,1== (г 1) (г~!) (~(.ц Л.ц) ) У (~+1) Л(т) г+1 Т Этот процесс продолжается последовательно, шаг за шагом, до тех поп, покз не будут найдены решения, удовлетворяющие условиям (13) при некотором Л, и условиям (3), (4), (!5) и (!7). Пусть т — число шагов, необходимых для этого. Покажем теперь, что т =- р,(( рт).