Андерсон Т. - Введение в многомерный статистический анализ (1185341), страница 56
Текст из файла (страница 56)
Так. можно пользоваться матрицсй Ет, положив х<» — — Х'у„ы. (13) «<и У<» = „ (19) >' «<»«<» Этот процесс сходится вдвое быстрсе, чеи процесс, определяемый формулачн (3) н (4). При использовании Е"=Е>Ез схолимость получается вчетверо более быстрая и т. д. Следует отмстить, что Ез-симметрическая чатрица, н поэтому требуется опрслслить только р(р+1)/2 ее элементов. Другой способ ускорения процесса приближения был прслложсн Э й т к е н о м [1).
Прслположии, что требуется точность ло д значаших цифр. Если компоненты у<<> совпадают с коипонснтамн у<, » с точностью ло <) значащих цифр, определим «<с> у «<и — Е«<о> «<а> Х«<» «<з> Е«<т> и)' <з> г<а>=,а, (1=1, ..., р; 4=1, 2, 3). (20) Тогда г<»г<>з> — [ г<>з>)т Г<гп + Г<"' — 2Г<~> (21) 384 Гллэные компоненты !Гл. н совпадут с точностью до д значащих цифр. Общее значение й! выбирается э качестве оценки )нт Компоненты оценки р!н пропорциональны величине ш !з! ! ко)э — )?,Ш+,!з!~)! 2,!а~ 11.5.
Пример В 9 5.3 были рассмотрены две выборки из.нножества наблюдений над разновидностями ириса (Фи ш е р [51). В качестве примера анализа главных компонент используем одну из этих выборок, взятую из разновидности )г!з чегз!со!от. Несется 50 наблюдений (М = 50; п = Ж вЂ” 1 = 49). Каждое наблюдение состоит нз четырех измерений растения; х,— длина чашслистика, хт — ширина чашслистика, хз — длина лепестка, х„— ширина лепестка.
Полученные в результате наблюдений значения сумм квадратов и взаимных произведений отклонений от среднего равны А= у (х„—.е)(х„— ж)'= ! 3,0552 4,1740 8,9620 2,7332 4,! 740 4,8250 4,0500 2,0190 8,9620 4,0500 10,8200 3,5820 2,7332 2,0190 3,5820 1,9162 и оценка Х есть 0,266433 0,085184 0,182899 0,055780 0,085184 0,098469 0,082653 0,041204 0,182899 0,082653 0,220816 0,073102 0,055780 0,04!204 0,0?3102 0,039106 4 А= 1 49 Для нахождения первой главной компоненты применим метод последовательных приближений, вычисляя последовательно х!?~ = Юз<? '>.
В качестве начального приближения возьмем з'~' =(1, О, 1, О). Нс обязательно нормировать этот вектор на каждом шаге, но для сравнения последовательных 1ьз! ПРНМГР 0,6867244 0,3053463 0,6236628 (3) 0,2149837 Этот вектор совпадает с нормированным вектором, вычисленным на седьмом шаге, с точностью до одной единицы в шестом разряде. Слсдует отметить, что 1, и ЬН! следует вычислять более точно, чем 1з и Ь~тп и т. д. След матрицы $, равный сумме ее характеристических корней, равен 0,684824.
Таким образом. 1, более чем в три раза пр«восходит сумму остальных корней. Затем вычисляется 0,0363559 — 0,0171179 — 0,0260502 — 0,0!62472 — 0,0171!?9 0,05298!3 — 0,0!02546 0,0091777 — 0,0260502 — 0,0102546 0,0310544 0,0076890 — 0,0!62472 0,009!777 0,00?6890 0,0165574 (4) и последовательно вычисляются г'1 =-Язг(1 '>, причем выбирается и =(О, 1, О, 0), (Г1ри вычислениях матрица $ была <е! умножена на 1 О, а первая строка и первый столбец были ум ножены па — 1.) В этом случае процесс приближений уже не сходится так быстро; как буд~ г показано, отношение 1т к (з равно приблизительно 1,32 . Через пятнадцать шагов гнз> с !3 т. андерсон векторов следует вычислить в«личину л~Л 'з)1-П = г(11, кото- 1 рая является приближением к 1Р наибольшему характ«ристнческочу корню матрицы Я.
Ч«р«з семь шагов процесса последовательных приближений г~,' совпадут с точностью до двух единиц в пятом десятичном разряде (ло пятой значащей цифры). Этот вектор норчирустся, и матрица Я умножается на нормированный вектор. Отношения г!."> совпадают с точностью до двух единиц шестого десятичного разряда; значение 1, (вь слснное с точностью до шестого разряда) равно 1, =-0,48?815. Нормированный вектор, вычислшшый на восьмои шаге процесса последовательных приближений, является оценкой р!О, именно <гл н ГЛЛЗНЫЕ КОМПОНЕНТЫ 336 — 0,6690331 0,567484! в<а<в (б) 0,343309 0,33530? Находим Яз = Яа — 1.,5"Ь" =- 0.003955 0,0!0363 — 0.009425 — 0,000010 ) 0,010363 0,029671 — 0,024356 — 0,004595 — 0,009425 — 0,024356 0,022523 — 0,000643 — 0,000010 — 0,004595 — 0,000643 0,008419 <6) Выбирая начальное приближение г =<О, 1, 1, О) и вычисляя <и шесть последовательных приближений, получим 1а — — 0,054775 и — 0,265105 — 0,729О89 0,627178 0,063676 5<а< Затем вычисляется 0,000!05 — 0,000232 — 0,000318 0,0009!51 — 0,000232 0,000514 0.000708 — 0,002050 — 0,000318 0,000708 0,000977 — 0,002831 ° !8) 0,000915 — 0,002050 — 0,00283! 0,008197 оказывается вычисле<шым с точностью до третьего дссязичиого разряда 1до двух значащих цифр).
На 15-м, 16-и и 17-м шагах г<п вычисляются с точностью до десяти значащих цифр. Для ускорения процесса можно вычислить Й, с точностью до шести значащих цифр и уточнсннос значение вектора с точностью до трех десятичных знаков. (В этом случае в уточненном векторе верных значащих цифр втрое исньшс, чем в г<п.) уточненный вектор используется на следующем шаге процесса последовательных прпближсиий, результат нормирустся и вновь используется на последующем шаге. На этом последнем шаге отношения вычисляются с точностью до четырех единиц в пятой значащей цифре. Получается !а — — 0,0723828 387 пи! ПРИМЕ!' Приближенно можно считать, что ранг этой матрицы равсн единице; характеристический всктор пропорционален каждому столбцу.
Отсюда 74 = 0,009793 и О.!0231 — 0,22890 — 0,31602 Ь(и = (9) 0,9! 502 (!( !г !з !4) == (0,4879 0,0724 0,0548 0,0098), (10) 1 0,6867 — 0,6690 — 0,2651 О, ! 023 0,3053 0,5675 — 0,7296 — 0,2289 0,6237 0,3433 0,6272 — 0,3! 60 (1 1) ( 0,2150 0,3353 0,0637 0,9150 Следуст отметить, что на долю первой компоненты приходится 78% обшей дисперсии этих четырех измерений; на долю последней компоненты приходится немногим больше 14; общей дисперсии. В самом деле, дисперсия величины 0,7х, + 0,3хт+ 0,6хз+0,2х4 (приближение к первой главной компоненте) равна 0,478, что составляет 77% общей дисперсии. Если трсбуется изучить изменения условий, которые приводят к изиенению величины (хн хт, хз, х4), то можно рассматривать изменения условий, приводящие к изменению величины 0,7х,+0,3хт+О,бхз+0,2х4.
Не существенно, ирен(брегают ли другими изменениями величины (хн ха, ха, х4) в исслсДовательской Работе, 134 Для проверки можно вычислить 8 — 1,Ь Ь; отсюда (4) (4( . находим, что элементы этой матрицы с тоги(остью до 0,000003 равны нулю. Так как элементы чатр ицы 8 очень малы, ((( компоненты вектора Ь( ' могут быть верными только до четвертого знака после запятой и, но- видимому, верны только до трстьего знака после запятой . Так как другие векторы вычисляются с точностью до четвертого или пятого знака после запятой, то, вероятно, точнее будет вычислить Ь' ' из (4( условия ортогональпости Ь , Ь и Ь' .
Результаты можно представить в таком виде: !гп. и 388 гллвнык ко тпонгнты У!ИТЕРАТУРА Гиршик [Ц; Лорлж и Ыор]тисов [Ц; Пирсон [3]; Стоун [Ц; У илкс [!0], стр. 252 — 257; Фишер [5]; Х отелл и н г [2], [4]; Э й т к е и [ Ц. ЗАДАЧИ 1. В прииере нз й 9.6 рассмотреть три элемента операции глаженья (ли х„х,). Найти первую главную компоненту оцениваемой конариацнонной матрицы. [Указание. Начать с вектора (1, 1, 1) и нримснип метод последовательных приближений.] /1 2.
Доказать, что характеристические иекторы матрицы [ ]' соответствующие характеристическим корням 1+ р и ! — р, равны !(У 2 — !Л~2 3. Проверить, что доказательство теоремы 11.2.1 даст доказательство теоремы 2 приложения 1 для любой действительной симметрической матрицы. 4. Пусть г =.у+х, причем Му = Мх=-О, Муу'=-Ф, Мхх'= этй Можно назвать р компонент вектора у систематической частью, а компоненты х — ошибками. (а) Найти такую линейную комбинацию Т'г с единичной дисперсией, для которой дисперсия ошибки минимальна (т. е.
Т'х имеет ьишнмальную дисперсию). (б) В предположении Мгг — — 1 найти такую линейную функ- 2 цню Т'г, имеющую единичную дисперсию, длн которой сумма квадратов коэффициентов корреляции между г; и Т'г максимальна. (в) Связать полученные результаты с главными компонентами. 5. Непосредственно доказать аналог теоремы 11.2.1 для выборки, где Ччх =О, ~хх =А, 6.
Пусть си = 1, яг = р, !4.А Доказать, что одни из харантсристнческих корней матрицы Х равен 1+(р — 1) р и сну соответствует характеристическии вентор, пропорциональный всктору (1, 1, ..., 1), и что другие характеристические корни равны 1 — р. 7. Пусть Е = Ф + яЧ, где Ф вЂ” неотрнцатсльно определенная матрица ранга г. Доказать, что каждый характеристический вектор матрицы Ф является характеристическим вектором матрицы Х и каждыи характеристический корень матрицы Е является суммой характеристического корня матрицы Ф и ч'. ГЛАВА 1й КАНОНИЧЕСКИЕ КОРРЕЛЯЦИИ И КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ 12.1.
Введение В этой главе рассматриваются два множества величин с совместныч распределением и дается аналив коэффициентов корреляции между случайными величинами одного множества. Выбирается новая система координат в пространстве каждого множества случайных величин таким образом, что новые координаты непосредственно указывают на значение корреляции. Точнее говоря, в каждом множестве отыскиваются линейные комбинации всличин, имеющие максимальную корреляцию; эти линейные комбинации являются первычн координатами новых систем.