Айвазян С.А., Бухшгабер В.М., Енюков И.С., Мешалкин Л.Д. - Прикладная статистика (1027378), страница 66
Текст из файла (страница 66)
Вычисление относительной доли суммарной дисперсии, обусловленной одной, двумя и тремя главными компонентами, в соответствии с формулой (13.9') дает Ч (1) — = 0,9864; Л+Л+Л. >7 (2) = ' Лз = 0,9958; Хз+ Л$+ Лз д (3) = 1. Отсюда можно сделать вывод, что почти вся информация о специфике размеров панциря данного вида черепах содер- жится в одной лишь первой главной компоненте, которую и естественно использовать при соответствующей классификации исследуемых особей, Экстремальные свойства главных компонент. Их интерпретация Свойство наименьшей ошибки «автопрогноза» или наилучшей самовоспроизводимости. Можно показать [293, 283, 284[, что с помощью первых р' главных компонент г!!!, г!»>, ..., гос! (р'( р) исходных признаков х!'>, х!"), ..., хм! достигается наилучший прогноз этих признаков среди всех прогнозов, которые можно построить с помощью р' линейных комбинации набора из р произвольных признаков.
Поясним и уточним сказанное. Пусть требуется заменить исходный исследуемый р-мерный вектор наблюдений Х на вектор у = (г!»!, г!'), ..., г!м!)' меньшей размерности р', в котором каждая из компонент являлась бы линейной комбинацией р исходных (или каких-либо других, вспомогательных) признаков, теряя при этом не слишком много информации. Информативность нового вектора 3 зависит от того, в какой степени р' введенных линейных комбинаций дают возможность «реконструировать» р исходных (измеряемых на объектах) признаков, Естественно полагать, что ошибка прогноза Х по 2 (обозначим ее о ) будет определяться так называемой остаточной дисперсионной матрицей вектора Х при вычитании из него наилучшего прогноза по 2, т.
е. матрицей А = — (Лы), где Здесь ~Ь„г<п — наилучший, в смысле метода наименьших !=! квадратов, прогноз х(п по компонентам г!»>, а!»>, ..., Ф'>, т. е. о = ! (Л), где ~ (А) — некоторая функция (качества предсказания) от элементов остаточной дисперсионной матрицы Л. В [293! решалась задача наилучшего прогноза Х только в классе р' линейных комбинаций от исходных признаков х!'), ..., х!»! и рассмотрены естественные меры ошибки прогноза, такие, как (13.11) (13.12) Здесь Яр (Ь) и ~>ЬЦ вЂ” соответственно след и евклидованор»>а матрицы Ь. С. Р. Рао показал, что функции (13.11) и (13.12) одновременно достигают минимума тогда и только тогда, когда в качестве гы>, г<»>,, гы'> выбраны первые р' главных компонент вектора Х, причем величина ошибки прогноза о явным образом выражается через последние р -- »' собственных чисел Лр .
„..., Лр исходной ковариационной матрицы Х или через последние р — р' собственных чисел Л„+„..., Л выборочной ковариационной матрицы Х, построенной по наблюдениям Х„Х„..., Х„. В частности, П1>и > (Ь) »р (Ь) о Лр'.>. 1+ Лр'+2+ ... +Л»> при ~ (Ь) = 1 Ь 1: о = ') ' Л» .~ > + Л» +»+ ... + Л» . В работах 1283, 284) эта схема обобщена на случай л>>оиззольиьи предсказывающих признаков у~'>, ум>, ..., у<»'> и более широкого класса функций ) (Ь) и показано, что пнп 1" (Ь) достигается тогда и только тогда, когда в качестве искомых предсказывающих признаков у»>, ..., у>»'> берутся сами исследуемые (измеряемые) признаки х<'>, х>»>, ..., х<»>, а в качестве р' линейных комбинаций (предикторов) гм>, зм>, ..., гы'> от них выбраны первые р' главных компонент вектора Х.
При этом величина ошибки прогноза а, как и прежде, определяется лишь р — р' последними собственными значениями Л„.+>, Л„+„..., Лр исходной ковариационной матрицы Х. В эту схему укладывается, в частности, случай 1(Ь) =- = >Ь), в котором а == Л„+, Л +, ... Лр. Поясним идею описания (прогноза) исходных признаков хч»>, х>»>, ..., хо'> с помощью меньшего, чем р, числа их линейных комбинаций на примере 13.1.
В этом примере р =- 3. Зададимся целью снизить размерность исходного факторного пространства до единицы (р' = 1), т. е. описать все три признака с помощью одной линейной комбинации от них. В соответствии с описанным выше экстремальным свойством «автопрогноза» главных компонент возьмем в качестве втой единственной линейной комбинации первую главную компоненту, т. е. переменную з»>=О 81х»>.+О 50х>»>-(-О,ЗЫ»> Метод наименьших квадратов приводит к следующему правилу вычисления неизвестных коэффициентов Ь<, 112 с.
2091 ! сот (х<<> -! ! >) Ь<д —— 1>г<'> 0,01 сот(х<!>, х<'>)+О,БОсос (х<д', х«!)+0,31со<>(х<«!, х<<>) <>«<" Подставлян в эту формулу значения сот (х<'>, х<л), взятые нз коварнацнонной матрицы л примера!3.7, получаем х<'> = Ь„г<'>+а<'> = 0,805г<'>+ в<'>; х<г> = Ьм г< ' >+ е<г> = 0,49г< ' >+ в< э>; х<з> — Ь,г<>>4 э<з> 0310 <>> 1 <з> где в<'> — случайные (остаточные) ошибки прогноза исходных центрированных компонент по первой главной компоненте г"> Если в качестве относительной ошибки прогноза исходного признака х<4> по первой главной компоненте г<'> рассмотреть величину 6, = (Ое<!>!Ох<о) 100 %, то несложные подсчеты дают 6, = 2 "«, 6, =- 1,2 'о и 6, = 0,8 %.
Суммарная характеристика относительной ошибки прогноза признаков х<'>, х<'> и х<'> по г<'> (в соответствии с вышеописанным) может быть подсчитана по формуле 6 .,„= 100% ° Р (х!'>+к<*! <-х!«!) = 100% = 1,36%. Ад+хд-г><д Свойства нанменьшего искаженна геометрнческой структуры исходных точек (наблюдений) прн вх проектирования в пространство меньшей размерности р' «натянутое» на р' первых главных компонент.
Всякий переход к меньшему числу <р') новых переменных г<'>,, г<»'>„осуществляемый с помощью линейного преобразования (матрицы) С =— = (с„), — ! = 1, 2, ., р', 1 = 1, 2, ..., р, т. е. » г«> — т с„х<л (<=1, р ), > ! нлн в матричной запнсн У= СХ, (13.13) удобнее будет рассматривать теперь как проекцию исследуемых наблюдений Х„Х„..., Х, из исходного факторного пространства Пл(Х) в некоторое надпространство меньшей размерности Пл'(Л). Геометрическая интерпретация сформулированных выше экстремальных свойств «автопрогноза» (самовоспроизводимости) главных компонент позволяет получить следующие интересные свойства.
л гхг СВОЙство 1. Сумма квадратов расстояний от исходных ч, тачек-наблюдений Х„ Х.„, Х„до пространства, натянутого на первые р' главных компонент, наи, ень- ' шая относительно всех других подпрос- У транств размерности р', полученных с по- ггг гг мощью произвольного а л линейного преобразования исходных ююрРнс. 13.2 Эллипс рассеянна наследуемых наолюденнй н направленно хоорЭто сВОЙстВО ста- дннатных осей главных компонент аю нет понятным (в све- н лагг те вышеописанного экстремального свойства «автопрогноза»), если напомнить, что сумма квадратов расстояний от исходных точек до надпространства, натянутого на р' первых главных компонент, есть не что иное, как умноженная на и (общее число наблюдений) суммарная дисперсия остаточных компонент (ошибок прогноза) амг, егаг,, еглг, следовательно, эта сумма квадратов равна и (ь„+, + ) р ч, + ...
+ л„). Наглядным пояснением этого свойства может служить рис. 13.2, на котором ось гпг соответствует подпространству, натянутому на первую главную компоненту (т. е. р = 2 и р' = 1), а сумма квадратов расстояний до этого надпространства есть сумма перпендикуляров, опущенных из точек, изображающих наблюдения Х, = (хгг',гг, хггг), на эту ось (сама ось ггп может быть интерпретирована в данном случае как линия ортогональной регрессии хг'гпо хгг>, см. 17, с. 127)).
С в о й с т в о 2. Среди всех надпространств заданной размерности р' (р' с. р), полученных из исследуемого 4гакпюрного пространства Пл (Х) с помощью произвольного ли- 351 нейного преобразования исходных координат х!", х!»>, х!'>, в подпространстве, нани>нутом на первые р' главных компонент, наименее искажается сумма квадратов расстояний между всевозможныии парами рассматриваемых точек- наблюдений. Поясним зто свойство. Пусть П»с (Я) — подпространство размерности р', натянутое на оси г!>>, г!»>, ..., г<к>, получаемые из исходных осей х!'>, х!ч, ..., х!»> с помощью произвольного линейного преобразования (13.13), а Я„..., о„— проекции исходных наблюдений Х„..., Х„ в подпросгранство П~~'(2), т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
