Андерсон Т. - Введение в многомерный статистический анализ (1185341), страница 54
Текст из файла (страница 54)
Вектор часпяз)ап производных будет ~9г 2ЕГЯ 2ЛГЯ 2 Егв(1) д~ (О) и мы полагаем его равным О. Из (9) умножением слева на р() (1)' в силу ( 7 ) получим 0 = 2РН' Ер — 2Лр(" р — 2г(р(') Ез~ ' = — 2г)Л). (10) Следовательно, г) = 0 и р должен удовлетворять (4), и поэтому Л должно удовлетворять выражению (5). Пусть Л,г,— наибольшее из чисел Лн ..., Л такое, что существует Р вектор .р, удовлетворяющий уравнениям (Š— Л(г)г))г = О, р'1)= 1 и (7).
Обозначим этот вектор р(~), а соответствующую линейную комбинацию У, = р(гг Х (Ниже будет показано, что Лп) —— Л). Мы применяем обозначение Л(1) — — Л),) Продолжим этот процесс; на (г+ 1) шаге требуется найти вектор р такой, что р'Х имеет максимальную дисперсию среди всех линейных комбинаций, некоррелированных с Уп ..., У„, т. е. такой, что О = М2'ХУ, = Мг'ХХ'фп = б'Ц(" = Лн)~'~('), 1=1,..., г, и.н опрпдрлянип главных компонянт совокупности 373 й(ы хотим получить максимум выражения г гр,+( — ~'Х~ — ) (~'~ — 1) — 2 ~ «ф Еф~), (12) ! ) Лагранжа.
Вектор частных где Л и «н ..., «,— множители производных равен оз+' — — 2л 3 — 2Лр г — 2~«,ар<", (13) и мы полагаем его равным О. Умножая (13) слева на Р'~). получим О = 2фы~ Еф — 2Л~Ы) ф — 2«)3'~~ Е~)ф~~. (14) Если ), + О, то иа (14) следует — 2«.Л, = О и « = О. Если ЛО,— — О, то Ц<г) =Л< )$<г) =О и /-й член в сумме (13) (7) обращается в нуль. Таким образом, вектор р должен удовлетворять уравнению (4) и, следовательно, Л должно удовлетворять уравнению (5). Пусть Л<,+и — наибольшее из чисел Лн ..., Л такое, что существует векгор р, удовлетворяющий уравнениям (Х вЂ” Л<,+,)г) р = О, р'р =! и (11).
Обозначим этот вектор р( ' '. и соответствующая линейнзя комбинация будет можно заменить на линейную комбннапию р( ' и тех век(г Ф1) торов р<~). для которых Л<<) — О, так что новый вектор ри" ' будет ортогонален всем векторам р<г) (/= 1, ..., г).
Этот процесс продолжается до тех пор, пока на гл+ 1-м этапе не будет найден вектор р, удовлетворяющий уравнениям р'р = 1, (4) и (1!). При этом либо л) = — р, либо т ч. р, так как () ", .... р<~) должны быть линейно независимыми. Покажем, что неравенство лг ()э приводит к противоречию. Если т ч, р, то существуют р — т векторов и чн ..., ер. таких, что р е)=О, е(е,=3(,. (Это следует р)' из леммы 2 приложения !.) Пусть (е +н ..., и )=Е. Покажем теперь, что существуют (р — т)-л(ерный вектор с и число 0 такие, что Ес = ~с(е( является решением 874 ГЛАВНЫЕ КОМПОНЕНТЫ <гл. и уравнения (6) при Л = Э. Рассмотрим корень уравнения ~<Е'ЕŠ— 67<=0 и соответствующий векчор с, уловлетворяющий уравнению Е'ЕЕс=бг.
Вектор ЕЕс ортога<ален к ., р< '(так как р<н ЕЕа=Л«)р< ' ~с е< —— Л«Дс<р<н е =0) и, следовательно, принадлежит пространству с базисиыми векторами е +и ..., е; он может быть записан в виде ЕЕ (где р является (р — гл)-мернын вектором). Умножив ЕЕс=ЕЕ слева на Е', получим Е'ЕЕК=Е'Еп=ак. 'Таким образом. л = 6с и Е(Ес)= 6(Ес). Следовательно, вектор (Ес)' Х некоррелирован с р<ЕРХ(,г'~1...., л<) и поэтому <аьн получается новый вектор р' '. Поскольку это противоречит предположению т ( р, то должно быть и< =р. Пусть В=(р«<, ..., э<го) в о ... о 0 Лж>...0 (15) О О ...
Л Уравнения Ер<Ю = Л<,<р<Ю можно записать в матричном виде как ЕВ=ВЛ, (16) и уравнения р<п ро'=1 и р<н р<"=О, г+л. можно записать в виде В'В=В <17) Из Д6) и (17) получаем В'ЕВ Л. (18) Из того обстоятельства, что )Š— Лу~=! В ~ 1Š— Л71 1В) = =) В'Е — ЛВ'В«=Л вЂ” ЛР< = 11(Л<<< — Л), (19) сиепует, что корни уравнения (19) являются диагональныл<н плиментами матрипы Л, т. е. ЛНЛ, Л...„Л Л Заам образом доказана следующая теорена.
П.21 ОпРелелГние ГлАВпых кОмпОнент сОВОкупнОсти 375 Т е о р е м а 11.2.1. Пусть дан случайный р-мерный вектор Х, для которого МХ=О и МХХ' =Е. Тогда сугцествует ортогональное линейное преобразование У= В'Х (20) коеариационная матрица У будет такое, что МУй=Л и 0 ... 0 Л вЂ” 0 Л2 ' ' 0 (21) 0 0 где Л,) Лг)~...
) Л ) 0 — корки уравнения (5); г-й столбец матрицы В, р1г1, удовлетворяет уравнению (Š— Л,/)р=0; г-я компонента вектора У, У,=р!" Х, имеет наибольшую дисперсию среди всех нормированных линейных комбинаций, кекоррелироеаккых с Уп ..., У,, Вектор У определяется как вектор главных компонент Х. Следует отметить, что теорема 2 приложения 1 доказана для неотрицательно определюшых В, а в действительности доказательство ее справедливо для любых симметрических магриц В. Следует отчетигь, что как только произведено преобразование к Уп ..., У„, становится очевидным, что У, — зто нормированная линедиая комбинация с наибольшей дисперсией, так как если У' = т сгУ, где ~сгг = 1 (У* также является иориированнод линейной коибинацией Х), то / Н 0(У') = Ус21Л1 = Л, + ~ сг (Л, — Л,) ( так как сг == 1 — ~З ~сг 2 2 2 а зто выражение, очевидно, достигает максимума при с',.
= О, ! = 2, ..., р. Аналогично, Уг представляет собой нормированную линейную комбинацию, некоррелироваиную с У, и имеющую наибольшую дисперсию (из того, что У*=~с1У1 некоррелирована с Уп следует с,=О); таким хге образом проверяются свойства максимума для Уг, ..., У, Можно получить также другие следствия.
Следствие 11.2.!. Предположим, что Л+,—— ... ... =),,+,„— — 2 (т. е. ч — корень кратности т); тогда ранг матрицы (Š— 2/) ранен р — т. Более того, 376 !Гл !! Гллэныг компани!!Ты В =(рг~ 1, ..., р!' ' !) однозначно определяется с точностью до умножения справа на ортогональную малер!гйу. Д о к а з а т е л ь с т в о. Из доказзтельства теоремы следует, что (Х вЂ” »1) р!!! = О, 1= г+- 1, ..., г -!- т, т. е.
' — т линейно независимых решений уравнения (Х вЂ” »1) р = О. Для того чтобы показать, что не может быть другого линейно независимого решения этого уравнепия, возьмем ~~ хгр, где х! — скаляры, Если это (и г=! решение, то ч~хг6!" = Х(~~.',х,5(!!) = ~.",х!Х3!г! = ~х!)чр!!'. Так как»хг=),х,, то должно быть х,.=О для всех 1, кроче ! = г+!...., г+т.
Таким образом, ранг равен ,о — т. Если В' — какое-нибудь множество решений уравнения (Х вЂ” »1)р = О, то любое другое множество решений состоит из линейных комбинаций решений первого множества, т. е. имеет вид В'А, где А — невырожденная матрица. Однако условия ортогональносги В' В' = 1. примененные к линейныч комбинациям, дают 1= (В А)'(В А) = А'В' В А = А'А, и, таким образом, А должна быть ортогональной, что и требовалось доказать.
Т е о р е и а 11.2.2. Ортогональное преобразование У =.-СХ случайного вектора Х оставляет инвариантной обобщенную дисперсию и сумму дисперсий компонент. Доказательство. Пусть МХ=О и МХХ'=Х. Тогда МУ=О и МУУ'= — СХС'. Обобщенная дисперсия У равна ( СХС' ( = ( С! ( Х ( ° ! С' ) = ' Х ( ° ( СС' ! =,' Х ), (22) что совпадает с обобщенной дисперсией Х. Сумма дисперсий компонент У равна ~МУ!=ар(СХС)=зр(ХСС)=зр(Х1)=зрХ=~МХ~!. (23) С л е д с т в и е 11,2,2. Обобщенная дисперсия вектора главных компонент равна обобщенной дисперсии исходного вектора, а сумма дисперсий главных компонент равна сумме дисперсий исходных величин, Другой метод получения эгик результатоэ основывается на использовании поверхностей настоянных значений нор- пл1 опеелеленик главных компонвнт совоктпцости 377 малы<ой плотности вероятности с вектором среднего значения О и невырожденной ковариациониой матрицей Е.
Плотность вероятности равна 1, ! 1 - — «'Х и 7 е (йе)т (Х(а (24) и поверхности пестове<ой плотности представляют собой эллипсоиды х Е 'х= С. (2б) Главной осью этого эллипсоидз называется отрезок прямой от — у до у, где у — точка эллипсоида, в которой квадрат расстояния х'х принимает экстремальное значение. Пользуясь методом множителей Лагранжа, определим стационарные точки; для этого рассмотрич ф=хх — ЛхЕ 'х, (26) где Л вЂ” множитель Лагранжа. Продифференцируем ф по компонентам х и, приравнивая производные пулю, получим — ~-=2х — 2ЛЕ х=О, дф — 1 дх (27) или х=).Е 'х.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
