Андерсон Т. - Введение в многомерный статистический анализ (Андерсон Т. - Введение в многомерный статистический анализ.djvu), страница 7

В качестве примера рассмотрим двумерное нормальное распределение н найлем уютовное распрегелецие Х,, при данном Ха= ха. В этом случае р)')= р.,(ь)~)=))2, Х»=аг,Хм=а а,р и Хгг=аг. Таким образом, матрица порядка (1 Х 1) коэффициентов регрессии есть Х)2Х2) = — ' н матрица порядка аа (1)(1) частных коварнаций есть Х».2=Х» — ХЫХю'Хю= 2 2,2 2 а — а -гр = аа (1 — ра). Итак, плотность распределения 4 вероятностей Х, при данном х, будет и ~х, ( р, + — ' р (х — р ), аа (1 — ра)~ .

46 МНОГОМГРПОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ (ГЛ 2 Олелует отметить, что срелнее значение этого условного распределения возрастает с ростом х,, когда р положителен, и убывает с ростом х,, когда р отрицателен. Геометри к ская интерпретация этой теории известна. Плотность вероятности у (х>, хз) может быть изображена поверхностью г = ((х>, х,) над плоскостью (х>, хв). Если пересечь эту поверхность плоскостью ха = с, мы получим кривую е = ((х>, с) над прямой хз = с на плоскости (хн хт).

Ордипата этой кривоИ пропорциональна условной плотности распРелеления вероятностей Х> цри данном хз = с, т. е. она пронорциоиальпа орлипате кривой одпоиерного нормального распределения. В более общем случае удобно рассматривать эллипсоиды постоянной плотности распрелелеиия вероятностей в р-мерном пространстве. !!оверхности постоянной плотности распределения у (х>, ..., х )с +Р ..., ср) являются пересечениями поверхностей постоянной плотности у'(х>, ..., хр) и гиперплоскостей х +, — — с +Р ..., х = с„; они тзкже являются эллипсоидами.

Эги понятия становятся более ясными, если рассматривать реальные совокупности как илеализированно нормально распределенные. Рассмотрим, например. совокупность пар 'отец — сьш. Если эту совокупность разумно считать одноролной, то величины роста отцов и величины роста их сыновей приближенно распределены нормально в определенных границах.

Условное распределение может быть получено, если рассматривать сыновеИ, рост отцов которых, скажем, 5 футов и 9 дюячов (в пределах точности измерениИ); величины роста этих сыновея приближенно распределены нормально. Среднее значение этого нормального распределения отличзется от срелпего роста сыновеИ, рост отцов которых, скажем, 5 футов и 4 дюйма, но дисперсии обеих совокупностей равны. гбы можем так>не рзссчатривать трояки наблюлений: рост отца, рост старшего сь>на и рост второго сына. Распределение величин роста двух сыновей при росте их отцов в 5 футон 9 люймов является условным распределением лвух случаИных величин; корреляция между величинами роста старших и вторых сыиовеИ характеризуется частным коэффициентом корреляции, Закрепление роста отцов на постоянном уровне исключает влияние паследс>венности отцов; однако след)ч т о>кидать, что частпыя коэффициент корреляции булет ноло>кительным, так как наследственность по материнской линии и УСЛОВНЫЕ РАСПРГДЕЛГННЯ 25! М(Х,~лсн) = йл<з), р = э(«Езз (о< где (9) и а(<) есть Ф-я строка Е<т, определяемая ив матрицы (10) Рассмотрим теперь линеИную функцию случаИного вектора рХ('.

Поскольку ковариация между Х,— рХ( < и Хй' равна М(Х< — РХ~~~)Х~ ~ = п<п — РЕаз= <а(<> — э(«Езз Ею=о, (11) то этп две величины независил(ы. Определим теперь линейную функцию иХ< ', для котороИ (Х< — иХ' ~) имеет минимальну<о факторы окружаюп(ей обстановки вызывают одинаковое иамснение роста братьев. Как было отмечено выше, любое условное распределение, полученное из нормального распределения, тзкжс является нормальным со срелнич значением, являющимся линейной функцией фиксированных значениИ случайных величин, и постоянной ковариационноИ иатрицей. В случае, если распределение не подчинено нормальному закону, условное распределение одного множества случайных величин относительно другого обычно не облалает вышеуказанными свойствами.

Однако можно так построить распределения величин, ие являющихся нормальными, что некоторые условные распределения будут облзлать этичн свойствами. Это ьюжно сделать, если взять за плотность распределения Х произведение п(л<п<рп<-(; И(с(дч — (ь(и), Еп.з)у(л(и), где у(х(и) — произвольная плотность распредел(ния. 2.6.2. Множественный коэффициент корреляции. Мы опять рассмотрим вектор Х, разбитый на Х' и Х', Рас(и з> со смотрич некоторые свойства ЕиЕтт Х .

Поскольку мы интересуемся тотько фупкциячи от ковариации, мы можем положить р= 0 (т. е. Х вЂ” р, мо<кно заменить на Х). Выбер<ч коьпюненту Х, вектора Х . Тогда и< МНОГОМЗВНОН НОВМЛЛЬНОЗ ЯЛСПВНДЕЛЕННВ <ГЛ 2 Таким образом, МХ(2Х<2) М (<)Х<2))2 2 )~ ) ...)'М(зх<2>) )~...Р'м(ух<'))' МхгаХ(2) 2 М (яха))2 Пусть теперь м (ах<2>)' М (иХ(2') ,'17) Тогда (16) может быть представлено следующим образо>к )Ге,( ~УМ(уХ<2>)' ~ )' „~~МТ Х">)2 Этим закончено доказательство следующей теоремы. дисперсию.

Так как МЕ2 МУХ' для скаляра Х, то дисперсия, в силу (11), равна М(Х, — аХ"')' = М ((Х, — 6Х">)+(б — а) Х'"1' = = М 1(Х< — рХ'2') + (р — а) Х' ) )1(Х < — Х( ' р ) + + Х<'>' (6' — а')) = М (Х, — „'Х"') (Х; — Х"'3') + +(й — ) МХ'2.Х<'>'(и — а'). (12) Полученный в (12) результат равен (аы — а<оХ22'л 22Х22'о<п) -1- (3 — а) Хт> (р — а)'. (13) Поскольку ь22 положительно опрелелена.

то второе слагаемое в (13) неотрицате.чьпо и достигает минимума (то есть О), когда а = ~. Таким образом, регрессия является функцией Х<2' такой, что лисперсия (Х< — аХ ) минимальна. (2)) Покажем теперь, что максимум корреля ции между Х, и аХ() достигаегся прн а =р.

Известно, что М (Х вЂ” рХн)) < М (Х, — саХ( >)2 (1й) для некоторых с и а. Отсюда еп + М (рх<~)) — 2МХ,.~Х< > ~( ап + сям (аХ'2))2 — 2 смх(ах<~>. (15) 49 УСЛОВНЫЕ РАСПРЕДЕЛЕНИЯ Теор е м а 2.5.2. Пусть Х распределен М(р, Х); Х'=(Х() Х() ) и м'=~ ),а))обозначает1-юстроку 2 1'ми лпа) ~21 ~22 У,, Хм)(1=1, ..., 1)), Из всех линейных комбинаЦий аХ' ' ликеиная кол(бикация рХ( ' дает минимум дисперсии Х; — иХ(~) и максимум корреляции между Х( и аХ(~). Определение 2,5.3.

Максимальное значение корреляции между Х( и линейной комбинацией аХ назы- (2) вается множественным коэффициентом корреляции между Х, и Х'2' и обозначается через 1))(,я+1, „р. Из этого определения следует — ма)с(2) х( (1)222 а(1) Й!, яь), ..., р— ~"„$'МФР'бам) Г и Г',Щ~,, )1 а(1 Х~~а(, (19) Полезна формула а — ае ч (е" ( Л1(ЯЬ(,."Р а а где (21) Поскольку б((.яь),, р =бы — а(1)Х22 а(О, (22) отсюда следует, что аы.а+1 ..., р =(1 )А)(,яь(, р) аи.

(23) Это, между прочим, показывает, что никакая условная дисперсия компоненты Х не может быть больше ее безусловной дисперсии. Действительно, из формулы (23) видно, что с увеличением Й(,я 1..., р уменьшается условная дисперсия. 2.6.3. Некоторые формулы для частных коэффициентов корреляции. Рассмотрим теперь отношения между несколькими условными распределениями, полученными фиксированием нескольких различных множеств случайных величин. Эти отношения полезны, поскольку они позволяют определить одно 50 МНОГОМГРПОЕ НО)'))Л.Ч(п)ОЕ РЛСПЯВДНПРНИН (ГЛ множество параметров условного распределения по другому.

Частным случаем является Р~з — Р)ззы Рп з= 1/ РззУТ Р,з (24) Хп' Х = Х'з' <25) Х (3) тле Х состоит из рн Х' из рз, а Х из р компонент. (и и) <з) Допустим, что нам залапо условное распрелеление Х( и Х<з) (1) прн лапном Х( = х '; как найти условное распределение Х< з) <з), и) при данных Х' =х< и Х' =-х~ . Нам известно,чтоусловя) (з) (з) (з) ) Х'и') пое среднее значение и ковариацня ) <з,) булут [, Х(з)) х<з) + 'з <х)ж р<з)) Гр<))'). )+ В.з(х(з) — )ь(з)), (26) это слелует из (7), когда р = 3 и и = 2.

Получим теперь обобглепие этого результата. Вывод ловольно скучный, но он дается адесь для полноты изложения. Пусть 51 УСЛОВНЫЕ РАСПРРДЕЛГННЯ Подобным же образом м [хна[( „,)] =За <.<х„х„<( ' ") ( (28) а[ха>, ха' ( „,)]- << Хгз Хгз 1 зз Хм '1 = Хп (ХНХ13)~ Х Х ) ( / — Хн.гз ° (29) 32 ЗЗ ХЗ! Выразим теяерь (28) и [29) в обозначениях (26) и (27). <' Х!" 1 Будем рассматривать раснределение [ ] при данном х<31 как многомерное норз!альное распределение. Мы знаем, что ))((Х<!![«<21 Х<З!) 21(Х<Н<Х<31)+Хм Х.< [«<21 2((Х<21!Х<з>)] -1 + (Х!2 ХИХ33 Х32) (Хгг Х23ХЗз Х32) х( Х [х<" — 11'" — ХЫХзз (х' ' — Р, в)] (30) е[х", Х!'!'[х"', «"]=Хна — Х„,З(Х .,)-'Х,ь,= =(Хн — Х,,Хы'Хз<)— -1 — (Хзг — Х!зХзз Хзг)(ХЗЗ вЂ” ХЗЗХзз Хзз) (Хм — ХгзХзз Х31).

(31) Известно, что формулы (28) и (30), а также формулы (29) и (31) являются одними и теми же. Это можно проверить также алгебраически. В частности, ири р, =<), р,=1 и рз=р — <) — 1 мы нолучим а!13, цз ., =а!).2<2 „., р— "1ц 2 рзц" ц", 1,1 1,..., . 132) 'це1, ц<-1.ць2,..., р Поскольку ц<! 22!...„ р ем 222,..., р(1' рг!.ц+З.ц+2..., р)' 62 многомиинов ноимальнов идспвидвлзнни мы получим Ггг.еьз „, р гбеьье+з...„вгг,гьье+г, „,, р ргг,е+ц „,— еьеьье+г, ° ", я " 11 е+1 е+з "..Р (34) Это полезная формула для последовательного определения (рг1е) ~ргг и-цр) . раз,...,р по (рг1). 2.6.

Характеристическая функция; моменты 2.6.1. Характеристическая функция. Характеристическая функция многомерного нормального распределения имеет вид, подобный плотности распределения вероятности. Моменты и семиинварианты легко вычисля!отся по характеристической функции. О п р с д е л е н и е 2.6.1. Характеристическая функц ия Меи х случайного вектора Х определена для каждого действительного вектора 1.

Для разъяснения этого определения следует сперва дать представление о математическом ожидании комплексной функции случайного вектора. Определение 2.6.2. Пусть комплексная функция р(х) записана в виде я(х)=и,(х) 1-1я (х), где а,(х) и дг(х) — действительные функции. Тогда математическое ожидание д(Х) равно Мк(Х) = Мд, (Х)+ 1Мяз(Х). (2) В частности, Ме" х = М соя 1'Х+!М з!и 1'Х. (3) Для оценкк характеристической функции вектора Х часто бывает удобно применить следуюгцую лемму: Л е м и а 2.6.1. Пусть Х =(Х'" Хоу).

Если Х' ! и Х' ' независимы и и(х) =ли>(хп>)и!г>(х<г!), то Ми (Х) = Ми'н (Хп') Мяо'(Х!"). (4) 2.2> хАРАктеРистнческля Функция: моменть> 53 Доказательство. Если и(х) вещественна и Х имеет плотность распределения, то Ми(Х) ~ ... ~ д(х)/(х)(7х( ... (7х = ОЭ "О ЭО ОО = ] ... ] Х(1> (х(1>) Х(2> (х(2>) 7(1> (х">))'(2> (х(2>)и(х> ... (7х = ОЭ ОЭ ] й(1> (х(1>) 7(1> (х(1>) с(х, иэх )( ОО ОЭ ОО ЭО )( .] ''' Ге"(2>(х(2>)7'"(х(2>)>тх,~, с(х = Р' ОЭ вЂ” ОО =Му">(Х' ') Мд~ >(Х( ').