Андерсон Т. - Введение в многомерный статистический анализ (1185341), страница 30
Текст из файла (страница 30)
(6) Распределение величины У слишком сложно. Оно зависит от объемов выборок и неизвестного параметра а. Пусть Х = Х вЂ” -,'-[Хп!+ Хи), (7) у = Х'и — Х'г'. (8) Тогда У=к'Я 'У. (9) Математическое ожнгание У равно [ьп! — [ьгг!, а ковариационнаа матРица есть [(!/И,)+(1/Д(г)[Х. ВектоР Я РаспРеделсн норматьно со средним значением М1Х =- - - ([ьп! — р(г!), 1 2 (1О) если Х принадлежит генеральной совокупности ян и М Х=- — (р!г! — бч) ! (11) если Х принадлежит генеральной совокупности пг, Ковариациопная матрица в любом случае равна [! + 1((4Д1, + + 11(4Иг)[2'.
Ковариация между векторами Х и 3' равна (12) Если И, = Иг, то эта коварнация равна нулю. Легко видеть. что в этом случае распределение У для Х из к, совпадает с распределением — У для Х из яг. Поэтому, если У )~ 0 есть область классификации наблюдения как на- СлучАл Онепки пАРАМРТРОВ пО ВНБОРке !93 6.5! Точное определение (13) следую!цсе: для любых положительных ь и е можно найти такое М, что для всех М, )~ М Р ~'Х)п — р~г~1< о, !=1, ..., р) ) 1 — е (14) (си. задачу 12 главы 3). Это можно доказать, используя неравенство Чебышева. Апалогично р!пп Х' =р ', №-+с . р!!шЯ=л, (16) когда И!-ь ОО, Ит-ь Оа, или когда и И, и М,-» СО.
Из (!6) получаем р!!ш Я = л' (1 7) так как пределы сумм. разностеп, произведений и отношений случайных величин по вероятности равны суммам, разиьстяи, произведениям и отношениям соответствующих пределов, если только предел каждого знаменателя отличен от нуля (К р а и е р, (2), стр. 281). Далее рба 6 '(Х!'! — Х!и) = л '((ь"' — 1Р), №, №.+ (Хп, + Х!т!)' - ! (Х!и Х!и) РГ» А!у'ь ~' =(р" + р"') 2) '(рп' — 1Р) (18) (19) 7 т. А А Р е блюдсния над и! то вероятность ошибочной классификации при условии. что Х принадлежит пп равна вероятности ошибочной классификации при условии, что Х принадлежит пт.
Распределение (г рассмотрено Андер соком (4), Ситг р и в с с о и ! ! ! и В а л ь д о и (2!. 6.5.3. Асимптотическое распределение величины )Г. В случае, когда объемы М, и М, выборок, произведепых из совокупностей, распределенных И(р!!Ч Х) и И(р.!з'. А), велики, то можно использовать предельные распределения. Поскольку Х'' есть среднее значение выборки, состоящей !и из М, независимых наблюдений над совокупностью, распрелелепиой И (р!!1, .в), то, как известно, р11ш ХП'=(ь!и. 194 КЛАССИФИКАЫИЯ НАБЛЮДБНИН (гл.
а Отсюда следует, что предельное распределение У явяяется распределением (У. Дтя достаточно больших выборок из и, и и величину можно использовать так же, как если бы мы точно знали распрелеление генеральных совокупностей, и при атом мы допускаеи лишь небольшую ошибку. (Этот резуль- тат впервые был пояучен В а льдом [2[.) Т е о р е м а 6.5.1. Пусть величина У определена равенством (6), где Х(" — среднее значение выборки объема И, из совокупности И([А(!(, л), Хсл — среднее значение выборки объема Иг из совокупности И(р(г(, Х), $ — оценка Х, полученная по объединенной выборке.
Тогда предельным распределением У при И, -«оо и И -«оо будет И( — а, а), если Х распределен И(р(!1, га), А2 и И( — — а, а), если Х распределен И(р(г1, м). 1 2 6.6.4. Другой вывод критерия. удобный мнемонический метод вывода критерия основан на использовании регрессии фиктивной величины (предложено Ф и ш е р о и [5) ). Пусть 1+ г — И! уы1= — ' (а=1, ..., Иг), И!+ Мг Найдем формально регрессию на величины х('!. выбрав такой вектор Ь, который дает минимум величины г А; ч", ч; (у(п б'(х(п х)1г, ! ! а ! где х = (И!х(!! + Игх(г!)((И + Иъ), (21) «Нормальные уравнения» будут такими: 3 м! г А!! ,~~ (х(,п — х) (х((! — х)'(г = ~~~,~ у(п(х(п — х) ! 1 а ! М!(Уг —, — — — Д(!Л(г [(хй! — х) — (х(г! — х)) = ' ' (х(!! — х(г!).
Д(! + А(г А(! + (1(г (22) случАЙ Оценки ОАРАметгов пО выБОРкв 19л Матрицу. которая умножается на Ь, можно записать в виде 2 Р)! 2 А>! ,$~~,) (х<п — х) (х(!) — х)' =,() )~ (х(э — х(в)(х(о — х<о)'+ ! ! а 1 ! )а ! + й()(х<б — .«)(х<'> — х)' + Ф (х<2) — х)(х(2> — х)' =* ~~ (х(!) — лч!)) (х(!) — х<!))' + < 1 а 1 + )+ (х<!) х<2)) (х<!) х(2))> (23) Поэтому (22) можно записать в следующем виде: СЬ =(х<'> — х<2)) Г ' ' — ' ' (х<)> — х<2))' Ь1, (24) где 2 (Р! С= ~ ~ (~п) — х(ПИЛ(„о — ~оу. < ! а ! (26) 21 Так как (х<'> — х<2>)'Ь вЂ” скаляр.
то вектор Ь, являющийся решением (24), пропорционален вектору 8 (х — х ). — ! (!> (2П 6.6.6. Отношение правдоподобия. 2(ругой величиной, которая может быть использована для критерия классификации наблюдений, является отношение правдоподобия. Предположим. что нам нужно проверить составную нулевую гипотезу. состоящую в том, что х, х(!), ..., х<А)( есть выборка иэ совокупности И(р,<!), Х) и хг)2), ..., хЯ) — выборка из совокупности И((ь(2>. Е). Конкурирующая составная гипотеза состоит в том, что х()!), ..., х(А!) — выборка иэ \ совокупности ()('(р(2>.
Х). а х, х(Э, ..., х(А2( — выборка иа Ф совокупности ()(()ь<!), Х); р,<'>, р.(2) и Х неизвестны. Если справедлива первая гипотеза. то оценками наибольшего !ГЛ. З кллссиФикания нлвлюдении правдоподобия для р<2!, 12!2! и л будут р!2Н =(И х! + х)((д(, + !), р!2! =.~!21, ~ м, ! Е! 2аГ!+72' +1 ~,~( а )Ь! )( а 12! ) + .а 1 3 !» — а!2! — аг! 3 ~( а' — а,'"!(аа — а22~ ° <аа! а 1 Так как ~~( 2! — )212!)(х!" — 12!2!)'+(х — (ь!Н)( — (2(и)'= а ! М, = '~„(х22! — х!!!)(х1„'! — х!'!)'.+ а 1 + )ч! (х!и — р!!Н) (х!'! — р!'!)' + (х — р!'!) (х — р!'!)' = =~(..2! —.и!И.!и ~2!)+ (. —х !!»(х х н!;, )!г, +1 а ! (27) то Е! можно выразить таким образом: 1 г м, Е =дг+д +1~С+д +! (х хп!)(х хп'У1' '2" )ьп! — х!и, 122 ( 2 + х)/()1(2 + 1) 1 Г а!2 л22 = — ~С+ — ' (» — х!2') (х — ' хгз!)'~ .
а!Г! + !ага+ ! ь 22' -1- 1 !29) тле С определяется по формуле (25). Если предположить, что справедлива конкуркрующая гипотеза, то (вследствие симметрии) получим следующие оценки наибольшего правдополобия для параметров: аа! случаи хескОльких генееьльных сОВОкупнОстей !97 Следовательно, (Иг+ Ма+ 1)/2-й отношение правдоподобия степени равно С+ — ' (х — хта') (х — хсл)' ) Ф,+1 (Зо) С+ — '(х — х!И)(х — х!О) ~ Ф~+ ! Это отношение может быть записано также в виде 1+ ' (х — х'т') С г(х — х!а!) дге+ 1 (З1) !+ ' (х- хн)~С '(х- хо!) Дг, + 1 Область, при попадании в которую наблюдение классифициз руется как выборка из кн состоит из тех точек, для кото- рых отношение (31) больше заданного числа.
6.6. Классификация наблюдений в случае нескольких генеральных совокупностей Р(3/(„гс)= ) р,(х)п'х. Предположим, что нам известны априорные вероятности пг, ..., ~у,„того, что выборка произведена из соответствую щей генеральной ' совокупности. Тогда математическое Рассмотрим проблему классификации наблюдений в случае нескольких генеральных совокупностей. Для этого мы рзспространим метолы предшествующего параграфа на случай более чем двух генеральных совокупностей.
Пусть ян ..., ",,„— пг генеральных совокупностей с плотностями рзспределения вероятностей р,(х), ..., р (х) соответственно. Мы хотим разбить пространство наблюдений на гл попарно непересекающихся областей Йн ..., 1( . Если наолюдение попадает в область ггл то мы скажем, что оно произведено над кн Пусть цена ошибочной клзссификации наблюдения, произведенного над -, как наблюдения нзд я равна С(у(!). Вероятность этой ошибочной классификации равна (гл.в 198 классивнкация назлюденнн ожидание потерь будет равно ч! 1И ~ С ( г' ~ 1) Р Я 1, )с) 1Ф! (2) Области )с!, ..., )с мы желаем выбрать так, чтобы сделать (2) минимальным. Так как нам известны априорные вероятности, соответствующие каждой генеральной совокупности, то можно определить условную вероятность того, что наблюдение произведено над определенной генеральной совокупностью, при условии, что компоненты вектора х имеют данные значения.
Условная вероятность того, что наблюдение произведено иад генеральной совокупностью ян равна Ч!р! (х) т ~~~~ ааР (х) а 1 Если иы охарактеризуем наблюдение как наблюдение над к, то математическое ожидание потерь будет равно (4) Мы получим минимум математического ожидания потерь, если выберем у так, чтобы (4) было минимальным. Рассмотрим сумму Х ч!Р!(х)С(/!!() для всех / (5) ! ! !Ф! и выберем у так, чтобы (5) было минимальным. (Если минимум (5) достигается при двух различных значениях у, то можно выбрать любое из них.) Этот метод относит точку х к одной нз областей )с . Повторяя его для каждой точки х, мы определим наши области Я!, ..., Я . Следовательно, метод классификации ааключается в том, что наблюдение классифицируется как наблюдение над кр если его результаты попадают в гср 661 СЛУЧАЙ НЕСКОЛЬКИХ ГЕНЕРАЛЬНЫХ СОВОКУПНОСТЕЙ 199 Теорема 6,6.1. Если априорная вероятность того, что наблюдение произведено над генеральной совокупностью к, с плотностью распределения вероятностей рс(х) (/=1, ..., т), равна с/, и цена ошибочной классификации этого наблюдения как наблюдения над к равна С(/(/), то области классификации /сс, ..., /с,„, при которых математическое ожидание цены является минимальным, определяются следующим образом: область /с состоит из тех точек х, для которых ~ с/с р! (х) С (й сс/) ( ~~.', с/ср! (х) С (/ ~ 1) (6) С 1 !+ь счь/ (/=1, ..., т, /чьй).
й/(х) = ~~'„с/ср! (х) С(/! /). С-1 с~/ Тогда математическое ожидание потерь для метода /с будет равно Х 1 " ( ) = Г ( ) / 1Я/ (8) где для х иэ /с/ д(х)= й/(х). Для метода Беяеса, описанного в теореме, /г(х) есть й'(х) =си!и, й,(х). Поэточу разность математических ожиданий потерь для метода /с' и (Если (6) выполняется для всех индексов / (/~й), за исключением Ф некоторых индексов, для которых неравенство заменяется равенством, то такая точка может быть отнесена к любой из /с+! генеральных совокупностей, соответствующих этим индексам.! Если вероялсность равенства между правой и левой частями (6) равна нулю для любых й и / при условии, что наблюдение произведено над к, (/ — любое), то мел!од, дающий минимум потерь, является единственным с точностью до множеств нулевой вероятности.
Докажеи это утверждение. Пусть (гл. а КЛАССИФИКАЦИЯ ИАБЛК)ДЕИИИ любого другого метода гс равна ~ (д (х) — д' (х)] с(х = ~~ / [)! (х) — ш1п Ь!(х) !(х ) О. (9) ! и! Равенство может выполняться лишь в том случае, когда Й)(х)=ппп;д!(х) для всех Х из Й, за исключением иножеств нулевой вероятности. Посмотрим, как можно применить этот метод в случае, когда С(/1!) = 1 для всех 1 и,/ (1 чь /). Тогда в )А!» ~ !т!р!(х) ( ~~~~ д!р!(х) (у чь й).
(1О) ! ! ! ! !А» ! »ьт Вычитая из обеих частей неравенства (1О) ~ !у,р, (х), ! ! !Аь», ! получим у р (х) < у„р„(х) (,/+ д). (11) В этом случае точка х принадлежит Я», если !! есть индекс, для которого дно!(х) максимальна, т. е. я„ — наиболее вероятная генеральная совокупность. Предположим теперь, что априорные вероятности нам неизвестны. Тогда мы не можем определить безусловное математическое ожидание потерь, соответствующих данному методу классификации. Однако можно определить математическое ожидание потерь при условии, что наблюдение производилось над данной генеральной совокупностью.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
