Андерсон Т. - Введение в многомерный статистический анализ (1185341), страница 29
Текст из файла (страница 29)
(Этот метод впервые был использован В а л ь д о м (1]. Тогда 1-я плотность распределения вероятностей будет равна р,(к) = , , ехр)' — 2 (х — ры>)'Х (х — уФ)1. (1) 1 1 (2)т,~)2 Отношение плотностей рзвно ехрà — — (л — !ьн>)' Х 1(х — фИ)1 ехр~ — -- (л !ьм>)' Х ' (к рй!)Д 2 з = ехр ~ — — 1(к — (ьн >)' Х ' (л — (ьн!)— 2 — (х — ра>)' Х - ~ (.и ' (4!т!)1 ~.
(2) КЛАССИФИКАЦИЯ НАГЛЮДВНИП [гл а Область !с>, при попадании в которую наблюдение классифицируется как наблюдение иад ки ивляется множеством векторов х, для которых величина (2> больше й (й выбирается подходящим образом). Так как логарифмическая функция монотонно возрастает, то неравенство (2) эквивалентно неравснству (получающемуся из (2) переходом к логарифмаи) — — [(х — рп>)' Х ! (х — р[>>) — (х — (ь['>)' Х ! (х — р[т>)[ )~ [и й. 2 (3) Левую часть (3) можно представить в виде — -'-[х'Х 'х — х'Х >(ь"> — р['>'Х 'х+(ь[>>'Х >(ьп>— 2 — х'2) [х+х'2) >(Р+(Р ~ 'х — р[з> 2; >р[т>[.
(4) Группируя соответствующие члены, получаем Х'Х '((а[И вЂ” !Р) — — [рп>+р[а>) Х '((ЗП~ — !Р). (5) Первый член является хорошо известной дискрил>инантнои фун>сцией. Это линейная функция компонент вектора результзтов наблюдений. Следующая теорема является прял>ым следствием теоремы 6.3.!. Теорема 6.4.1. Если г! имеет плоп>ность распределения вероятностей (1) (!'=1,2), то области наилучшей классификации определяются следующим образол>: а,: '~ 'Ь'н — (Р) — —,'Ьп'+рпв)'Х '[рп' — (Р)> ! й, >с,: х' Х [~р ' — р[ >) — -- [[ь!" + (ь' ') Х '[р~ ' — !ь[ >) (! п й. (6) Если априорные вероятности >у! и дт известны, п>о й равно я,С(1>2) я!С(211) ' (у) В частном случае двух равновероятных генеральных совокупностей, которым соответствуют одинаковыс цены С(1(2) и С(2!1), й=[ и !пй — О.
Поэтому область, при попада- ел! случАН мнОГОмГРных нОРмАльных РАспРГЛГЯГнии 187 нии в которую выборка рассматривается как выборка из и, определяется следующим образом: Если нам неизвестны априорные вероятности, то иы можем выбрать !и й = с, например, из условия, чтобы математические ожидания потерь, связанных с ошибками классификации, были равны, Пусть Х вЂ” случайное наблюдение. Нам нужно найти распределение случайной величины (у=Л" Х 'гтрп! — (Аи!) — — ~(ап!+!Р)'Х '(р,н! — (ь"!), (О) считая сначала, что Х распределен М((ап1, Х), а затем что Х распределен М((АИ1, Х). Если Х распределен М(ф'1, Х), то величина (/ распределена нормально с математическим ожиданием = ! ((ь!н — (Р)'Х 'г(р!н — (Р) (1б) и дисперсией = ((ь' — !а' ) Х ((ь'н — (ь ').
(11) Будем называть «расстоянием» между М(!АН1, Х) н М((ьи1, Х) величину (~Р— ! "!)'Х '(И!н — (Р)= . (12) Тогда, если Х распределен М(рй!, Х), то 0 будет распределена М~ — я, я). Если же Х распределен М((аи>. Х), то /1 (2 ! („(и и!)'Х вЂ” („гн (2!) ! „(!8) Дисперсия У будет такой же, как и в случае, когдв Х распределсн М((ан>, Х), поскольку она зависит лишь от 188 КЛАССИФИКАЦИЯ НАГЛЮЛЕНИИ 1гл и моментов второго порядка случайного вектора Х. Таким 1 образом, У будет распределен М ( — — и, и). 2 Вероятность ошибочной классификации при условии, что наблюдение производилось над ти равна с 1( 1 )а/ Р(211)= / =-е де= —,/ Р2 — -,. (с- — «)/1 а 2 1 1 =е ' ву, ес2« (1Ч1 ОО 1 1 а 1 — (с+ — а)/« Р(112)= / =.е ' дг= )с 2-.« с »« ( 2 )1 (16) На рис. 9 эти две вероятности изображены в виде заштрихованных площадей, ограниченных «хвостамн» плотностей.
Для минимального решения с выбирается так, чтобы Ю 1 С(112) / =е ' Фу= --,У' гс2ч (с+-а)/~ « (с - - «)/1' а — тс = С(211) / =е ду. )с 2п (16) Теорема 6.4.2. Если кс(1=1,2) имеют плотност11 распределения вероятностей (1), то минимаксные области классификации определявстся по 161, где с =1пя выбирается из условия (16), а С(11у) — цены ошибочных классификаций. а вероятность ошибочной классификации при условии, что наблюдение производилось над к, равна Следует отметить, что если цены ошибочных классификаций равны между собой, то с =0 и вероятность ошибоч. ной классификации равна / =е с!у.
)с 2я м«~2 (17) В случае, когда цены ошибочных классификаций не равны -уа а с Рис. 9. между собой, с может быть определено достаточно точно по таблицам портального распределения методом проб и ошибок. Оба слагаемых в (5) содержат вектор 9 = Х-'(р'н — р"'), (18) который получается как решение уравнении 29=Ф ' — (Аа), (! 9) полученное аффективным численным методом, как, например, метод сокращения Дулиттла. Интересно отметить, что х'6 является линейной функцией, которая дает максимум (М, (Х'Л) — И, (Х'а)!с 1) (Х'с!) (20) при любом выборе с(. Числитель (20) равен !(Анге( — (Асп'с(! — с(' ((рп! — Ф"Прсп-(Ам)'! с( (21) а знаменатель с('А( (св — 9(ж') (.а —, )т)д')' с( =!~~с(.
(221 бн слГЧАН мнОГОмГРных ноРмАльных РАспРГлелГннн !89 КЛАССИФИКАЦИЯ НАБЛЮДЕНИИ (Г.ч а 190 Нам нужно найти максимум (21) по (л, сохраняя (22) постоянным. Если Л вЂ” множитель Лагранжа, то задача сводится к нахождению максимул(а выражения И' Кр( ) — р( )) (]л(1) — р,(2»'] и — Л (а'Х т — 1). (25) Прнравниная нулю производные (23) по компонентам векгора Ф, получим 2 ](р(1) — р,(2» (р(1) — р(2))'] (У= 2ЛХФ. (24) Так как (р(') — р(2))'(л — ска,тяр, скажем ж то (24) люжпо записать в виде р,(1) р(2)— 1 2 (25) Поэтому вектор (л, являюц(ийся решением уравнения (24), пропорционален вектору 6.
В заключение отметим, что если иы имеем выборку объема М либо из ",, либо из и, то можно использовать выборочное среднее значение и классифицировать выборку как выборку из М]]л(1), (1/М) Х] илн из М]р(2), (1)М) Х]. 6.6. Классификация наблюдений в случае двух многомерных нормальных генеральных совокупностей, параметры которых оцениваются по выборке 6.6.1. Критерий классификации. )Ло сих пор мы предползгалн, что распределения обеих генеральных совокупностей известны точно.
Но в большинстве приложений этой теории эти распределения являются неизвестными, но онн могут быть получены из выборок, по одной из каждой генеральной совокупности. Сейчас мы рассмотрим случай, когда у нас есть выборка нз каждой нормальной генеральной совокупности. и нам нужно использовать эту информацию для того, чтобы решить, над какой из этих двух генера.тьных совокупностей произведено другое наблюдение, Пусть дч)), ..., .кп) и к(2', ..., х(2) — выборки из сово(к, купностей М(]л(1), Х) и М(р(2), Х) соответственно.
На основе этой информации нач нужно классифицировать наблюдение к как наблюдение пад Г, или над к2. Очевидно, наилучшими оценками р(') и рсй являются соответственно СЛУЧАЙ ОПЕНКИ ПАРАМЕРРОВ ПО ВЫБОРКЕ 191 Ю, х<'!=~~У,х<!!/И, и х<з1=~~.',х<я!/И, а лучшей оценкой ма- 1 трицы Х является матрица $, определяемая из условия (И, + Иа — 2) Я = ~~Р„(х<'1 — х<н) (х<'1 — х<!11'+ А; -!- ~ч'„, (х<11 х<т!) (х<т! х<е>у. (1) а= ! Подставив эти оценки параметров в (5) 9 6.4, получим Первый член (2) является дискриминантной функцией, полуа!енноп по двум выборкам [предложено Фишером )5)1, Это — линейная функция, имеюшая наибольшую чдисперсию мем<ду выборками» относительно «дисперсии внутри выбо- рок».
Мы предлагаем использовать <2) в качестве критерия классификации таким м<е образом, как используется (5) 9 6.4. В случае, когда распределения, соответствуюшие гене- ральным совокупностям, известны, можно доказать, что кри- терия классификации является наилучшим в тои смысле, что он дает минимум математического ожидания потерь в случае известных априорных вероятностеи, и образует класс допу- ' стимых методов, когда априорные вероятности неизвестны. Использование 12) не может быть оправдано таким же обра- зом.
Интуитивно, однако, кажется разумным, что (2) даст хороший результат. В 6 6.5,5 предлагается другой критерий. 1'!редположим, что хн ..., х, есть выборка либо из п<, либо из -,.и и нам нужно классифицировать зту выборку как целое. Определим Я уравнением А", 1И, -!- №+ И вЂ” 3) $ = ~ (х<'1 — х<!1)(х<'1 — х<п)'-+ <та А< .+ ~чР~ (х<'1 — х<ю)(х<е! — хчз1)'+ ~Р„' !х„— х) (х, — х),' !5) =! а=! где классиФиклция навлюдипип !ГЛ Е Тогда величина, даюшая критерий, будет такой: Г -' (сн1 (,к(г,)~'~- (сп!,кпв) 2 Можно показать, что чеч больше !У, тем меньше вероятности ошибочной классификации, 6,6.2. О распределении величины У. Пусть для случаниых Х, Х' ', Хгю и о = ~Х вЂ” 2 (Х' '+Х' ')~ Ю (Х~ ~ — Х' ').
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
