Андерсон Т. - Введение в многомерный статистический анализ (1185341), страница 31
Текст из файла (страница 31)
Математическое ожидание потерь при условии, что наблюдение произведено над яп равно (12) ~ С(у)1) РЦ!1, Я) =г(1. Й). ! )*А! Метод )с, по крайней мере, не хуже метода Я*, если г(1. )с) <г(К Я'), 1=1, .... ам при этом если котя бы одно нз неравенств строгое, то Я лучше Я". Метод )с является доаусшимым, если не существует метода )г', который был бы лучше Я. Класс методов является полных, если для любого метода т(, не принадлежащего этому классу. 66] случаи нескОльких генееАльнь[х совокупностей 20! существует метод Й', входящий в этот класс, который лучше Й. Покажем, что метод Бейеса является допустимым. Пусть Й вЂ” метод Бейеса, а Й* — некоторый другой метод.
Поскольку метод Й является четодом Бейеса, ХЧ;г(Е Й) <Хй;г(Е, Й"). (!3) Е ! ! ! Предположим, что г (Е, Й') -< г (Е, Й), Е = 2, ..., т и д, >О. Тогда д,(г(1, Й) — г(1, Й*)) < ~ еее(е(е, Й") — г(е, Й)! < О, (14) Е-г ' и г(1, Й) <„г(1, Й'). Аналогично, если д; > О, то г(Е, Й) < <г(Е, Й'). Таким образом, Й' не может быть лучше Й к, следовательно, Й вЂ” допустимый метод. Теорема 6.6.2. Если о,. > 0 (Е=!,....
т), то метод Бе(геса является допустимым. Теперь предположим, что С(Е! Е) = 1, Е 4=,/, и Р(ре(х)=0!и)) =О. Из последнего условия следует, что все ре(х) положительны на одних и тех же множествах (за исключением множеств меры 0). Пусть де = 0 для е' = 1, ..., Е и (Е, > 0 для Е = Е + 1, ..., т. Тогда для решения Бейеса множество Й, (Е =- 1, ..., Е) пусто (с точ- ностью до множества нулевой вероятности), как это видно из (!1), т.
е. для х из Йе р (х)=0. Отсюда следует, что для Е=-1, ..., Е е'(Е, Й)= Б Р(Е>/, Й)=! — Р(Е!Е, Й)=1. Ееы Поэтому (Й,+н ..., Йм) — решение Бейеса для задачи, содержащей р,,(х), ..., р (х) и дгьн ..., де. Из тео- ремы 6.6.2 следует, что никакой метод Й*, для которого Р(Е(Е, Й*)= 0 (Е= 1, ..., Е), не может быть лучше метода Бейеса. Теперь рассмотрим метод Й" такой, что Й*, содержит множество положительной вероятности, так что Р(111, Й*)>0. Для метода Й', лучшего, чем Й, Р(е ( е, Й) = ~ р, (х) 6ех < .9, <Р(е!е. Й')= ~р,(х)еЕх, Е=2, ....
Ла. (16) ЛЕ кл»ссиоик»цня н»влюлннип (гл, е В таком случае метод й, где й, пусто, 1=1, ..., 1, Й,"=Йг, 1=1+1, .... т — 1, и Й."=й'.()Й",О... Ой!. дал бы риск такой, что Р(1)1, Й")=О, 1=1... „1, Р(111, й*) = Р(111, й'))~ Р(111, й), 1=1+ 1, ..., т Р(т(т, й")) Р(т!т, й*))~Р(т т, й).
(16) Тогда метод (йс г ы ..., Йе,) был бы лучше, чем (й,+ и ..., Й,„) для (т — 1)-мерного решения, что противоречит предшествуюшим рассуждениям. Теорема 6.6.3. Если С(1~/) = 1 нри 1чь / и Р (рг(х)=01п)) =О, то метод Белесо лелпетсл допустимым. Теперь покажем, что до.» ье) пустимые методы являются 11 „, (,11 (а, (а (и)1 методами Бейеса. Мы ограничимся лишь случаем т= 3. Предположим, что Р~ Р' =й(п»~=0, (йг,е) [у'Е() (й','1) /=р3, О «(/» ( оо. (17) (еь(,,Е) 1, „,(„, )Р) (и и (а,»() ' ' ' Это означает, что функция распределения р,(х)/р1(х) Рис. 10.
для любого и» и совместная функция распределения двух отношений являются непрерывными (см. задачу 45 главы 2). Пусть а~(й)= 1 — Р11(1, й) — вероятность принять неправильное решенке в случае, когда выборка производится из г, и используется метод Й. Если Й является методом Бейеса, то а,(й) есть функция дн да, дз, скажем а,(до да,~уз). Это непРеРывнаЯ фУнкциа пеРеменных дн дм д»1 напРимеР, и совместная функция распределения р,(х)/р,(Х) и Рз(Х)/Р,(х) Явлаетса непРеРывной. 07н 7м чз) Удобно Рассматривать как барицентрические координаты точки.
Границы пРостРанства тРоек 07о дш д ) и значениЯ фУнкций на границах указаны на рис, 10. вз1 случАЙ >>ескочьких генгпллы!ых созокьчн!Остей 203 Пусть теперь 7(' — лоп)стнмыи мегод и зь(!(*) =а,'. Понажем, что )(* — метод Бейеса. Рассмотрим совокупность методов Бейеса, длЯ котоРых а,(!7!, !7а 7 ) =.
а;. Если ф,= О, то фактически мы имеем дело с двумерным решением, и поэтому а = а (а*,), что есть наименьшее аа при условии а, = а, (получается из результатов для двумерного случая). Поэтому а (а',) ~( а' и аз = 1. Аналогично, если !)з = О, то аз = аз(а",) ~4 а' и аз = !.
Геочетрическое место точек (!7!, фм !7з), дла котоРь!х а!(!7!, !)з, !7з)=а,, есть непрерывная кривая '), соединяющая точки )а>, а (а,"), 1) и (а!, 1, а (а!)). Так как а непрерывно изменяется от а,(а",) до 1, то существует точка, для которой а = а'. Поэтому существует л!етод Бейеса Л такой, что а,(гс) = а', и аз()7) = а .
Поскольку метод )7 является допустимым (по теореме 6.6.3), азЯ) ~(а', но так как метод гг' — допустимый, а (гс)= а'. Вследствие елинственности решения Беиеса )7* = )7. Теорема 6,6.4. Если (17) верно, то любой допустимый метод является методом Белеса, Доказательство приведенной выше теоремы показывает„ что класс методов Бепеса является полнь!м. Для любого заданного метода )(>' существует метод Г>ейеса )с, который по кра!!ней мере не хуже г(' (это слелует из полноты класса методов Бейеса). Но если гс не хуже )с", а )7' пе хуже гс, то эти методы совпадают (с точностью до множества нулевой вероятности нуль). Далее, класс методов Г>ейеса является минимальным полным классом, поскольку он совпадает с классом допустимых методов. Теорема 6.6.5.
Если (17) верно, то класс мепгодов Бейеса является минимальным полным клиссом. ') Вдоль кажлого луча В> = а (1 — В!), !7, = (1 — а) (1 — В!), 0< Л < 1, а, убывает непрерывно и монотонно от 1 до О. Пусть В, —. В!(а) — такое значение уь что а! — — а,; тогда В!(а) есть вепрерьюпав фупвция а !вслею>вне непрерывности а,(!)ь йм В>) н монотонности а, иак функции в! ври фиксировышом й). кллсспенкю!ня !!Аялюпгннн [Гл.
а Можно рассмотреть также минимзксцое решение. Существует решение Бейеса, для которого и! =аз=аз, ибо совокупность точек, для которых а, = ая, является связной и включает точки, для которых аз = 1, и точки, для которых аз = О. Вследствие непрерывности существует точка, для которой п! = пя = яа. Так как этот метод является допустимым, то не существует никакого другого метода, имеющего меньший максимум вероятности ошибки (т. е. метода, для которого каждь!й риск будет меньше).
Поэтому получается минимаксный метод. Для ознакомления с обшей теорией статистических решений отсылаем читателя к работам Вальда 131 и Блек у э л л а и Г и р ш и к а 11]. Другим методом решение минимаксной проблемы было получено Мизесом 111. 6.7. Классификация наблюдений в случае нескольких многомерных нормальных совокупностей Теперь мы применим теорию, изложенную в й 6.6, к случаю, когда каждая генеральная совокупность распределена нормально (см. М и з е с 111). Предположим, что средние значения этих распределений различны, а их коварнационные матрицы одш<аковы. Пусть М(р!'1, Х) — распределение совокупности г! Плотность этого распределения определяется формулой (1) Э 6.4. Предположим вначале, что параметры этих распределений известны. Для общих цен с известными априорными вероятностями можно определить лг функцией (5) (см.
й 6.6) и определить область гс) как совокупность таких точек Х, в которых у-я функция оказывается минимальной. В дальнейшем в этой главе чы будем считать, что цены ошибочных классификаций равны. Используем функции и (х)=1п — = х — — (р!!1+р! !) В (р!!! — р! !) Мх) Г л -! я )л Ра (х) ~. 2 (1) Если априорные вероятности известны, то область г1 определяется как совокупность точек х, удовлетворяющих условиям А'1: и л(х)) 1п — ь-, я=1, ..., т; А+у (2) Ч! в.н слнчАЙ игскОлькич ноямАльиь!х совокУИИОстнн 205 (77 — — [Х вЂ” — (р~ ~ + «ь~~~)~ м !«АП! — рр«7.
(4) Здесь (7,= — (7,р Таким образом, если векторы среднего ! значения принадлежат (т — 1)-мерному пространству, то используется т(т — 1)/2 классификационных функций. Если Х принадлежит тр то (7р распределена /! О7! 2 аро а)и), где КоваРиацна междУ (7р и (/)ь Равна а)ги — — («ь'~' — Р' ) м («Ь — Р, ).
(5) (б) Те о р е м в 6.7.!. Дели о..- инриорнин героин«ность ! «ц того, что ниблюдение производитсн над гч=И(р.' ', Х) ((= 1, ..., т), и цены ошибочных классификаций равны между собой, то обласнги классификации Ли ..., Й„, для кон!орых митематическое ожидиние цены минимильно, олределяютсн из условия (2), где и (м) получиется по формуле (1). Следует отметить, что каждая из функций и (М) есть классификационная функция, связанная с 7'-й и )г-й генеральными совокупностями, н и)а(м) = — и (м). Так как эти функции являются линейными, то область Й, ограничена гиперплоскостями.
Если векторы среднего значения входят в (т — 1)-мерные пространства (например, в случае, когда векторы р<г« линейно независимы и р,'а. нь — 1), то Й, ограничена т — 1 гнперплоскостями. В случае, когда априорные вероятности неизвестны, область Л) определяется неравенствами и,(х). с — с, п=1, ..., т, 7«Ф7. (3) Константы с„можно взять неотрицательными. Эти множества областей образуют класс допустимых методов. Для минимаксного мегода эти константы определяются так, чтобы все РЯ«, Я) были равны между собой.
Теперь покажем, как оценить вероятности правильной классификации. Пусть Х вЂ” случайное наблюдение. Рассмотрим случайные величины (гл. в КЛАССИФИКАНИЯ НАБЛЮДЕНИИ Чтобы определить константы ср рассмотрим интегралы СО О,'3 РЯ1, гч)= ) ... ~ ~~бар...йидт гйим)щ...дирт т ег- е, (7) Уд Рис. 11. находятся ив условий (3), где функции а „(х) даются формулой (1). Константы с определяются так, чтобы интегралы (7) были равны между собой. В качестве примера рассмотрим случай т =3. Вез ограиичеиия общности можно считать, что р = 2, ибо плотность для ббльших виачеиий р можно спроектировать иа двумерную плоскость, определеииую векторами среднего значения трех генеральных совокупностей, если вти векторы иеколлииеариы (т. е. вектор х можно преобразовать в вектор с координатами им.
и,а и р — 2 остальными координатами, причем последние ие будут зависеть от иы и ию и будут иметь нулевые математические ожидания). Области )7р как показано па рис, 11, определяются тремя полупрямыми. где 7" — плотность распределения вероятностей (1 = 1, 2, ..., т) (1 +,/). Теорема 6.7.2, Если пг распределена ДГ()ь1Ц, Х) и цены ошибочных классификаций равны между собой, то области классификации, )7Н ..., )7, при которых условное математическое ожидание потерь минимально, х, в.п случАи нпскОлъкнх нОРЯАльных совокупностпи 9>7 Если этот метод является мкнимаксиым, то мы не можем передвинуть линию между )с> и )ся ближе к (>ь>11>, >1>1>), линию между Я и й ближе к (р>1», ь11>) н линию между 111 и 111 ближе к (р(а>, ра>а>), сохраняя при этом равенство Р(1!1, гг) = = Р(2>2, )1) = Р(3>3, Я) и не выходя из треугольника, который не включается целиком ни в одну область.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
