Андерсон Т. - Введение в многомерный статистический анализ (1185341), страница 28
Текст из файла (страница 28)
Класс методов являг гся иоллмж, если для любого метола, не входящего 180 КЛАССИФИКАГГИЯ НАБЛЮДЕНИИ (гл. а в этот класс, сушествуег лучпгий метод из этого класса. Класс методов называется почгни лолнылг, если для любого метола, не входящего в этот класс, существует метод из этого класса, который не хуже такого метола. Минимальныд полный класс (если оп существует) — это такой потный класс, ггто никакой его собственггый полкгасс не является полным.
Аггалогнгггго опрелеляется и мннималыгый почти полггый класс. Мы покажеч, что при определенных усчовнях лопустнмый класс является чинимальныьг полным классом. Для простоты мы отождествнгг методы, отличающиеся друг от лруга лишь на игожествах нулевой вероятности. В следующем параграфе мы булем делать утвержления, полразумевая, что они справедливы веяла, «за исключением множеств нулевой вероятггостгг», но не оговаривая этого особо. Принцип, называемый миппмаксным, обычно приводит к едгистпенночу метолу. Метол назьгвается минимаксным, если максимум математического ожнлания потерь, г(1, )с), является чинимлльныч. С установившейся точки зрения этот метол может считаться оптимальным.
более полное рассмотрение понятий, солержащихся в этом и послелуюпгих параГрафах, можно найти в книгах Вальда [3[ и б пеку элла н Гиршика [1[. 6.3. Методы классификации наблюлений в случае лвух генеральных совокупностей с известным распределением вероятностей 6.3.1. Случай, когда известны априорные вероятности. Теперь мы перейдем к проблеме отыскания областей )сг и )Гз, при которых постигается минимум срелних потерь (см. (5) 6 6.2). Поскольку апрггоргггае вероятности известны, мы можем найти совместные распрелеления вероятностей для генеральной совокупности и для множества наблюлеиных случайных величин.
Вероятность того, что при наблюдении иал генеральной совокупностью к, каждая величина булет меньше соогветствующей компоненты вектора у, равна гр У [ гугрг (х) вн,.. А(хр. 6.3.1 случАЙ известного РАОЙРеделения веРОятностеп 181 д,р, (х) 4~ Р~ (х) + ЕаРа (х) (2) Предположим, что С(1)2)=С(2!!)=1. Тогда математиче- ское ожидание потерь будет равно л, ~ р,(х)г(х + л, ~ р (х)~(х. Это вероятность неправильной классификации. Следовательно, нам нужно сделать вту вероятность минимальной. Для ланного результата наблюдения х мы достигаем минимумз вероятности неправильной классификации, выбирая ту генеральную совокупность, которой соответствует наибольшая условная вероятность.
Если д,р,(х) й,р,(х) (4) а,р,(х)+д,р,(х) - а,р,(х)+д,р,(х) ' то мы заключаем, что выборка была произведена из генеральной совокупности кг В противном случае мы отдаем предпочтение генеральной совокупности к . Поскольку мы достигаем минимума вероятности ошибочной классификации в каждой точке, то мы тем самым достигаем минимума ее н во всем пространстве.
Таким образом, правило состоит в следующем: )с,; (г,р, (х) )~ л,р,(х), Ла ' Ч!р! (х) < тгря(х)' Если л',р,(х)=л,р (х), то точку х можно отнести и к к, и к к . Мы можем договориться отнести ее, например, к )сг Если для данного х д,р,(х)+ дар,(х)=0, то точка также может быть отнесена к любой из двух областей. Теперь формально покажем, что 15) является наилучшим методом. Для любого метода гс" = (тсь )сз) вероятность Можно определить также условную вероятность того, что наблюдение производилось над определенной генеральной совокупностью прн условии, что наблюдаемые величины имеют данные значения.
Например, условная вероятность того, что наблюдение произведено над генеральной совокупностью к, при условии, что его результаты составляют вектор х, равна кллссиеи х ч 1ия нлзлюдеиии 182 1гл. а неправильной классификации равна (г, ~ р,(х)И»+дт ~ ря(х)И» = я[ = [ [Ч!Р1(х) — 8аря(х)1Я»+Чг ~ Ра(х)Ф». (б) Второй член правой части есть фиксированное число; первый член будет минимальным, если Йт включает в себя такие точки х, для которых д,р,(х) — д р (х) ( О, и исключает точки х, для которых д,р,(х) — дтрт(») ) О.
Если мы предположим, что Р~Р' = — "л ~и,~=О, (=1,2, го метод Бейеса будет единственным с точностью до множеств нулевой вероятности. Заметим, что математически задача состоит в следующем. Для дюшых неотрицательных чисел д, и дт н неотрицательмых функций р,(х) н рт(х) найти такие области Я, и гс, чтобы (3) было минимальным. Решение этой задачи дается соотношениями (5). Если нам нужно найти минимум величины (5) 9 6.2, которую можно записать в виде [С(2[1)8,1/ р,(х)с(»+[С(1[2)да[~ ря(х)с(х, (8) я, Я1 ([о) то, поскольку [С (2[1) д,[ и [С (112) да[ — неотрицательные константы, е[, и тс нужно выбрать согласно следующим условиям: )с,: [С (211) ((,[Р, (с) ) [С (1[2) да[ Р, (х),1 Ц: [С (211) д 1 р, (х) ( [С (1[2) да[ ра(х).1 (9) (9) можно записать по-другому: р, (х) С (112) д, ' ' р,(х) С(211)д~ ' р,(х) С (11 2) ял а рл(х) С (2 1 1) Ч1 631 случАЙ извгстного РАспРРдгления ВЕРОятностгй 133 Теорема 3.3.!.
Пусть д, и иг — априорные вероятности того, чта наблюдение производится над генеральной совокупностью к, с плотностью распределения вероятностей р, (х) и над генеральной совокупноспгью г, с плотностью р,(х) соотввтсгпвекно. Пусть, далее, цена ошибочкой классификации наблюдения, производимо;о над и,, равна С(2~1), а цена ошибочной классификации наблюдения, производимого над и, равна С(1!?). Тогда области классификации )?г и )?т, определяемые из условия (10), дают минимум математического ожидания потерь. Если 1 рь (х) й1 С (2 ~ 1) 1 ' ! та такой метод является единственным с точностью до множеств нулевой вероятности, 6.3.2. Случай, когда априорные вероятности неизвестны.
Во многих случаях классификации статистик ие может приписать априорные вероятности двум генеральным совокупностям. В этом случае мы отыскиваем класс допустимых методов, т. е. множество методов, которые не могут быть улучшены. Сначала докажем, что метод Бейеса ивляется допустимым. Пусть г? = ЯР )?г) — метод Бейеса для данных аи а . Существует ли метод )?* =()?н !?г) такой, что Р(! !2, )?') ( < Р(112, Я) и Р(2!1, )?*) ~(Р(2,'1, 1?), причем хотя бы одно из этих неравенств является строгим? Так как !? — мегод Бейеса, то Это неравенство может быть переписано в виде а, (Р(2~1, )?) — Р(2~1, )?')) <и 1~ (1~2.
)?*) — (1~2, )?)1. (13) Предположим, что а, > О. Тогда, если Р(112, П') < Р(1(2, )?), то правая часть (! 3) меньше или равна нулю и, следовательно, Р(2!1, 1?)(Р(2/1, 1?). Если дг>О,тоиз Р(2!1, /?')<Р(211, 1?) аналогично получаем Р(112, г?) < Р(1! 2, )?). Таким образом, г?" не лучше )? и Я* — допустимый метод. Если а,=О, то из (! 3) следует, что О - Р(112, )?') — Р(!,'2, )?). В методе Бейеса гс 184 классификация илнлюдзиии (гл а включает лишь точки, дла котоРых Рт(х) = О.
Следовательно, Р(1!2, )с) = О, и если !т* должно быть лучше Я, то Р(1!2, Р')=О. Если Р (Р,(х) =0!к,) =О, то Р(211, й)= = Р (р,(х) > 01и1] = 1. Если Р(112, й") = О, то )с1 включает лишь точки, для которых рз(х) = О. Поэтому Р(2/1, й*)= = Р (Яа! к,) = Р (р,(х) > О!к,) = 1, и значит, Р* не лучше, чем )с. Теорема 6.3.2. Если Р(рз(х)=О!к,) =Он Р(Р,(х)= =О!и ) =О, то любил метод Бедиса является допустимым, Теперь докажем обратное утверждение, что любой допустичый метод является методои Бейеса.
Предположим, что ') Р~ Р' =А(к!~=О, 1=1,2; О (й«(оо. (!4) г Рч(х) Тогла для любого о, метод Бейеса является единственным. КРоме того, фУнкииа РаспРеделениЯ веРоЯтностей Р,(Х)/Ре(Х) для к, и кт является непрерывной. Пусть Я вЂ” допустимый метод. Тогда существует такое й, что Р(2(1Я)=Р~Р' «(А(к,~=Р(2!1, й), где Й' — метод Бейеса, соответствующий тому, что оз/ог =л (т е Ч,=1/(!+Й)1. Так как метод гс является допустимым, то Р(! !2, е1) «(Р(1(2, Р*). Однако в силу теореиы 6.3.2 метод ес' является допустимым, и потому Р(112. Й))~ Р(1!2, !с*), т.
е, Р(112, Д) = Р(112, )т*). Следовзтельно, Я вЂ” также метод Бейеса. Вследствие единственности метода Бейеса )с совпадает с )с*. Т е о р е м а 6.3.3. Если (! 4) верно, то любо:1 допустимыд метод является бедесовым. Доказательство теоремы 6,3.3. показывает, что класс методов Бейеса является полным, поскольку для любого метода й, не входящего в этот класс, можно построить метод Бейеса Я' так, чтобы было Р1211, )ч)=Р(211, Р"). Вследствие того, что метод !с* является допустимым, Р(1(2, И))~ Р(1!2, лч*), Более того, класс бейесовык мето- ') Р, (Х)/Рз(л) =со означает, ччо Р, (л) = О.
еля слкчлй многомвеных ноемлльных ялспегдалгннй 166 дов является минимальным полным классом, так как он совпадает с классом допустимых методов. Теорема 6Л.4. Если (14) зерно, то класс методов Бейеса является минимальным полным классом. Наконец, рассмотрим минимаксный метод. Пусть РЯу', д,)= = Р(!!)', )е), где ес — метод Бейеса, соотв.тствующий ди Р(!,'/, д,) есть непрерывная фуюсцня до Когда д, изменяется от О до 1, Р(2!1, д,) изменяется от 1 до О, а Р(1!2, д,)— от О до 1. Поэтому существует такое значение до скажем до что Р(2!1, 4*,)=Р(1!2, д*,). Это значение д*, определяет минимаксный метод, так как если бы существовал другой метод й* тгкой, что шах !Р(2(1, Р'), Р(1)2, )т*)! (Р(2) 1, д',)= =Р(1!2, ((*,), то это противоречило бы тому, что любой метод Бсйеса является допустимым.
6.4. Классификации наблюдений в случае двух генеральных совокупностей, имеющих известные многомерные нормальные распределения Теперь мы используем общий метод, описанный выше, для случая двух многомерных нормальных генеральных совокупностей с рваными ковариационными матрицами. а именно для совокупностей с законами распределения М((ь!'>, Х) и И((ь!т>, Х), где р!Н'=(и<о, ..., р~'!) — вектор среднего значения !-й генеральной совокупности (! = 1,2), а Х вЂ” кодариационная матрица каждой совокупности.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
