Ю.П. Пытьев, И.А. Шишмарёв - Курс теории вероятностей и математической статистики для физиков (1134036), страница 40
Текст из файла (страница 40)
4 представлен случай двух состояний природы»»! и йь Здесь изображены пять точек, характеризующие потери пяти стратегий. Если для стратегий з! и з» 1(з!) = (~1 (з!), 12(зз)) ~ (1 ! (з»), 1 2(зз) ) =1(зз) ю что означает ь»(з!)~1,»(зз), 1.»(з!)~1»(зз), то говорят, что стратегия з! доминирует над зь Прн этом стратегии зз в лю- бом случае будут сопутствовать Цф 1»з ) потеРи не меньшие, чем стРатегни з», н, следовательно, зз можно исключить из рассмотрения. Точки, отвечающие стратегиям з! н з», представлены иа рис. 4. Из ска- 1(з1) 1 1 ванного следует, что нас могут интересовать лишь те свратегии, 1 1»з которым на рис. 4 соответствуют такие точки, для которых иет друРяс. 4 гнх точек, расположенных левее и ниже.
Обозначим через 1(з») и 1(з;) точки, соответствующие стРатегиЯм з» и зь Р» и Р! — веРоЯтности, Р»+Р;=1. Точка 1= =р»1(з»)+р»1(з;) лежит на прямой, соединяющей 1(з») и 1(з;), причем между точками 1(г») и 1(з;). Рассмотрим рандомизированную стратегию з, согласно которой с вероятностью Р» применяется стратегия з» и с вероятностью р;— стратегия зь Средний риск, сопутствующий стратегии з, дается равенствами ~»(з) =Р»1 »(з»)+РА»(з»), 1»(з)=РФ»(з»)+РА»(з»). Можно рассматривать рандомизированные стратегии, в которых используются произвольные стратегии з», гь...,з!. Понятно, что, например, множество точек на рнс. 4, соответствующих всем рандомизнрованным стратегиям, является выпуклой оболочкой, построенной на 1(з!), 1(з,), „1(з»). При этом важно отметить, что множество точек, представляющих рандомизированные стратегии, выпукло.
Пусть рандомизированная стратегия з состоит нз стратегий з„гь..,з»„пРименЯемых с веРоЯтностЯми Р», Рь ., Р. Тогда средний риск, связанный с применением з в состоянии Юь равен (4) 244 »» ~.»(з) =Е ~-;(з»)Р»= Е ~1(б„»1;)Р!,.Ы МР! ! ! ! »и ! 2'. Минимаксная стратегия Минимаксная стратегия определяется условием: максимальная потеря тахЦ(з) должна быть минимальной (по з). / Определим на плоскости ((Ь!, Ез)) множество точек вида У(с) =((1.!, Ц):тпах(Ь!, 1з) =с). Очевидно, минимаксная стратегия определяется как соответствующая точке на плоскости ((/.!, Ез)), принадлежащей как выпуклому множеству, характеризующему потери при всевозможных рандомизированных стратегиях, так и множеству У(а), порожденному наименьшим с, ври котором эти два множества пересекаются.
Минимаксный риск равен этому минимальному значению с. Соответствующая стратегия мо-, жет оказаться как рандомизированиой, так и иет. Сказанное иллюстрируется на рис. 5, на котором хорошо видно преимущвство рандомизации. Рис. 5 Зз. Байесовская стратегия Байесовская стратегия применяется в случае, когда известны априорные вероятности состояния природы р(0!),..., р(0ь). Вайесовской называется стратегия з, минимизирующая средние потери Ф х/ ь ~(з) =Е (./(з)р(0/) =Я,'~ цЕ;, а)р,(А~0!) р(0!). (б) !=! /=! !=! Рассмотрим на плоскости ((Е!, Ез)) семейство прямых р!Ь!+раЕз=Сопз1, р!+рз=1.
Очевидно, байесовская стратегия соответствует первой точке пересечения прямой при ее движении от начала координат и выпуклого множества по- терь, как это показано на рис. 6. Здесь р!=р(0!), рз=Р(0з) и отмечена точка на плоскости, соответствующая байесовской стратегии. 245 Таким образом сформулировано не только определение байесовской стратегии, но н показано, как ее найти. Однако существует другой, более эффективный способ отыскания байесовской стратегии, не требующий рассмотрения всех возможных стратегий. Мы получим этот способ несколько позже, а сейчас заметим, что минимаксная стратегия может быть получена как частный случай байесовской, если подобрать априорное распределение вероятностей состояний при- Рис.
7 Рие 6 роды так„чтобы соответствующие средние потери (4),оказались максимальными. 4'. Байесовская стратегия в случае невозможности наблюдений над природой Пусть задано априорное распределение вероятностей состояний природы 6, р(01)...,р(6и), но наблюдения над природой' невозможны. В таком случае средние потери, связанные с действием е(ь равны Ь(Ы/) = ~~~ 1(0ь е(;) Р(0~), (6) и байесово действие определяется из условий Ь(Н;) -пнп. ! Рассмотрим плоскость ((Р, Ь)) и зададим распределение состояний, природы в виде р(6~) =Р; р(6э) =1 — р, где р — переменный параметр, О~Р~1.
Тогда в- зависимости от значения р байесово действие будет е(ь е4 или дм как это показано на рнс. 7, где представлены четыре прямые 1(0ь 4)Р+ +1(0м А) (1 — Р) =~(А), 1' 1, 2, 3, 4. В точках пересечения прямых возможна рандомизация. Заметим, что в рассмотренной ситуации определяется не стратегия, а непосредственно байесово действие. Однако оказывается, что н в общем случае 'байесовского решения, когда производится наблюдение над природой, задача может быть сведена к только что рассмотренной, если пересчитать априорное распределение состояний природы в апостериорное, учитывая наблюдения над природой. 246 5'.
Байесово действие Рассмотрим вместо стратегии з соответствующее разбиение з пространства наблюдений Х= 0!+ ... +0и, О!=(хявХ, г(х) =!Ц, 1=1, ..., 1х'. Вероятность действия !1 в состоянии природы О; равна р,(с(„)О)) =Р(хан 0 18!) = ~' р(х~О)), (7) хао и выражение (5) для средних потерь теперь может быть переписано в виде Ь(а) =Я Я.ЦОр 1,)Р,((,! О!)Р(О!) = ! !! ! = Я Я1(О„!1!)р(О,) Я р(х~б,).
(8) ! 1с 1 «ар! Как следует из (8), (7), для того чтобы потери (8) были минимальны, необходимо и достаточно, чтобы в множество О, были отнесены те наблюдения х~Х, для которых Д: цО,, ()р(х)О)р(О) <Яцйрб!)р(х~о)р(О!), 1=1,...,й(.
х 1 ! †! (9) .Иными словами, по наблюдению х следует принять решение !1!, если х удовлетворяет (9). Если с каждым наблюдением будет связано такое байесово ()ействие, то средние потери (8) также будут байесовскими (минимальными) и стратегия з, соответствующая разбиению Х =Я 0в также 1=! будет байесовской. Покажем, что решение этой задачи сводится к решению предыдущей с помощью байесовского пересчета априорных вероятностей состояний природы в апостернорные, индуцированные наблюдением х.
Решение !1! по наблюдению х приводит к следующим средним потерям: Ц (х) ~ 1(О!г(!) р(О,~ х) = ~!~ цО!, !1!) )( ! 1 р(О!) р(х) В!) (19) р(а!) р(х ! О !) 247 1 !,! (х) = ~„1(0!, з(х))Р(0! ~ х) = ~~ 1(0,', з(х)) !=! != ! р(0!) р(х ~ 8!) ~ р(0!) р(х)0!) ! ! (11) Покажем, что средние потери Ь(з) (5), соответствующие стратегии з, могут, быть получены из (1'1) усреднением по всем наблюдениям, т.
е. что !. (з) =М!.,<„)(х). (12) Действительно, математическое ожидание М можно представить в виде М = ~ Р(8!) Мо !=! где М! — оператор условного математического ожидании при условии, что наблюдения х распределены согласно р(х~8!), или, иначе говоря, М! — оператор математического ожидания прн условии, что природа находится в состоянии О!. Пусть Р)=(х: з(х) =!Ц и )(о; (х) — индикаторная функция Р!, так,что Р(з(х) =д)1.0;) = ~~! Р(х(8;) = 1' )(р (х)Р(х~0,). (13) хеп! ках Теперь доказательство следует из цепочки равенств: М.(з(х! (х) = ~ Р(0!) М! (Я )(р.
(Х) Ез(х](х) ) = с=! !=! = Я ~' Р(0!) Я Р(х ~ О!) )(!! (х) Е,,[„>(х) = хах Сравнивая это выражение с (9), нетрудно видеть, что условие (9) эквивалентно следующему: по наблюдению х принимается то решение 4, для которого средние потери (10) Е,!,(х) минимальны. Но выражение (10) совпадает с (6), если в последнем априорные вероятности' р(0;) заменить на соответствующие апостериорные р(0;(х), 1'= 1,, й. Одновременно, разумеется, определена и байесовская стратегия з. Однако з теперь определена в терминах байесовых действий: в связи с каждым наблюдением х принимается решение о байесовом действии И. Эти действия и определяют байесовскую стратегию з.
Рассмотрим произвольную стратегию з. Согласно (10) з при наблюдении х в среднем приводит к потерям = Я Я Хо! (х) ~ 1(9,, з (х)) р (Ос ~) р (х ~ Ос) = ! «ях с-! Я 1(9,, с1с) р (с1с ~ 9,) р (9,) = 1. (з); !=!с=! 1(Ос, з (х)) = 1(9,, с(с), х е= Рс, 1 = 1,..., ст'.
Приведем теперь формальное доказательство того, что последовательность байесовых действий действительно определяет байесовскую стратегию. Теорема 1. Пусть сс — класс стратегий з, таких, что решение з(х) =с1с принимается для х, удовлетворяющих неравенствам Елс (х) < Есс (х), 1 = 1,..., Ф, где Езс(х) — условные потери, определенные в (10), Т;,ч для всякой стратегии зенЛ' выполняется неравенст'",! ! (') < ~Е(з*), где з' — произвольная стратегия.
Ин '., !, лозанн, всякая стратегия из Л' является байесовской. Доказательство. Обозначим 1(х) =шт Е„(х). !счдз М1(х) = МЕсс,с(х) при з ~ Ю. Действительно, сс Ф М1(х) = М ~, )(р (х) т'т Ес, (х) = М ~ уо, (х) Ес (х) = с. !=!, = М 1 )(о,(х) Е „с(х) = МЕ „(х) = Е(з), с=! где использовано, что при х ~ Р;. Ес,(х) < Ес.(х)-с-1(х) Ес,(х), з(х) = с(с. Отсюда следует Е (з) = М т1п 1. с, (х) < МЕ,ч,! (х) = Е (з'). А с 6'. Байесовская класснфииация Рассмотрим частный случай задачи статистического решения, в котором действиями с(енР являются решения о состоянии природы.
Множество действий в этом случае совпадает с множеством решений. Сохраним- прежние обозначения: Π— состояние пр;роды, с( — решение о состоянии природы, принятое по паблос! ням х над природой. Полученные ране результаты, разумеется, справедливы и в рассматриваемом случае. Байесово действие теперь яв- 249 ляется байесовским решением. Соответствующая стратегия теперь будет стратегией решения. В задаче решения потери чаще всего оцениваются посредством количества ошибок. Рассмотрим в этой связи некоторые характерные решающие правила.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
