Лекции по методам математической статистики (1162373), страница 10
Текст из файла (страница 10)
. , xq } с возможными значениями x1 , . . . , xq . Наблюдения должны содержать некоторую информацию о состоянии природы. Предположим, что эта информация задается распределением переходных вероятностейp(x|ϑ) наблюдений x ∈ X для каждого состояния природы ϑ ∈ Θ. Теперь решение о действииследует принимать с учетом результата наблюдения.Определим правило решения s как отображение множества наблюдений X на множество действий D, s(·) : X → D. Еслиs(x) = d,(8.5)то правило s при наблюдении x предписывает действие d. В данном случае всего N q отображений si (·) : {x1 , .
. . , xq } → {d1 , . . . , dN }, множество всех таких отображений (чистыхправил) обозначим S.При этом с каждым правилом s связано разбиение (которое мы также обозначим s) множества наблюдений X на подмножества D1 , . . . , DN : X = D1 + · · · + DN , гдеDj = {x ∈ X, s(x) = dj },1 co(l(1) , . . . , l(N ) )={l(1) p1 , . . . , l(N ) pN ,p=l(i) = (l(ϑ1 , di ), . . . , l(ϑk , di )) ∈ Rk , i = 1, .
. . , N , см. рис. 1.j = 1, . . . , N.(p1 , . . . , pN )38∈P}—выпуклаяоболочкавекторовКаждое правило действия сопряжено с риском и, естественно, лучшим является то, которому сопутствует меньший риск. Задача сводится к выбору лучшего правила.1.
Средний (ожидаемый) риск. Рандомизация решения.Пусть s — некоторое правило действия. Тогда распределение p(x|ϑ), x ∈ X можно пересчитать в распределение ps (d|ϑ), d ∈ D по формулеXps (d|ϑ) =p(x|ϑ), d ∈ D, ϑ ∈ Θ, s(·) ∈ S,(8.6)x:s(x)=dи вычислить ожидаемый риск потерь, сопутствующий применению правила s в состоянииприроды ϑi ∈ Θ,Li (s) =NXl(ϑi , dt )ps (dt |ϑi ),i = 1, . . . , k.(8.7)t=1Поскольку то или иное правило интересует нас лишь с точки зрения сопутствующего риска, то исчерпывающей характеристикой s является точка l(s) в Rk с координатами(L1 (s), .
. . , Lk (s)), l(s) = (L1 (s), . . . , Lk (s)), s ∈ S. На рис. 2, как и на рис. 1, представленслучай двух состояний природы ϑ1 и ϑ2 и изображены шесть точек в R2 , представляющихпотери шести правил решения1 . (Координаты каждой точки являются соответствующимиРис. 2. Шесть точек представляют потери, отвечающие шести отмеченным чистым правиламs1 , . . .
, s4 , . . . , si , . . . , sj , множество U ec+ определяет минимаксный риск, равный ec+ , c+ — минимальный риск,полученный как решение задачи (8.9).потерями.)Если для правил s1 и s2 l(s1 ) = (L1 (s1 ), L2 (s1 )) 6 (L1 (s2 ), L2 (s2 )) = l(s2 ), что означает:L1 (s1 ) 6 L1 (s2 ), L2 (s1 ) 6 L2 (s2 ), то говорят, что правило s1 доминирует над s2 (см. рис. 2).При этом правилу s2 в любом случае будут сопутствовать потери не меньшие, чем правилу s1 и, следовательно, s2 можно исключить из рассмотрения. Точки, отвечающие правиламs1 , s2 , . . . , si , .
. . , sj , и их выпуклая оболочка L = co, {l(s1 ), l(s2 ), l(s3 ), . . . , l(si ), . . . , l(sj )}, представлены на рис. 2. Из сказанного следует, что нас могут интересовать лишь правила si и sjкоторым на рис. 2 соответствуют точки l(si ) и l(sj ), для которых нет других точек, доминирующих над ними, расположенных левее их и ниже.Если pi и pj — вероятности, с которыми будут применяться правила si и sj , pi + pj = 1, тоточка l = pi l(si )+pj l(sj ), представляющая рандомизированное правило se, согласно которому свероятностью pi применяется правило si и с вероятностью pj — правило sj , лежит на прямой,соединяющей l(si ) и l(sj ), причем — между точками l(si ) и l(sj ).
Ожидаемые маргинальныериски, сопутствующие правилу se, даются равенствамиEL1 (es) = pi L1 (si ) + pj L1 (sj ) при ϑ = ϑ1 ,EL2 (es) = pi L2 (si ) + pj L2 (sj ) при ϑ = ϑ2 ,(8.8)1 Остальные из N q − 6, как и l(s ), лежат в пятиугольнике L = co{l(s ) . . . , l(s q )} и не показаны, поскольку не влияют на41Nвыбор оптимального правила.39а вероятности pi , pj определяются как решение линейных уравнений EL1 (es) = EL2 (es),p1 + p2 = 1 при условии p1 > 0, p2 > 0.Если точки, представляющие доминирующие правила, не могут быть выделены априори (как l(si ) и l(sj ) на рис. 2), то следует рассматривать рандомизированные правила,в которых учитываются все N q чистых правил.
Понятно, что, например, множество точек на рис. 2, соответствующих всем рандомизированным правилам, является выпуклойоболочкой L = co{l(s1 ), . . . , l(sN q )} = {λ1 l(s1 ), . . . , λN q l(sN q )}, l(s1 ) > 0, . . . , l(sN q ) > 0,l(s1 ) + · · · + l(sN q ) = 1, натянутой на l(s1 ), . . . , l(sN q ). При этом важно отметить что множество L точек, представляющих все рандомизированные правила, выпукло и замкнуто вR2 .2. Минимаксное правило решения. Рассмотрим минимаксное правило действия s+ ,минимизирующее максимальный риск среди Li (s), i = 1, .
. . , k в (8.7) на множестве S всехизвестных правилmax Li (s+ ) = min max Li (s).(8.9)s∈S 16i6k16i6kЕсли семейство множеств U (C) = {l = (L1 , . . . , Lk ) ∈ Rk , max (Li ) 6 c}, c ∈ R1 , см. рис.16i6k2, то правило s+ ∈ S определяется как соответствующее точке l(s+ ) ∈ U (c+ ), где c+ — минимальное значение c ∈ R1 , при котором l(s+ ) ∈ U (c), c+ = min{c ∈ R1 , {l(s), s ∈ S}∩U (c) 6= ∅}.Минимальный риск max Li (s+ ) = c+ .16i6kПусть рандомизированное правило se состоит из чистых правил s1 , s2 , . . .
, st , применяемых свероятностями p1 , p2 , . . . , pt . Тогда ожидаемый маргинальный риск, связанный с применениемse в состоянии ϑi , равенELi (es) =tXLi (sj )pj =t XNXl(ϑi , dm )psj (dm |ϑi )pj ,i = 1, . . . , k.(8.10)j=1 m=1j=1Минимаксное рандомизированное правило se∗ , минимизирующее максимальный ожидаемый маргинальный риск среды ELi (es), i = 1, .
. . , k, в (8.10) определим условиемmax ELi (es+ ) = min max ELi (es),16i6k(8.11)e 16i6kse∈Sв котором Se — класс всех рандомизированных правил. Минимаксное рандомизированное правило se+ определится как соответствующее точке l(es+ ) ∈ U (ec+ ),где ec+ — минимальное значение c ∈ R1 , при котором L ∩ U (c) 6= ∅,+c = min{c ∈ R1 , L ∩ U (c) 6= ∅}; минимальный ожидаемый риск max ELi (es+ ) = ec+ .16i6kТак как {l(s), s ∈ S} = {l(s1 ), . . . , l(sN q )} ⊂ L = co{l(s1 ), . . . , l(sN q )}, то в любом случаеec+ 6 c+ см.
рис. 3, поэтому минимаксным называется рандомизированное правило se+ , азадача (8.9) и правило s+ , доминируемое se+ , обычно не рассматриваются.Согласно равенствам (8.8) вероятности p∗i , p∗j , определяющие искомое рандомизированное правило se+ на рис. 2 удовлетворяют системе линейных уравненийec+ = p∗i L1 (si ) + p∗j L1 (sj ) = p∗i L2 (si ) + p∗j L2 (sj ), p∗1 + P2∗ = 1 (при условии p∗i > 0, p∗j > 0).+++++На рис. 3 приведены примеры ситуаций, в которых c+1 = ce1 , c2 < ce2 и c3 = ce3 .3. Байесовское правило решения. Байесовское правило применяется в случае, когда состояние природы ϑ случайно и известны априорные вероятности состояния природыp(ϑ1 ), .
. . , p(ϑk ). Байесовским называется правило решения s∗ (называемое также бейесовской стратегией), минимизирующее ожидаемый байесовский риск∗L(s ) =kXi=1∗Li (s )p(ϑi ) =N XkXt=1 i=140l(ϑi , dt )ps (dt |ϑi )p(ϑi ).(8.12)+ +Рис. 3. Минимальные риски c+c+1 , c2 , c3 . Риск e2 , соответствующий рандомизированному правилу, основанному++на чистых правилах s1 , s2 , ec2 < c2 .Рис. 4. Байесовское правило s∗ отвечает точке l(s∗ ), через которую проходит прямая L1 p1 + L2 p2 = constпри значении const, равном ожидаемому байесовскому риску L.
Прямая L1 p1 + L2 p2 = ec+ отвечает апри+орным вероятностям состояний природы p+,p,прикоторыхбайесовскийрискмаксималени совпадает с12минимаксным ec+ .Рассмотрим графическое решение задачи (8.12) в случае Θ = {ϑ1 , ϑ2 }. Определим на плоскости {(L1 , L2 )} семейство прямых p(ϑ1 )L1 + p(ϑ2 )L2 = const, p(ϑ1 ) + p(ϑ2 ) = 1. Очевидно,байесовское правило s∗ соответствует первой точке пересечения прямой при ее движении отначала координат и выпуклого множества L, как это показано на рис. 4, где p1 = p(ϑ1 ) иp2 = p(ϑ2 ), отмечена точка l(s∗ ), соответствующая байесовскому правилу s∗ ∈ S, и значение L байесовского риска, равного значению const для прямой семейства, проходящей черезточку l(s∗ ), где s∗ — байесовское правило, при котором L(s∗ ) в (8.11) равно минимальномузначению const = L = p(ϑ1 )L1 + p(ϑ2 )L2 при L1 = L2 = L, l(s∗ ) = (L, L).Таким образом сформулировано определение байесовского правила и показано, как егонайти.
Однако существует другой способ отыскания байесовского правила, не требующийрассмотрения всех правил из S. Мы получим этот способ несколько позже, а сейчас заметим,что минимаксное (рандомизированное) правило может быть получено как частный случай байесовского, если подобрать априорное распределение вероятностей состояний природытак, чтобы соответствующий ожидаемый риск (8.12) оказался максимальным и равнымминимаксному 1 , см. рис. 4, задачу (8.11), рис. 2.4. Байесовская стратегия в случае невозможности наблюдений над природой.Если задано априорное распределение вероятностей состояний природы p(ϑ1 ), . . . , p(ϑk ), нонаблюдения над природой невозможны, то ожидаемый риск, связанный с действием dj ра1 Такподобранное распределение вероятностей состояний природы называется наименее благоприятным.41венL(dj ) =kXl(ϑi , dj )p(ϑi )(8.13)i=1и байесово действие определится из условияL(dj ) ∼ min .(8.14)jРассмотрим плоскость {(p, L)} и зададим распределение состояний в виде p(ϑ1 ) = p,p(ϑ2 ) = 1 − p, где p — параметр, 0 6 p 6 1.
Тогда в зависимости от значения p байесовское действие будет d1 , d2 или d3 , как то показано на рис. 5, где представлены три прямые(p, L), l(ϑ1 , dj )p+l(ϑ2 , dj )(1−p) = L, j = 1, 2, 3, определяющие зависимости ожидаемых рисковL(d1 , p), L(d2 , p) и L(d3 , p) обусловленные действиями d1 , d2 и d3 от параметра p. Для каждогозначения p байесовским будет действие di(p) , для которого L(di(p) , p) = min L(dj ) , см.
условиеj(8.14) и рис. 5. В точках пересечения прямых возможна рандомизация.Рис. 5. При p = p0 байесово действие есть d3 , при p1 есть d1 , p ∈ [0, 1] — выделенная кусочно-линейная кривая.Заметим, что в рассмотренной ситуации определяется не правило решения, а непосредственно байесовское действие. Однако оказывается, что и в общем случае байесовского правила решения, когда производится наблюдение над природой, задача может быть сведена ктолько что рассмотренной, если пересчитать априорное распределение состояний природы вусловное апостериорное, учитывающее наблюдения над природой.5.
Байесово действие. Рассмотрим вместе с правилом s соответствующее разбиение sмножества наблюденийX = D1 +, . . . , DN , Dj = {x ∈ X, s(x) = dj } j = 1, . . . , N.Согласно (8.15) вероятность действия dm в состоянии природы ϑj равнаXps (dm |ϑj ) = P ({x ∈ Dm |ϑj }) =p(x|ϑj ), ; m = 1, . . . , N, j = 1, . . . , k,(8.15)(8.16)x∈Dmи выражение (8.12) для ожидаемого риска, свойственного правилу s ∈ S может быть переписано в видеL(s) =k XNXl(ϑi , dt )ps (dt |ϑi )p(ϑi ) =i=1 t=1N XkXt=1 i=142l(ϑi , dt )p(ϑi )Xx∈Dtp(x|ϑi ).(8.17)Как следует из (8.16) и (8.17), для того, чтобы риск (8.17) был минимальным, необходимои достаточно, чтобы в разбиении (8.15)kPDt ⊂ x ∈ X,l(ϑi , dt )p(x|ϑi )p(ϑi ) 6i=1(8.18)kP6l(ϑi , dj )p(x|ϑi )p(ϑi ), j = 1, .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
