Лекции по методам математической статистики (1162373), страница 11
Текст из файла (страница 11)
. . , N , t = 1, . . . , N.i=1Соответственно, по наблюдению x следует принять решение dt , если x ∈ Dt ,t = 1, . . . , N , (8.18). Если с каждым наблюдением будет связано такое байесовское действие, то ожидаемый риск (8.17) и правило s, соответствующее так определенному разбиениюNPX=Dj , также будут байесовскими.j=1Покажем, что решение этой задачи сводится к решению предыдущей с помощью байесовского пересчета априорных вероятностей в апостериорные, при условии, что при наблюдениинад природой получено значение x ∈ X. Решение dt при условии, что наблюдено x, приводитк условному ожидаемому рискуL( dt |x) =kXl(ϑi , dt )p(ϑi |x) =i=1kXl(ϑi , dt )i=1p(ϑi )p(x|ϑi ).kPp(ϑj )p(x|ϑj )(8.19)j=1Сравнивая правую часть в (8.19) с левой в (8.18), нетрудно видеть, что условие (8.18),определяющее байесовское действие dt , эквивалентно следующему условию: при наблюденииx ∈ Dt принимается решение dt , для которого условный ожидаемый риск L(dt |x) (8.19) минимален.
Но выражение (8.19) совпадает с (8.13), если в последнем априорную вероятностьp(ϑj ) заменить на апостериорную p(ϑj |x), j = 1, . . . , k.Одновременно, разумеется, определено и байесовское правило s. Однако, s теперь определено в терминах байесовских действий: в связи с каждым наблюдением x принимается решение о байесовском действии d. Эти действия и определяют байесовское правило s : X → D.Рассмотрим произвольное правило s. Согласно (8.19), правилу s(·) при условии, что наблюдено x, сопутствует условный ожидаемый рискL(s(x)|x) =kXl(ϑi , s(x))p(ϑi |x) =i=1kXl(ϑi , s(x))i=1p(ϑi )p(x|ϑi )kP.(8.20)p(ϑj )p(x|ϑj )j=1Покажем, что ожидаемый риск L(s) (8.12), сопутствующий правилу s, может быть получениз (8.20) усреднением по всем (случайным) наблюдениям ξ = x ∈ X, т.е. чтоL(s) = EL(s(ξ)|ξ).Действительно, математическое ожидание E можно представить в виде E =(8.21)kPp(ϑi )Ei , где Eii=1— оператор условного математического ожидания при условии, что наблюдения x распределены согласно p(x|ϑi ), x ∈ X, или, иначе говоря, Ei — оператор условного математическогоожидания при условии, что природа находится в состоянии ϑi .
Пусть Dj = {x : s(x) = dj } иχDj (x) — индикаторная функция Dj , так чтоPPP {s(x) = dj |ϑi )} =p(x|ϑi ) =χDj (x)p(x|ϑi ),x∈Djx∈X(8.22)i = 1, . . . , k, j = 1, . . . , N.43Теперь доказательство следует из цепочки равенств:EL(s(ξ)|ξ) =kXp(ϑi ) EiNXi=1=k XNXN XXp(ϑi )X=p(x|ϑi )χDj (x)Ls (x) =xχDj (x)kXj=1 x∈X=χDj L(s(x)|x)j=1i=1 j=1=!l(ϑi , s(x))p(ϑi )p(x|ϑi ) =i=1N XkXl(ϑi , dj )p(dj |ϑi )p(ϑi ) = L(s).j=1 i=1где использованы равенства (8.22) и l(ϑi , s(x)) = l(ϑi , dj ),x ∈ Dj , j = 1, . . . , N .Приведем теперь формальное доказательство того, что последовательность байесовскихдействий действительно определяет байесовское правило решения (байесовскую стратегию).Теорема.Пусть K — класс правил s, таких, что решение s(x) = dt принимается для x ∈ X, удовлетворяющих неравенствамL(dt |x) 6 L(dj |x), j = 1, .
. . , N,где L(dt |x) — условная потеря, определенная в (8.19). Тогда для всякого правила s ∈ Kвыполняется неравенство L(s) 6 L(s0 ), где s0 — произвольное правило. Иными словами всякоеправило из K является байесовским.Доказательство. Обозначим l(x) = min L(dt |x). Тогда El(ξ) = EL(s(ξ)|ξ) при s ∈ K. Дейtствительно,El(ξ) = ENXχDj (x) min L(dt |ξ) = Etj=1=EXXχDj L(s(ξ)|ξ) =jχDj L(s(ξ)|ξ) = ELs(x) (x) = L(s),jгде использовано, что при x ∈ DtL(dt |x) 6 L(di |x) ⇒ l(x) = L(dt |x), s(x) = dt .Отсюда следуетL(s) = E min L(dt |ξ) 6 E min L(s∗ (ξ)|ξ) = L(s∗ ).tt6.
Байесовская классификация. Рассмотрим частный случай задачи статистическогорешения, в котором действиями d ∈ D являются решения о состоянии природы. Множестводействий в этом случае совпадает с множеством решений. Сохраним прежние обозначения:ϑ ∈ Θ — состояние природы, d ∈ D — решение о состоянии природы, принятое по наблюдениям x ∈ X над природой.Полученные ранее результаты, разумеется, справедливы и в рассматриваемом случае.
Байесовское действие теперь является байесовским решением.7. Правило решения, минимизирующая ожидаемое число ошибок. В задаче решения риск чаще всего оценивается посредством количества ошибок. Рассмотрим в этой связинекоторые характерные решающие правила.44Зададим функцию, определяющую риск потерь, условием1 i = j,l(ϑi , dj ) = 1 − δij , δij =0 i 6= j.Тогда в (8.19)Ldt (x) =Xl(ϑi , dt )p(ϑi |x) = 1 − p(ϑt |x)(8.23)iи соответственно ожидаемый риск дается равенством (8.12)L(s) =kX(1 − δij )p(dj |ϑi )p(ϑi ) =i,j=1kXp(ϑi )(1 − p(di |ϑi )).(8.24)i=1Но последнее выражение совпадает с математическим ожиданием доли ошибочных решений. Следовательно, байесовское правило решения в этом случае совпадает с правилом, минимизирующей ожидаемое число ошибок решения.По данному наблюдению x ∈ X байесовская стратегия решения предписывает принятьрешение dt , для которого условный ожидаемый риск (8.23) минимален.
Точнее, правило решения, минимизирующее среднее число ошибок, предписывает принять решение dt , если наблюденоξ = x ∈ Dt ⊂ {x ∈ X : s(x) = dt } == {x ∈ X : p(ϑt |x) > p(ϑj |x), j = 1, . . . , k}, t = 1, . . . , k.(8.25)Иными словами, речь идет о решении по максимуму апостериорной вероятности состоянияприроды ϑt : наблюдение x ∈ X относится к тому состоянию природы, которое наиболеевероятно при этом наблюдении.Согласно 25 можно также записатьDt = {x : s(x) = dt } = {x : p(ϑt |x) > p(ϑj |x), j = 1, . . . , N }.(8.26)Заметим, что вероятность верно опознать состояние природы ϑt равнаXp(x|ϑt ) = p(dt |ϑt ), t = 1, .
. . , k,P {s(ξ) = dt |ϑt } =x∈Dtи математическое ожидание доли верных решений дается равенствомP =kXp(dt |ϑt )p(ϑt ) =t=1k XXp(x|ϑt )p(ϑt ).t=1 x∈DtЕсли априорные вероятности состояний природы одинаковы, то в (8.26)Dt = {x ∈ X : p(x|ϑt ) > p(x|ϑj )}, t = 1, . . .
, k,и речь идет о решении по принципу максимума правдоподобия. Решение по принципумаксимума правдоподобия есть частный случай байесовского при функции риска потерьl(ϑi , dj ) = 1 − δij , i, j = 1, . . . , k, и равных априорных вероятностях состояний природы.45Литература1. Ю.П.Пытьев, И.А.Шишмарев. Теория вероятностей, математическая статистика иэлементы теории возможностей для физиков. Физический факультет МГУ им.М.В.Ломоносова, 2010.2.
А.И.Кибзун, Е.Р.Горяинов, А.В.Наумов, А.Н.Сиротин. Теория вероятностей и математическая статистика. Базовый курс с примерами и задачами. Физматлит, 2002.3. Г.П.Климов. Теория вероятностей и математическая статистика. Изд-во МГУ, 1983.4. А.А.Боровков. Математическая статистика. — М.: Наука, 1984.5. Леман Э. Проверка статистических гипотез.
— М.: Наука, 1979.6. Д.А.Коршунов, Н.И.Чернова. Сборник задач и упражнений по математической статистике. Новосибирск. Изд-во Института математики, 2004.7. Д.М.Чибисов, В.И.Пагурова. Задачи по математической статистике. — М.: Изд-во Моск.ун-та, 1990.Содержание1 Введение1.1 Определения . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12245Точечные оценки.2.1 Теорема Рао-Крамера. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3 Распределение ортогональных проекций нормального вектора.83.1 Ортогональный проектор. Ортогональное преобразование. . . . . . . . . . .
. . . 83.2 Распределения, связанные с нормальным. . . . . . . . . . . . . . . . . . . . . . . 103.3 Интервальные оценки нормального распределения. . . . . . . . . . . . . . . . . . 114 Оценки максимального правдоподобия135 Достаточные статистики155.1 Методы нахождения эффективных оценок. . . . . . . . . . . . . . . . . . . . . . 155.2 Методы нахождения НРМД оценок .
. . . . . . . . . . . . . . . . . . . . . . . . . 216 Линейное оценивание.6.1 Теорема Гаусса-Маркова. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.2 Задачи редукции измерений. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6.3 Синтез прибора с ограничением на уровень шума . . . . . . . . . . . . .
. . . . .222225257 Проверка статистических гипотез267.1 Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267.2 Продолжение темы проверка статистических гипотез. . . . . . . . . . . . . . . . 318 Теория статистических решений3646.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
