Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла

Лабораторная работа №6

по курсу «Теория вероятностей

и математическая статистика»

Выполнил : студент группы А-13-03
Орлов Алексей Васильевич

Москва 2006

Различение двух простых гипотез

1. Различение при фиксированном объеме наблюдений

Пусть имеется совокупность наблюдений x = ( х₁, ..., х_n), относительно которой имеется два предположения (гипотезы):

H₀: x распределена по закону p₀(х);

H₁: х распределена по закону p₁(x) (если х - непрерывна, то p₀(х), p₁(х)- плотности, если дискретна - вероятности).

По х требуется принять одно из двух решений: или “верна Н₀” (это решение обозначим 0) или “верна Н₁” (решение 1). Ясно, что дело сводится к определению решающей функции (х), имеющей два значения 0 и 1, т.е. к определению разбиения Г= (Г₀, Г₁) пространства Х всех возможных значений х:

(x) =

При использовании любой решающей функции (х) возможны ошибки двух типов:

ошибка 1-го рода: принятие Н₁ при истинности Н₀,

ошибка 2-го рода: принятие Н₀ при истинности Н_1.

любая решающая функция характеризуется двумя условными вероятностями

 = Р( принять Н₁  Н₀) = , (1)

 = Р( принять Н₀  Н₁) = ,

которые называются вероятностями ошибок 1-го и 2-го рода соответственно. Хотелось бы иметь  и  близкими к нулю, но из (1) ясно, что, вообще говоря, если одна из них уменьшается, например,  (за счет уменьшения Г₁), то другая, , увеличивается (за счет увеличения Г₀; Г₀Г₁ = Х, Г₀ \ Г₁ = ). Существуют различные подходы к определению оптимального правила.

Байесовский подход

Будем считать, что многократно сталкиваемся с проблемой выбора между Н₀ и Н₁; в этом случае можно говорить о частоте, с которой истинна Н₀ (или Н₁) , т.е. о том, что истинность Н₀ (или Н₁) - событие случайное, причем вероятность события, когда верна Н₀ (или Н₁),

Р(Н₀) = q₀ , Р(Н₁) = q₁ , q₀ + q₁ = 1.

Кроме того, будем считать, что за каждую ошибку 1-го рода платим штраф W₀, а за ошибку 2-го рода - штраф W₁. Если пользуемся правилом  (с разбиением Г), то средний штраф от однократного использования его

R(Г) = q₀(Г)W₀ + q₁(Г)W₁ .

Назовем правило  (соответственно разбиение Г (Г₀, Г₁)) оптимальным (в байесовском смысле), если

R(Г) =

Оказывается (и это нетрудно доказывается) оптимальным является правило, для которого область Г₁ такова:

Г₁ = . (2)

В частном случае, если W₀ = W₁ = 1, R(Г) имеет смысл безусловной вероятности ошибки, а соответствующее оптимальное правило называется правилом “идеального наблюдателя” или правилом Зигерта- Котельникова.

Подход Неймана-Пирсона

Оптимальным (в смысле Неймана-Пирсона) назовем такое правило, которое имеет заданную вероятность ошибки первого рода, а вероятность ошибки второго рода при этом минимальна. Формально, правило  (соответственно разбиение Г) оптимально, если

(Г) = ,

при условии (Г’)  ₀ .

Оказывается, для оптимального правила область Г₁ такова:

Г₁ = , (3)

где h определяется из условия

(h) =₀ (4)

Замечание. Приведенный результат есть частный случай фундаментальной леммы Неймана - Пирсона, справедливый при условии, что существует корень h уравнения (4). Это условие не является существенно ограничивающим: действительно, при изменении h от 0 до  область Г₁ уменьшается, и (h) уменьшается от 1 до 0. Можно, однако, привести примеры, когда (h) имеет скачки, и тогда (3) требует некоторого простого уточнения.

Пример 1. Различение гипотез о среднем нормальной совокупности.

На вход канала связи подается сигнал S, который может принимать два значения:

S = 0 (сигнала нет), S = а  0 (сигнал есть).

В канале действует аддитивная случайная ошибка , нормально распределенная со средним М = 0 и дисперсией D = ²; результатом является х^= S + . Измерения повторяются n раз, так что на выходе имеются наблюдения (х₁, ..., х_n)  х, по которым нужно решить, есть ли сигнал (H₁: S = a) или нет (H₀: S = 0). Требуется построить решающее правило , имеющее заданную вероятность ₀ ошибки первого рода (вероятность ложной тревоги)

  Р(принять Н₁Н₀) = ₀

при минимальном значении вероятности  ошибки второго рода (вероятности пропуска).

считая ошибки независимыми, с учетом того, есть ли сигнал (Н₁) или его нет (Н₀), имеем

р₁(х) = , р₀(х) = .

В соответствии с (3), решение о наличии сигнала нужно принять (принять Н₁), если х попадает в Г₁, где

Г₁= = = .

Итак, если

, (5)

то принимается Н₁; в противном случае принимается Н₀. Порог h₂ определяется из (4):

. (h₂) = P{пр. Н₁ / Н₀} = = ₀.

если верна Н₀, то распределена нормально со средним 0 и дисперсией n², и потому последнее условие принимает вид:

(h₂)= 1 - Ф = ₀ ,

откуда

h₂ =  Q(1 - ₀), (6)

где Ф(х) - функция нормального N(0, 1) распределения; Q(1 - ₀) - квантиль порядка (1 - ₀) этого распределения.

Определим вероятность  ошибки второго рода для процедуры (5) с порогом (6). Если верна Н₁, то распределена нормально со средним na и дисперсией n², и потому

 = P(пр.Н₀ /H₁)= P {  h₂ /H₁} = Ф = Ф(Q - ).

Положим, а = 0.2,  = 1.0 (т.е. ошибка  в 5 раз больше сигнала а), n = 500,  = 10^-2 ; при этом

h₂ = 1   2.33 = 52,  = Ф(2.33 - 0.2  22.4) = Ф(-2.14) = 1.6  10^-2;

как видим, вероятности ошибок невелики: порядка 10^-2.

Моделирование. Проиллюстрируем этот пример статистически, с помощью пакета. Сгенерируем две выборки объема n = 500 в соответствии с гипотезами Н₀ и Н₁. Для обеих выборок построим гистограммы (в диапазоне от -2.5 до 2.5 с 20 интервалами) и убедимся, что “на глаз” различие не заметно. Определим сумму наблюдений по каждой выборке и применим решающее правило (5) с порогом (6). Убедимся, что в обоих случаях решающее правило дает правильное решение.

Результаты эксперимента.

Применяя решающее правило, получаем:

Для первой выборки: = 2.988 < h₂ = 52 => принимаем гипотезу Н₀,

т.е. S=0.

Для второй выборки: = 130.53 > h₂ = 52 => принимаем гипотезу H₁,

т.е. S=a=0.2.

2. Последовательное различение двух простых гипотез (последовательный анализ Вальда)

Задачу различения двух простых гипотез поставим иначе. Объем наблюдений фиксировать не будем. рассмотрим правило различения, которое имело бы заданные уровни вероятностей ошибок и при этом требовало минимальное в среднем число наблюдений. Во многих практических ситуациях требование скорейшего принятия решения является весьма существенным, например, испытания надежности, выборочный контроль, принятие решения о наличии цели в радиолокации, испытания экономической системы и т.д.

Пусть х₁, ..., х_n, ... - последовательность независимых, одинаково распределенных случайных величин. Относительно распределения имеется два предположения:

Н₀ : наблюдения распределены с плотностью р₀ (х),

Н₁ : наблюдения распределены с плотностью р₁(х); (если наблюдения дискретны, то р₀ (х), р₁(х) - вероятности).

После каждого наблюдения предоставляется выбор из трех возможных решений:

- принять Н₀ и закончить наблюдения,

- принять Н₁ и закончить наблюдения,

- не принимать ни одну из гипотез и продолжить наблюдения.

Формулировка решающего правила (последовательный критерий отношения вероятностей). Рассмотрим следующую процедуру . Зафиксируем два порога: верхний А и нижний В: 0 < В < 1 < А. Пусть уже получено n наблюдений (n = 1, 2, ...); обозначим

L_n(x₁, ..., x_n) =

- отношение правдоподобия. Процедура ^* на очередном шаге n такова:

если L_n(x₁, ..., x_n)  A, то принимается Н₁ и наблюдения заканчиваются;

если L_n(x₁, ..., x_n)  В, то принимается Н₀ и наблюдения заканчиваются; (7)

если В L_n(x₁, ..., x_n) < А, то делается еще одно наблюдение.

Очевидно, эта процедура характеризуется некоторыми вероятностями ошибок и средними числами наблюдений:

 = (А, В) = Р{ пр. Н₁ /Н₀},  =  (А, В) = Р{пр. Н₀ /H₁},

n₀ =n₀(А, В) = М( /H₀), n₁ = n₁(А, В) = М( /H₁),

где  - число наблюдений (случайная величина) до принятия окончательного решения. Если ₀ и ₀ заданы, то в принципе можно найти пороги А и В, т.е. правило ^*. Оказывается, такое правило обладает свойством оптимальности.

Теорема (Вальд и Вольфовиц, 1948 г.). Среди всех решающих правил , обладающих свойством

(^)  ₀ , (^)  ₀ ,

последовательный критерий отношения вероятностей ^* имеет минимальные средние числа наблюдений:

n₀ (*)  n₀(), n₁ (*)  n₁(),

Заметим, что минимальность достигается сразу по двум характеристикам. (см. [7]).

Основные формулы. Легко показать справедливость неравенств, связывающих пороги с вероятностями ошибок:

А  , В  .

Характеристики

Тип файла документ

Документы такого типа открываются такими программами, как Microsoft Office Word на компьютерах Windows, Apple Pages на компьютерах Mac, Open Office - бесплатная альтернатива на различных платформах, в том числе Linux. Наиболее простым и современным решением будут Google документы, так как открываются онлайн без скачивания прямо в браузере на любой платформе. Существуют российские качественные аналоги, например от Яндекса.

Будьте внимательны на мобильных устройствах, так как там используются упрощённый функционал даже в официальном приложении от Microsoft, поэтому для просмотра скачивайте PDF-версию. А если нужно редактировать файл, то используйте оригинальный файл.

Файлы такого типа обычно разбиты на страницы, а текст может быть форматированным (жирный, курсив, выбор шрифта, таблицы и т.п.), а также в него можно добавлять изображения. Формат идеально подходит для рефератов, докладов и РПЗ курсовых проектов, которые необходимо распечатать. Кстати перед печатью также сохраняйте файл в PDF, так как принтер может начудить со шрифтами.

Список файлов лабораторной работы