Работа № 6. Различение двух простых гипотез

1. Различение при фиксированном объеме наблюдений

Пусть имеется совокупность наблюдений x = ( х₁, ..., х_n), относительно которой имеется два предположения (гипотезы):

H₀: x распределена по закону p₀(х);

H₁: х распределена по закону p₁(x) (если х - непрерывна, то p₀(х), p₁(х)- плотности, если дискретна - вероятности).

По х требуется принять одно из двух решений: или “верна Н₀” (это решение обозначим 0) или “верна Н₁” (решение 1). Ясно, что дело сводится к определению решающей функции d(х), имеющей два значения 0 и 1, т.е. к определению разбиения Г= (Г₀, Г₁) пространства Х всех возможных значений х:

d(x) =

При использовании любой решающей функции d(х) возможны ошибки двух типов:

ошибка 1-го рода: принятие Н₁ при истинности Н₀,

ошибка 2-го рода: принятие Н₀ при истинности Н_1.

любая решающая функция характеризуется двумя условными вероятностями

a = Р( принять Н₁ | Н₀) = , (1)

b = Р( принять Н₀ | Н₁) = ,

которые называются вероятностями ошибок 1-го и 2-го рода соответственно. Хотелось бы иметь a и b близкими к нулю, но из (1) ясно, что, вообще говоря, если одна из них уменьшается, например, a (за счет уменьшения Г₁), то другая, b, увеличивается (за счет увеличения Г₀; Г₀ÈГ₁ = Х, Г₀ \ Г₁ = Æ). Существуют различные подходы к определению оптимального правила.

Байесовский подход

Будем считать, что многократно сталкиваемся с проблемой выбора между Н₀ и Н₁; в этом случае можно говорить о частоте, с которой истинна Н₀ (или Н₁) , т.е. о том, что истинность Н₀ (или Н₁) - событие случайное, причем вероятность события, когда верна Н₀ (или Н₁),

Р(Н₀) = q₀ , Р(Н₁) = q₁ , q₀ + q₁ = 1.

Кроме того, будем считать, что за каждую ошибку 1-го рода платим штраф W₀, а за ошибку 2-го рода - штраф W₁. Если пользуемся правилом d (с разбиением Г), то средний штраф от однократного использования его

R(Г) = q₀×a(Г)×W₀ + q₁×b(Г)×W₁ .

Назовем правило d (соответственно разбиение Гº (Г₀, Г₁)) оптимальным (в байесовском смысле), если

R(Г) =

Оказывается (и это нетрудно доказывается) оптимальным является правило, для которого область Г₁ такова:

Г₁ = . (2)

В частном случае, если W₀ = W₁ = 1, R(Г) имеет смысл безусловной вероятности ошибки, а соответствующее оптимальное правило называется правилом “идеального наблюдателя” или правилом Зигерта- Котельникова.

Подход Неймана-Пирсона

Оптимальным (в смысле Неймана-Пирсона) назовем такое правило, которое имеет заданную вероятность ошибки первого рода, а вероятность ошибки второго рода при этом минимальна. Формально, правило d (соответственно разбиение Г) оптимально, если

b(Г) = ,

при условии a(Г’) £ a₀ .

Оказывается, для оптимального правила область Г₁ такова:

Г₁ = , (3)

где h определяется из условия

a(h) =a₀ (4)

Замечание. Приведенный результат есть частный случай фундаментальной леммы Неймана - Пирсона, справедливый при условии, что существует корень h уравнения (4). Это условие не является существенно ограничивающим: действительно, при изменении h от 0 до ¥ область Г₁ уменьшается, и a(h) уменьшается от 1 до 0. Можно, однако, привести примеры, когда a(h) имеет скачки, и тогда (3) требует некоторого простого уточнения.

Пример 1. Различение гипотез о среднем нормальной совокупности.

На вход канала связи подается сигнал S, который может принимать два значения:

S = 0 (сигнала нет), S = а ¹ 0 (сигнал есть).

В канале действует аддитивная случайная ошибка e, нормально распределенная со средним Мe = 0 и дисперсией De = s²; результатом является х^¢= S + e. Измерения повторяются n раз, так что на выходе имеются наблюдения (х₁, ..., х_n) º х, по которым нужно решить, есть ли сигнал (H₁: S = a) или нет (H₀: S = 0). Требуется построить решающее правило d, имеющее заданную вероятность a₀ ошибки первого рода (вероятность ложной тревоги)

a º Р(принять Н₁½Н₀) = a₀

при минимальном значении вероятности b ошибки второго рода (вероятности пропуска).

считая ошибки независимыми, с учетом того, есть ли сигнал (Н₁) или его нет (Н₀), имеем

р₁(х) = , р₀(х) = .

В соответствии с (3), решение о наличии сигнала нужно принять (принять Н₁), если х попадает в Г₁, где

Г₁= = = .

Итак, если

, (5)

то принимается Н₁; в противном случае принимается Н₀. Порог h₂ определяется из (4):

. a(h₂) = P{пр. Н₁ / Н₀} = = a₀.

если верна Н₀, то распределена нормально со средним 0 и дисперсией ns², и потому последнее условие принимает вид:

a(h₂)= 1 - Ф = a₀ ,

откуда

h₂ = s Q(1 - a₀), (6)

где Ф(х) - функция нормального N(0, 1) распределения; Q(1 - a₀) - квантиль порядка (1 - a₀) этого распределения.

Определим вероятность b ошибки второго рода для процедуры (5) с порогом (6). Если верна Н₁, то распределена нормально со средним na и дисперсией ns², и потому

b = P(пр.Н₀ /H₁)= P { < h₂ /H₁} = Ф = Ф(Q - ).

Положим, а = 0.2, s = 1.0 (т.е. ошибка s в 5 раз больше сигнала а), n = 500, a = 10^-2 ; при этом

h₂ = 1 × × 2.33 = 52, b = Ф(2.33 - 0.2 × 22.4) = Ф(-2.14) = 1.6 × 10^-2;

как видим, вероятности ошибок невелики: порядка 10^-2.

Моделирование. Проиллюстрируем этот пример статистически, с помощью пакета. Сгенерируем две выборки объема n = 500 в соответствии с гипотезами Н₀ и Н₁. Для обеих выборок построим гистограммы (в диапазоне от -2.5 до 2.5 с 20 интервалами) и убедимся, что “на глаз” различие не заметно. Определим сумму наблюдений по каждой выборке и применим решающее правило (5) с порогом (6). Убедимся, что в обоих случаях решающее правило дает правильное решение. Все действия, необходимые для этого примера, здесь не описываются, поскольку они использовались в предыдущих работах.

2. Последовательное различение двух простых гипотез (последовательный анализ Вальда)

Задачу различения двух простых гипотез поставим иначе. Объем наблюдений фиксировать не будем. рассмотрим правило различения, которое имело бы заданные уровни вероятностей ошибок и при этом требовало минимальное в среднем число наблюдений. Во многих практических ситуациях требование скорейшего принятия решения является весьма существенным, например, испытания надежности, выборочный контроль, принятие решения о наличии цели в радиолокации, испытания экономической системы и т.д.

Пусть х₁, ..., х_n, ... - последовательность независимых, одинаково распределенных случайных величин. Относительно распределения имеется два предположения:

Н₀ : наблюдения распределены с плотностью р₀ (х),

Н₁ : наблюдения распределены с плотностью р₁(х); (если наблюдения дискретны, то р₀ (х), р₁(х) - вероятности).

После каждого наблюдения предоставляется выбор из трех возможных решений:

- принять Н₀ и закончить наблюдения,

- принять Н₁ и закончить наблюдения,

- не принимать ни одну из гипотез и продолжить наблюдения.

Формулировка решающего правила (последовательный критерий отношения вероятностей). Рассмотрим следующую процедуру d. Зафиксируем два порога: верхний А и нижний В: 0 < В < 1 < А. Пусть уже получено n наблюдений (n = 1, 2, ...); обозначим

L_n(x₁, ..., x_n) =

- отношение правдоподобия. Процедура d^* на очередном шаге n такова:

если L_n(x₁, ..., x_n) ³ A, то принимается Н₁ и наблюдения заканчиваются;

если L_n(x₁, ..., x_n) £ В, то принимается Н₀ и наблюдения заканчиваются; (7)

если В< L_n(x₁, ..., x_n) < А, то делается еще одно наблюдение.

Очевидно, эта процедура характеризуется некоторыми вероятностями ошибок и средними числами наблюдений:

a = a(А, В) = Р{ пр. Н₁ /Н₀}, b = b (А, В) = Р{пр. Н₀ /H₁},

n₀ =n₀(А, В) = М(n /H₀), n₁ = n₁(А, В) = М(n /H₁),

где n - число наблюдений (случайная величина) до принятия окончательного решения. Если a₀ и b₀ заданы, то в принципе можно найти пороги А и В, т.е. правило d^*. Оказывается, такое правило обладает свойством оптимальности.

Теорема (Вальд и Вольфовиц, 1948 г.). Среди всех решающих правил d¢, обладающих свойством

a(d^¢) £ a₀ , b(d^¢) £ b₀ ,

последовательный критерий отношения вероятностей d^* имеет минимальные средние числа наблюдений:

n₀ (d*) £ n₀(d¢), n₁ (d*) £ n₁(d¢),

Заметим, что минимальность достигается сразу по двум характеристикам. (см. [7]).

Основные формулы. Легко показать справедливость неравенств, связывающих пороги с вероятностями ошибок:

А £ , В ³ .

Вместо неизвестных значений А и В возьмем их приближенные значения А^¢ и В^¢:

А » А^¢ = , В » В^¢ = . (8)

Конечно, при таком выборе порогов будем иметь не a и b, а некоторые a^¢ и b^¢. Оказывается, последние несущественно меньше требуемых a и b.

для средних чисел наблюдений справедливы следующие приближенные (обычно с хорошей точностью) формулы:

n₀ º М(n /H₀) » ,

n₁ º М(n /H₁) » , (9)

где ,

М(z /H_i) = , i = 0, 1.

Функция мощности и среднее число наблюдений, как функции параметра. Пусть х₁, ..., х_n, ... - последовательность независимых наблюдений, подчиняющихся закону р(х/a), зависящему от параметра а. проверяется гипотеза Н₀ : а = а₀ при альтернативе Н₁ : а = а₁ . Для различения гипотез используем последовательный критерий отношения вероятностей с порогами А(a, b) и В(a, b). В реальных задачах весьма часто альтернатива Н₁ (т.е. значение параметра а₁) выбирается условно, и наблюдения могут подчиняться закону р(х/a) при некотором значении а, не равном а₀ или а₁, и потому необходимо знать характеристики правила при произвольном а.

функция мощности W(a) = P{откл. Н₀ /a} определяется следующим образом (см. [2], [7]):

W(a) » , (10)

где h находится из уравнения

. (11)

W(a) можно вычислить параметрически, зная W(h) и a(h) по (10) и (11). Среднее число наблюдений

n(a) = М(n /a) » , (12)

где М(z /a) = .

3. Задание

Задача 1. Измерение на выходе радиолокационного приемника подчиняется распределению Релея, которое имеет плотность

p(x/s) = , x³0.

Если отраженного сигнала нет, то параметр s = s₀; если сигнал есть, то s = s₁ ³ s₀.

1. По выборке объема n построить процедуру Неймана - Пирсона обнаружения отраженного сигнала. Объем n выбрать так, чтобы обеспечить заданные вероятности a и b ошибок первого и второго рода. Смоделировать две выборки: при s = s₀ и при s =s₁. применить к ним построенную процедуру и выяснить, верные ли решения принимаются.

2. Построить последовательную процедуру обнаружения отраженного сигнала. Определить среднее число наблюдений и функцию мощности как функцию параметра s. Смоделировать процесс наблюдения и принятия решения в случаях, когда отраженный сигнал есть и когда его нет. Изобразить его графически (по одной реализации). Исходные данные см. в табл. 1.

Сравнить число наблюдений для процедур 1 и 2.

Таблица 1.

Задача 2. Радиоактивные вещества А и В излучают пуассоновские потоки частиц интенсивности l_А сек^-1 и l_В сек^-1, l_А ¹ l_В. В закрытой капсуле находится одно из этих веществ, но неизвестно, какое именно.

1. Определить необходимое время Т наблюдения излучения и статистическую процедуру (Неймана - Пирсона) определения вещества в капсуле. Процедура должна иметь заданные вероятности a и b ошибок первого и второго рода. Смоделировать измерения для двух случаев вещества (А и В), применить к ним процедуру и выяснить, верные ли решения принимаются.

2. Построить последовательную процедуру определения вещества. Определить среднее время наблюдения и функцию мощности как функцию параметра. Смоделировать процесс наблюдения и принятия решения в двух случаях (по одной реализации). Изобразить его графически. Исходные данные см. в табл. 2.

Сравнить времена наблюдения для процедур 1 и 2.

Таблица 2.

Задача 3. Петр утверждает, что умеет бросать монету так, что вероятность герба Р(Г) = р; Павел утверждает, что это невозможно и что Р(Г) = р₀ = 0.5.

1. Определить необходимое число бросаний и статистическую процедуру (Неймана - Пирсона) определения, кто из них прав. Обеспечить заданные вероятности a и b (a = b) ошибок первого и второго рода. Смоделировать две выборки при р = р₀ и р = р₁, применить к ним процедуру и выяснить, верные ли решения принимаются.

2. Построить последовательную процедуру разрешения спора. Определить среднее число наблюдений и функцию мощности, как функцию параметра р₁. Смоделировать процесс наблюдения и принятия решения в двух случаях (по одной реализации). Изобразить его графически. Исходные данные см. в табл. 3.

Сравнить число бросаний для процедур 1 и 2.

Таблица 3.

20