183675 (Теоретические основы математических и инструментальных методов экономики), страница 12

ряд наблюдений над случайной (будем далее полагать – всегда дискретной) величиной. По этим наблюдениям можно строить таблицы или гистограммы, используя значения соответствующих частот (вместо вероятностей). Такие распределения принято называть выборочными, а сам набор данных наблюдений – выборкой.

Пусть мы имеем такое выборочное распределение некоторой случайной величины X – т.е. для ряда ее значений (вполне возможно неполного, с “пропусками" некоторых допустимых) у нас есть рассчитанные нами же частоты f i .

В большинстве случаев нам неизвестен закон распределения СВ или о его природе у нас имеются догадки, предположения, гипотезы, но значения параметров и моментов (а это неслучайные величины!) нам неизвестны.

Разумеется, частоты fi суть непрерывные СВ и, кроме первой проблемы – оценки распределения X, мы имеем ещё одну – проблему оценки распределения частот.

Существование закона больших чисел, доказанность центральной предельной теоремы поможет нам мало:

• во-первых, надо иметь достаточно много наблюдений (чтобы частоты “совпали” с вероятностями), а это всегда дорого;

• во-вторых, чаще всего у нас нет никаких гарантий в том, что условия наблюдения остаются неизменными, т.е. мы наблюдаем за независимой случайной величиной.

Теория статистики дает ключ к решению подобных проблем, предлагает методы “работы” со случайными величинами. Большинство этих методов появилось на свет как раз благодаря теоретическим исследованиям распределений непрерывных величин.

Проверка статистических гипотез. Уровень значимости. Правило Неймана-Пирсона отбора критериев для простых гипотез. Критерии значимости. Доверительная область. Нормальное распределение. Критерий согласия Пирсона.

Определение 19.1. Статистической гипотезой называют гипотезу о виде неизвестного распределения генеральной совокупности или о параметрах известных распределений.

Определение 19.2. Нулевой (основной) называют выдвинутую гипотезу Н0. Конкурирующей (альтернативной) называют гипотезу Н1, которая противоречит нулевой.

Определение 19.3. Простой называют гипотезу, содержащую только одно предположение, сложной – гипотезу, состоящую из конечного или бесконечного числа простых гипотез.

В результате проверки правильности выдвинутой нулевой гипотезы ( такая проверка называется статистической, так как производится с применением методов математической статистики) возможны ошибки двух видов: ошибка первого рода, состоящая в том, что будет отвергнута правильная нулевая гипотеза, и ошибка второго рода, заключающаяся в том, что будет принята неверная гипотеза.

Замечание. Какая из ошибок является на практике более опасной, зависит от конкретной задачи. Например, если проверяется правильность выбора метода лечения больного, то ошибка первого рода означает отказ от правильной методики, что может замедлить лечение, а ошибка второго рода (применение неправильной методики) чревата ухудшением состояния больного и является более опасной.

Определение 19.4. Вероятность ошибки первого рода называется уровнем значимости α.

Основной прием проверки статистических гипотез заключается в том, что по имеющейся выборке вычисляется значение некоторой случайной величины, имеющей известный закон распределения.

Определение 19.5. Статистическим критерием называется случайная величина К с известным законом распределения, служащая для проверки нулевой гипотезы.

Определение 19.6. Критической областью называют область значений критерия, при которых нулевую гипотезу отвергают, областью принятия гипотезы – область значений критерия, при которых гипотезу принимают.

Итак, процесс проверки гипотезы состоит из следующих этапов:

• выбирается статистический критерий К;

• вычисляется его наблюдаемое значение Кнабл по имеющейся выборке;

• поскольку закон распределения К известен, определяется (по известному уровню значимости б) критическое значение kкр, разделяющее критическую область и область принятия гипотезы (например, если р(К > kкр) = б, то справа от kкр располагается критическая область, а слева – область принятия гипотезы);

• если вычисленное значение Кнабл попадает в область принятия гипотезы, то нулевая гипотеза принимается, если в критическую область – нулевая гипотеза отвергается.

Различают разные виды критических областей:

• правостороннюю критическую область, определяемую неравенством K > kкр ( kкр > 0);

• левостороннюю критическую область, определяемую неравенством K < kкр ( kкр < 0);

• двустороннюю критическую область, определяемую неравенствами K k2 (k2 > k1).

Определение 19.7. Мощностью критерия называют вероятность попадания критерия в критическую область при условии, что верна конкурирующая гипотеза. Если обозначить вероятность ошибки второго рода (принятия неправильной нулевой гипотезы) в, то мощность критерия равна 1 – в. Следовательно, чем больше мощность критерия, тем меньше вероятность совершить ошибку второго рода. Поэтому после выбора уровня значимости следует строить критическую область так, чтобы мощность критерия была максимальной.

В ряде случаев оказывается достаточно трудно, а иногда и невозможно определить даже хотя бы приблизительно не только априорные вероятности гипотез, но и цены решений. Классическим примером такой ситуации является обнаружение сигналов в радиолокации. То же самое имеет место и в системах передачи дискретных сообщений при обнаружении начала информационной последовательности (радиограммы, команды и т.п.).

В этих условиях обычно приходится задаваться некоторым значением вероятности ошибочного решения при справедливости одной из гипотез (например, ) и выбирать стратегию, обеспечивающую минимальное значение вероятности ошибочного решения при справедливости другой гипотезы . Такой критерий оптимизации стратегии называется критерием Неймана-Пирсона. Применительно к случаю радиолокационного обнаружения задаются вероятностью  ошибочной регистрации сигнала при наличии на входе только шума, называемой вероятностью ложной тревоги . Минимизируемая вероятность  при этом носит название вероятности пропуска цели .

Можно показать, что стратегия, оптимальная по Нейману-Пирсону, по-прежнему сводится к сравнению величины отношения правдоподобия  с некоторым пороговым значением , определяемым в данном случае требуемым значением вероятности ложной тревоги .

Значимости уровень статистического критерия, вероятность ошибочно отвергнуть основную проверяемую гипотезу, когда она верна. В теории статистической проверки гипотез З. у. называется вероятностью ошибки первого рода. Понятие "З. у." возникло в связи с задачей проверки согласованности теории с опытными данными. Если, например, в результате наблюдений регистрируются значения n случайных величин X₁,..., X_n и если требуется по этим данным проверить гипотезу Н, согласно которой совместное распределение величин X₁,..., X_n обладает некоторым определённым свойством, то соответствующий статистический критерий конструируется с помощью подходящим образом подобранной функции Y = f (X₁,..., X_n); эта функция обычно принимает малые значения, когда гипотеза Н верна, и большие значения, когда Н ложна. В частности, если X₁,..., X_n - результаты независимых измерений некоторой известной постоянной а и гипотеза Н представляет собой предположение об отсутствии в результатах измерений систематических ошибок, то для проверки Н разумно в качестве Y выбрать (2m - n)², где m - количество тех результатов измерений X₁, которые превышают истинное значение а. Наблюдаемое в опыте большое значение Y можно рассматривать как значимое статистическое опровержение гипотетического согласия между результатами наблюдений и проверяемой гипотезой. Соответствующий критерий значимости представляет собой правило, согласно которому значимыми считаются значения Y, превосходящие заданное критическое значение у. В свою очередь выбор величины у определяется заданным З. у., который в случае справедливости гипотезы Н совпадает с вероятностью события {Y>y}.

Мы рассматриваем независимую выборку , обозначая неизвестную функцию распределения  . Нас интересует вопрос о том, согласуются ли данные наблюдений с простой гипотезой

где -- некоторая конкретная фиксированная функция распределения.

Вначале разобъем множество на конечное число непересекающихся подмножеств . Пусть -- вероятность, соответствующая функции распределения  , обозначим Очевидно, что

Теперь сделаем группировку данных аналогично процедуре, описанной в   6.3, а именно, определим

Очевидно, что в силу случайных колебаний эмпирические частоты будут отличаться от теоретических вероятностей . Чтобы контролировать это различие, следует подобрать хорошую меру расхождения между экспериментальными данными и гипотетическим теоретическим распределением. По аналогии с идеей метода наименьших квадратов в качестве такой меры расхождения можно взять, например, , где положительные числа можно выбирать более или менее произвольно. Как показал К. Пирсон, если выбрать , то полученная величина будет обладать рядом замечательных свойств. Таким образом, положим

Подчеркнем, что величина вычисляется по выборке. Функцию  принято называть статистикой Пирсона. Обсудим ее свойства.

Поведение , когда гипотеза верна.

Речь идет о поведении при увеличении объема выборки: .

Теорема К. Пирсона. Предположим, что гипотеза верна. Тогда при распределение величины сходится к распределению хи-квадрат с степенью свободы, то есть,

Практический смысл этой теоремы в том, что при большом объеме выборки распределение  можно считать распределением хи-квадрат с степенью свободы.

Поведение , когда гипотеза неверна.

Предположим теперь, что и разбиение таково, что