Секей Г. Парадоксы в теории вероятностей и математической статистике (1990) (1151962), страница 17

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 17)

Успех в страховом деле определяется точностьюданных и надлежащими математическими выводами. Математическая статистика, постепенно развиваясь с ХЧП века, превратилась сейчас в самостоятельнуюобластьматематики. Ееосновной целью является получение как можно более верной и полезной информации из данных результатов наблюдений и измерений, или кратко, статистической выборки. (Измерение количества информации независимо от ее конкретного содержания лишь в ХХ веке развилось в новую ветвь математики, которая теперь называется теорией информации. Она тесно связана с математической статистикой.) Трудно не писать сатирические произведения по крайней мере в духе Ювенала, но еще труднее не найти парадоксов в математической статистике.

Согласно одной шутке в 1901 г. 33 1» студенток Гарвардского университета вышли замуж за своих преподавателей. На самом же деле в то время в университете обучались только 3 девушки, одна из которых вышла замуж за своего профессора. Следовательно, утверждение верно, но вводит в заблуждение. Предположим, что в некоторой стране в университеты принято на 20 7» юношей больше, чем девушек. Если все абитуриенты одинаково хорошо подготовлены и число абитуриентов-юношей совпадает с числом абитуриентов-девушек, то очевиден вывод, что приемные комиссии отдают предпочтение юношам.

Однако, поскольку больше девушек, чем юношей, хотят учиться на более популярных факультетах, где доля непринятых выше, может оказаться, что несмотря на пропорциональный прием, в университете будет учиться больше юношей, чем девушек. Анализ текстов, проведенный в 1913 г.

Л. Эйресом, аналогичным образом вводит в заблуждение или, по крайней мере, его легко можно неверно истолковать. Эйрес утверждал, что 50 наиболее часто употребляемых слов составляют приблизительно 507» обычного текста, 300 наиболее часто встречающихся слов составляют 75 % текста, а 1000 наиболее часто употребляемых слов составляют 90 ~У». Несмотря на этот факт, нельзя сказать, что если нам известны 50 или 100 слов какого-то языка, то мы уже наполовину его понимаем, так как знание нескольких слов, даже если они часто используются, вряд ли поможет в понимании любого текста. Не удивительно, что многие лшди считают, что существует три вида лжи: невинная ложь, наглое вранье и статистика. Надеемся, что объяснение парадоксов математической статистики поможет нам хорошо разбираться в статистических нелепостях, видеть пользу и необходимость статистических выводов, а также извлекать наиболее важную информацию из данных.

1. Парадокс Байеса а) История парадокса Томас Байес, ученик де Муавра, является одним из выдающихся основателей математической статистики. Его теорема, доказанная где-то около 1750 г. и опубликованная лишь после его смерти, стала источником некоторых разногласий в статистике. Жар споров до сих нор не утих. Более того, теоретическая пропасть между последователями байесовского и антибайесовского подходов продолжает увеличиваться. Простая формулировка теоремы Байеса заключается в следующем. Пусть А и  — произвольные события, имеющие вероятность Р(А) >0 и Р(В) ~0 соответственно. Обозначим через Р(АВ) вероятность совместного осуществления событий А и В, и пусть Р(А ~В) есть условная вероятность А, если известно, что В уже произошло. Тогда Р(лп) Р(В) 1) ) (л)В)Р(В) Р(А) ' ' Р(А) Следовательно, если Вы Вь ...

— попарно непересекающиеся события, имеющие положительные вероятности, и одно из них происходит всегда (или по крайней мере с вероятностью 1), то Р (А ) Вь) Р (Вь) Р (А ) Вю) Р (Во) + Р (А ) В ~) Р (В~) + Это и есть формула Байеса. Она показывает, как по априорным вероятностям Р(Вя) (вероятностям событий Вь до того как событие А произошло) найти апостериорные вероятности (после того, как событие А произошло).

Если рассматривать события Вь как причины, то формула Байеса представляет собой теорему о вероятностях причин. Сама по себе теорема бесспорна, но в большинстве ее применений вероятности Р(Вь) неизвестны. В этом случае, как правило, считают, что, поскольку отсутствует предварительная информация о причинах событий Вы то все вероятности Р(Вь) равны, однако такой подход, вообще говоря, неприемлем. Байес использовал свою теорему в случаях, когда априорные вероятности были вероятностями непрерывных распределений, в частности, равномерного распределения на интер- вале (О, 1). По теореме Байеса, если в л+ лг наблюдениях событие, имеющее неизвестную вероятность р, произошло л раз, то вероятность того, что р принадлежит подынтервалу (а, Ь) интервала (О, 1) равна ь (! ~ х" (1 — х) ах~ ~ х" (! — х)"'дх.

У$ о Байес выдвинул идею о том, что, если у нас нет никакой предваритеяьной информации о р, то априорная вероятностная плотность параметра р равномерна на всем интервале (О, 1). Например, если а=1, лг = О, а =1/2 и Ь = 1, то по приведенной выше формуле, шансы того, что искомая вероятность р больше !/2, равны 3/4. До сих пор лишь немногие доверяют этому результату, в частности, потому что они сомневаются в равномерности априорного распределения. Незнание априорного распределения оказалось столь разрушительным для обоснованности статистических выводов из теоремы Байеса, что эта теорема была почти исключена из статистических исследований.

Однако во второй трети ХХ века байесовский подход вновь получил некоторое развитие, благодаря важной роли, которую он играет при поиске допустимых и минимаксных оценок (см. замечания в 1. 12 и книгу Фергюсона). Все более распространялась мысль о том, что последовательное применение формулы Байеса (когда после каждого наблюдения апостериорные вероятности пересчитываются и на следующем шаге они используются как априорные вероятности) снижает роль исходного априорного распределения, так как после многократного пересчета исходное распределение вряд ли оказывает влияние на заключительное апостериорное распределение.

(Очевидно, что некоторые вырожденные случаи не рассматриваются, например, когда значение р равно 1/1О, а априорное распределение равномерно на отрезке [1/2, 1], не содержащем точку 1/!0.) б) Парадокс Пусть возможными значениями случайной величины Х являются целые числа, и предположим, что вероятностное распределение Х зависит от параметра р, принадлежащего отрезку [а, Ь].

Если независимые наблюдения Хь Хь Хм, получены из неизвестного распределения Х (т. е. распределения с неизвестным параметром р; Х; имеют то же распределение, что и Х), то можно ожидать, что последовательность апостериорных распределений (вычисленных по исходному равномерному априорному распределению) все более и более концентрируется около истинного значения р. Парадоксально, ио это не всегда верно. Например, истинное значение р может равняться 1/4, а последовательность апостериорных распределений (при увеличении числа наблюдений) все более сосредотачивается, например, около 3/4.

в) Объяснение парадокса Парадоксальность ситуации состоит в том, что ожидается, что функция апостериорной плотности будет принимать наибольшие значения в окрестности истинного значения, т. с. вблизи 1/4. Однако это соображение не противоречит тому, что функции апостериорных плотностей могут все более сосредотачиваться около 3/4. Нужно только, чтобы функция плотности, имеющая пик в 1/4, затем быстро убывала, но оставалась высокой около 3/4. Если число возможных значений величины Х конечно, то такая ситуация невозможна, но когда значениями Х могут быть любые целые числа, парадоксальная ситуация может осуществиться. Пусть априорное распределение р равномерно на отрезке [1/8, 7/8).

Определим теперь функцию 1(р) на этом отрезке таким образом, что значениями 1(р) всегда являются натуральные числа, за исключением точек р = 1/4 и р = 3/4, где /(1/4) = 1'(3/4) = +со. Пусть распределение случайной величины Х (зависящее от р) имеет следующий вид Р (Х = 1) = с (! — р) р', 1 = О, 1, 2, ..., ( (р), где с = с, есть постоянная, для которой 1па ~, с(1 — р) р'=1. к-~ При соответствующем выборе 1(р) указанная выше парадоксальная ситуация осуществима. Дальнейшие детали см. в статье Фридмана (Ргеедшап П.

Р. (1963)]. г) Замечании (1) С. Бернштейн и Р. Мизес еще до 1920 г. указывали на то, что при некоторых условиях многократное применение теоремы Байеса дает последовательность апостериорных распределений, сходящихся к истинному распределению, каково бы ни было априорное распределение. Поэтому априорное распределение асимптотически не играет роли. Как показывает парадокс, такое утверждение невозможно без каких-либо ограничений.

(И) Субъективный выбор априорных распределений порождает общий вопрос о том, можно ли вообще объективно определять неизвестные вероятности и вероятностные распределения независимо от наших наблюдений и измерений, или они имеют смысл только благодаря нашей субъективной информации. Бруно де Фин«ухи, глава итальянской школы по теории вероятностей, в своей монографии утверждает, что вероятность как и флогистон '), не существует объективно в отличие от абсолютного пространства и времени или вселенной.

Характеристики

Список файлов книги