AOP_Tom2 (1021737), страница 9
Текст из файла (страница 9)
Пусть сейчас Г(х) — это функция распределения случайной величины К(еве. Найдем эмпирическую функцию распределения Г„(х) для наблюдений случайной величины в (14). К счастью, функция Е(х) в этом случае имеет очень простой вид. Для больших и, таких, как и = 1000, функция распределения К,+, примерно равна Е„,(х) = 1 — е ~*, х > О. (15) Данпое замечание применимо к К,„поскольку К,+, и К,, имеют одно и то же ожидаемое поведение. Можио использовать КС-критерий следующим образом: сначала критерий применяется несколько раз при умеренно больших и, а затем наблкьтеняя объединяют и снова применяют КС-критерий. Это позволяет обнаружить как локвлькые, так и глобвльиые отклонения от гипотетического распределения.
Например, автор провел следующий простой эксперимент во время написания этой главы. Критерий "максимум-5", описанный в следующем разделе, был применен к множеству 1 000 равномерно распределенных чисел. Было выполнена 200 иаблюдепий Хы Хз, ..., Хзэш которые, как предполагалось, имели функцию распределения г (х) = х' при 0 < х < 1. Наблюдения были разделены на 20 групп по 10 наблюдений в каждой, и статистика К„+е была вычислена для каждой группы. По 20 значениям К~>, полученным таким образом, построена эмпирическая функция, показанная на рис. 4. Гладкая кривая, изображенная на каждом из рис. 4,— это истинная функция распределения статистики К+ш На рис. 4, (а) изображено эмпирическое распределение К~~,полученное из последовательиости У„„.~ —— (3141592658У„+ 2718281829) щи 2~~, Ь'„= 1'„~2 ~ и зто распределение удовлетворительно приближает истинную функцию распределения, т.
е. последовательность можно считать случайной. На рис. 4, (Ь) приведена такая же эмпирическая функция распределения, построенная по последовательности Фибопаччи. Эта последовательность имеет глобально неслучайпое поведеиие, т. е. можно показать, используя критерий "максимум-5", что наблюдения Х„не имеют на самом деле распределения Г(х) = хэ. На рис. 4, (с) изображена эмпирическая функция распределения, полученная с использованием заведомо плохой, с малым потенциалом, линейной конгруэнтной последовательности У„+, ((2" + 1)1ь + 1) шоб 2", Ь"„= 1'"„/2зь. Результаты применения КС-критерия к этой эмпирической функции приведены в (12).
Используя табл. 2 для п = 20, получаем, что значения К,+о и К о для рис. 4, (Ь) почти подозрительны (они лежат около 5- и 88-процентного уровней), но не совсем плохи для того, чтобы отбросить их полностью. Значение К о для рис. 4, (с), конечно, не подходит, поэтому критерий "максимум-5" показывает явную несостоятельность этого генератора случайных чисел. Можно было бы ожидать, что КС-критерию в этом эксперименте труднее замечать "глобальные неслучайности", чем локальные, так как основные наблюдения ддя рис.
4 были сделаны только по 10 раз. Если взять 20 групп по 1 000 чисел в каждой, то на рис. 4, (Ь) будет показано намного более значимое отклонение. Чтобы проиллюстрировать это, единственный КС-критерий был применен ко всем 200 наблюдениям, которые привели к появлению рис. 4. Были получены следующие результаты. Рис. 4, (а) Рис.
4, (Ь) Рис. 4, (с) К~~) 0.477 1.537 2.819 К~~в 0.817 0.194 0.058 (1б) 'Тлобвльная неслучайность" генератора Фибоначчи здесь проявляется вполне опре- деленно. Теперь можно окончательно описать критерий Колмогорова-Смирнова. Дано и неваенсшимх наблюдений Хы ..., Хп из некоторого распределения, заданного непрерывной функцией распределения Г(х). Иначе говоря, г'(х) должна быть функцией, похожей на функции, которые показаны на рис. 3, (Ь) и 3, (с), и не имеющей таких скачков, как скачки функции на рнс. 3, (а). Затем процедура, описанная перед формулой (13), применяется к этим наблюдениям, и получаютгя статистики К,+, и К,, Они должны быть распределены в соответствии с табл. 2.
Сравним критерии КС и 11 . Вначале заметим, что критерий КС можно использовать совместна с тт-критерием, чтобы получить лучшую процедуру, чем метод, который, между прочим, упоминался при окончательном описании т -критерия. (Это означает, чта существует лучший способ, чем выполнение трех проверок и определение количества "подозрительных".) Предположим, что уже сделано, скажем, 10 независимых ут-проверок различных частей случайной последовательности и получены значения Ъ|, Ъю..., 1'~о. Это не совсем хороший метод определения, сколько значений Г подозрительны в большей или меньшей степени.
Данная процедура будет работать в крайних случаях, и очень большие или очень малые значения могут означать, что погледовательность имеет также много локальных "неслучайностей". Но лучший общий метод состоит в составлении эмпирической функции этих 10 значений и ее сравнении с истинным распределением, полученным, из табл. 1. Эмпирическое распределение дает ясную картину результатов использованиЯ кРитеРиЯ Хз.
И действительно статистики К;„и К,о магУт быть определены из эмпирических Хэ-значений, таким образом указывая на успех или неудачу проверки. Имея только 10 значений или целых 100, это легко проверить вручную с помощью графических методов. Если значений 1' много, понадобится программа для вычисления тэ-распределения на компьютере. Заметим, что все 20 наблюдений на рнс. 4, (с) находятсн между 5- и 95-процентным уравнямн, поэтому не нужно рассматривать любое из них, как подозрительное, индивидуально.
Однако совместно эмпирические распределения показывают, что эти наблюдения не проходят проверку. Важная разница между КС-критерием и тэ-критерием состоит в том, что КС-критерий применяется к распределению, заданному функцией Р(х), которая не имеет скачков, в то время как ~з-критерий применяется к распределениям, имеющим только скачки (поскольку все наблюдения делятся на 1с категорий). Таким образом, эти два критерия предназначены для разных видов распределений. Однако критерий Сз можно применять даже тогда, когда Р'(х) непрерывна, если разделить область определения Р(х) на и частей и не обращать внимания на то, как случайные величины распределены в каждой из них.
Например, чтобы проверить, можно ли рассматривать величины Нм Ут, ..., У„как значения случайной величины, имеющей равномерное распределение между нулем и единицей, нужно проверить гипотезу, что эта случайная величина имеет распределение Г(х) = х при 0 < х < 1. Для этого естественно использовать КС-критерий.
Но можно разделить интервал между нулем и единицей на й = 100 равных частей, подсчитать, сколько значений Уь попадет в каждую часть, и применить Згэ-критерий с 99 степенями свободы. Сейчас существует много теоретических результатов сравнения эффективности КС-критерия с хэ-критерием. Автор нашел несколько примеров, в которых КС-критерий более чувствителен к неслучайности, чем гт-критерий. С другой стороны, в некоторых примерах хт-критерий дал более значимые результаты. Если, например, 100 категорий, о которых говорилось выше, пронумеровать числами О, 1, ..., 99 и если отклонение от ожидаемых величин положительно по сравнению с числами от 0 до 49 и отрицательно по сравнению с числами от 50 до 99, то эмпирическая функция распределения будет больше отличаться от Г(х), чем показывает значение ут.
Но если отклонение от ожидаемых величин положительно по сравнению с О, 2,..., 93 и отрицательно по сравнению с 1, 3,..., 99, то эмпирическая функция распределения будет примыкать к Е(х) намного теснее. Различные виды отклонений измеряются по-ржзному. тэ-критерий был применен к 200 наблюдениям, что привело к ситуации, изображенной на рис. 4 (с и = 10). Соответствующие значения 1' были равны 9.4, 17.7 и 39.3, поэтому в частном случае онн хорошо сопоставлялись со значениями КС-критерия, приведенными в (16). Так как К~- критерий по своей сути менее точный и требует сравнительно больших значений п, то КС-критерий имеет некоторые преимущества, когда проверяются непрерывные распределения.
Следующий пример также интересен, Наблюдения, изображенные на рис. 2,— это К~-стртистики, которые основаны на н = 200 наблюдениях критерия "максимум- 1" для 1 < 1 < 5 с областью значений, разделенной на 10 равновероятных частей. КС-статистики Ктвв и К могут быть вычислены по тому же множеству в 200 наблюдений, и результаты могут быть табулированы так же, как на рис. 2 (можно показать, какие КС-значения выходят зв 99-процентный уровень, и т.
д.). Результаты для такого случая показаны на рис. 5. Заметим, что генератор В (оригинальный метод Лехмера) выглядит очень плохо на рис. 5, в то время как 1~~-критерий, примененный к тем же данным, наоборот, на рис. 2 выглядит хорошо. Генератор Е (метод Фибоначчи) на рис. 5 выглядит неплохо. Хорошие генераторы А и В проходят все испытания удовлетворительно. Причина расхождений между рис. 2 и 5 состоит, в том, что (а) число наблюдений 200 на самом деле не достаточно Группы для К2 В С В Е Е А Группы для Кп С В Е г В Рис. 5. КС-критерии, примененные к тем же данным, которые представлены на рис.
2. большое для строгой проверки и (Ь) слова "отбросить", пподозрительные". 'почти подозрительные", упорядочивающие критерий, сами выглядят подозрительно. (Несправедливо обвинять Лехмера, что он использовал "плохой" генератор случайных чисел в 40-х годах, так как он применял этот генератор П совершенно правильно. Компьютер ЕХ1АС был машиной параллельнопо действия, и программы заносились в нее штепсельным коммутатором.
Лехмер сделал так, что его сумматоры постоянно умножали собственное содержимое на 23 (по модулю 10' + 1), поставляя новые значения каждые несколько микросекунд. Поскольку множитель 23 очень мал и известно, что каждое значение, полученное таким образам, также зависит от предыдущего значения, его нельзя рассматривать в качестве достаточно случайного. На время между действительным использованием величин в специальных сумматорах с помощью сопутствующих программ было достаточно большим и постоянно менялось. Поэтому на самом деле множитель был равен 23 для ь достаточно больших, но меняющихся значений /с.) С. История, библиография я теория.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
