М.В. Козлов, А.В. Прохоров - Введение в математическую статистику (1115302), страница 22
Текст из файла (страница 22)
Понятие информации при этом не формализовано, однако содержательный смысл сказанного хорошо ясен, если искусственно моделировать выборку Х" с распределением Р. Повторим зто рассуждение в общем случае. Сначала реализуем опыт, котооый по элементу Реп(Р) моделирует (вообще говоря, векторную) сл.в. Т"', для которой Р(Т"=1) =Р(Т(Х) =1). (б) Затем по значению 1, которое приняла сл.в. Т"', н заданному се- мейству мер Р строим сл,в. Хм с множеством значений ! (х:Т(х) =1) и вероятностями Р(Х =х~Т ~=1) =Р (х).
(6) Перемножая (5) н (6), находим с учетом (4) Р(Х =х)=Р(Т(Х)=-1)Р (х)=.Р(Х=х), т. е. Хм имеет то же распределение, что и Х, но при этом только первый этап моделирования зависит от Рек(Р) и, следовательно, несет различающую элементы Р из (Р) информацию. Результат Т" первого этапа, очевидно, может быть представлен в виде Т"= =Т(Х"), где Т(х) — рассматриваемая достаточная статистика, Итак, в искусственном эксперименте достаточная статистика Т(х) является носителем всей полезной различающей элементы Р из (Р) информации. Определение 2.
Достаточная статистика Ь(х) называется минимальной, если она представима как (вектор-)функция от лю- бой достаточной статистики. 124 гдгв(т (Х) = 1г) Рд(х)+(Рл(х) Рд(х)) гдг (т(х) 1);,гг (т(х) — д) (9) Выражение (9) ие зависит от 8 (для 6 таких, что знаменатель в (9) отличен от нуля), если либо р1(х) дегрд(х), т. е. условное распределение выборки при значениях (д и 1д достаточной статистики Т(х) одно и то же, либо множитель при рд(х) — рд(к) в (9) не зависит от 6. Это будет так, если отношение РВ(Т(Х) =Д) РВ((*:т(х) = дг)) 'гггВ(' г' ~~ ВВ" ' (!0) не зависит от 6.
Обратимся к примерам (1) †(1П). 12$ Понятно, что интерес к достаточным статистикам связан с возможностью сократить ненужную ннформацидо, содержащуюся в выборке, н тем самым облегчить возможность последующего анализа. Поэтому если от достаточной статистики Т(х) можно перейти с сохранением свойства достаточности к статистике др(Т(х)), где фупкпия др(1) принимает одинаковые значения при некоторых (дчь(д, то статистику гр(Т(х)) следует предпочесть Т(х). Из определения минимальной достаточной статистики следует, что даль.
иейшее сокращение данных без потери нужной ииформацдди невозможно. Мы покажем, что статистики, рассмотренные в примерах (1) — (Ш), являются мнннмальнымп достаточными. Проведем подготовительные рассуждения. Пусть Т(х) — достаточная статистика для дискретной модели (Ю', Ю, (Рв)) и 1~Ф(д — два ее значения.
Перейдем к статистике др(Т(х)), где Т(1)~1 при 1~Ф(д и г)(1д) (д, т. е. статистика г)(Т(х)) совпадает с Т(х), если последняя принимает любое значение, кроме 1д, а выборки, для которых Т(х) =1д, она объедд1пяет с теми, для которых Т(х)=1,. Рассмотрилд условия, при которых такое сокращение данных сохраняет свойство достаточности. Чтобы это имело место, условная вероятность 1Уг (Х = х ( (Т (Х) = 1д1 () (Т (Х) = 1г)) = г) (Х = х, т(Х) —.— 1д) + гете(Х = х.
т(Х) = дй (7) В (Т (Х) = дд) + аРВ (т (Х) =- Дг) не должна зависеть от 6 (при тех й„для которых выражешде (7) имеет смысл). Преобразуем числитель в (7) по формуле условной вероятности: Ф' (Х х, Т (Х) = (д) =-6г (Х = х (Т (Х) = 1д) Рг (Т (Х) = 1д), д=1, 2. (6; Ввиду достаточности статистики Т(х) условная вероятность в (6) от параметра 6 ие зависит (см.
(4а)). Положим для краткости Фгв(Х =х! Т(Х) = (д) рд (х), д = 1, 2, и перепишем условную вероятность (7) в виде В ппимере (11 Т(хе)) х -е...+ х„, р< (х„) =С„при Т(х„) ° < гь так что р<(х„)ч"рз(х ) для 1<чь!г. Отношение (1О) равно Сьй<(1 0)-~!(Сьб'(! 0) -<), 0(9~1, и, очевидно, зависит от 0 прп !<Ф1„. Следовательно, если от статистики Т(х„) перейти к <р(~(хе)), где <1(!) ж! прн 1~!г и <р(<г) = =«, г.
с. объединить з:<ачення Г< и 1г статистики Т(х„), то свойство достаточности нарушается, и потому статистика Т(хе)=х<+ +... —. х„мпш: мальца. В примере (11) ситуация аналогичная: р<(х„) определяется формулой (3) и р<(х„)~рг(х„). Отношение (!0) вмражеинй (2') пры з=!е и а=!< равно (п0)" ' 1,1/(,! и, очеачдно, зависит от 0 при а<язв В примере (1П) Т(х„)=х<„ь р<(х„) =(л<<е — (и< — 1)") ' при х„„=и<, и, следовательно, р,(х„)чарг(х„). Положим для определенности п<<(ть Тогда отношение (!О) равно (л<г"— — (л< — !)")1(л<<" — (л<< — 1)"), если й<>т<ь и принимает значение нуль, если л«сй<(<пь т.
е. отношение (1О) зависит от параметра У, следовательно, статистика х<ю минимальна. 4. Критерий достаточности. Для наглядности рассмотрим параметрическую модель (Х, е<!. (РВ, 9 ев9)). Пусть Т(к) — достаточная статистика; положим а(1; 9)=рв(('<Т(х)=!)). Основное соотношение (4а) можно записать в виде Р (х)=й(1; 9)Р (х), 1=Т(к), Введя функцию Ь (х) = Р <и (х). получаем Р, (х)=й<(Т(х); 9)Ь(х), хЮЖ'. (11) Разложение распределения вероятностей Рв(х) в модели (Ж', й), (Р:йен9)) на множители в форме (!1), где один множитель Ь(х) ие зависит от йенб, а другой — зависит от х через некоторую статистику Т(х), назовем факторизацией этого распрсделг< ня. Факторизация Р (х) неединствепна.
Например, взяв пронзвотьную не обращающуюся в нуль функцию <р(х) и положив д'(Т(х); О) =л(Т(х); 0)<Г(х), й'(х) =й(х)/<р(х), 126 получим нз (11) Ре(х) =-а (Т(к), 9) И (х). Всегда возможна тривиальная факторизация 8() 9() Итак, если статистика Т(х) достаточна, то имеет место факторизация (!1). Верно и обратное. Пусть имеется факторизация (1!), где Т(х) — некоторая статистика, д(1; 9) — функция 1, И(х) — функция, не зависящая от 9. Покажем, что статистика Т(х) является в таком слччае достаточной. Так как все меры РВ обращаются в нуль на множестве (х:И(х) =О), то исключим эти х иэ дальнейшего рассмотрения. Из (11) получаем Р (ВП(х: Т(х)=-1))= Я д(Т(х); 9)И(х)= зев.тю) $ = д(1„9),т, И(х). (12) аев.ти>еп При В=Я нз (12) получаем Р ((х: Т(к) =1)) =а(1; 9) Я И( ).
т<и-~ (13) Положим Р'(В)= ~1 И(х)/ ) И(х). аев.точ ч т<и-~ 127 Для 9 таких, что Р, ((х:Т(х)=1,'))О, поделив (!2) па (13), получаем, что условная мера совпадает с Р'(В) и, следовательно, статистика Т(х) — достаточная. Таким образом, получена Теорема факторизации.
Для того чтобы статно(ика Т(к) была достаточной для дискретной модели (М', Я, 1Р: Ося еп6)); необкоди«чо и достаточно, чтобы плела чегго факторизация (11). При соответствующих изменениях в обозначениях этот же результат, очевидно, справедлив для пепараметрнческик моделей. Отыскание достаточных статистик с помощью теоремы факторизации сводится к анализу распределения выборки. Достаточность статистик в прнмераз (1) — (П1) с помощью теоремы факторизации устанавливается немедленно.
Рассмотрим еще припев. (!Ч) Пусть в схеме испытаний Бернулли число нчблюленнй заранее не фиксировано: испытания продолжают до случайного момента появления т-го успеха, где т — заданное чкло. Юиогкество Ф состоит из всех последовательностей х...= (хь ..., «„], л =0 илп 1, 1=1, ..., л; и 1, 2, ..., содержащих ровно т единиц, причем х„=1. Вероятностная мера Р„0(0<1, определяется формулой Р (х) 6' (1 О) где У(х) — число координат вектора х. В силу теоремы фактори- зации й/(х) — достаточная статистика. б. Достаточные и минимальные достаточные разбиения.
Статистики Т~(х) и Тэ(х), связанные взаимно-однозначным преобразованием Т|(х) =~р(Тэ(х)), назовем эквивалентными. Эквивалентные статистики несут одну п ту же информацию о статистической модели. Если одна из них достаточная, то достаточной будет и другая. Сокращение данных, которое дает каждая из этих статистик, одно и то же: системы подмножеств (х: Т~ (х) -11) и (х: Тт(х) 1з), где 1~ н 1, пробегают соответственно множество значений статистик Т~ и Тм совпадают. Определение 3.
Разбиение множества Ф на подмножества Фь где / пробегает некоторое множество индексов: Ю= О ж'о ж()Ю,=а. г называется достаточным для дискретной модели (Ф, У, (Р)), если условные меры Р'(В) Р(ВП/йгс)/Р(Фю), ВепЯ, ие зависят от Рен(Р) (для тех Р при данном 1, для которых Р(Ж,) )0). Если имеется достаточное разбиение, то разными способами можно определить числовую функцию, постоянную на элементах разбиения н принимающую разные значения иа разных элементах. Эта функция будет достаточной статистикой.
Полезно иметь в виду, что если элементы разбиения (тр',) множества Ф целиком содержатся в элементах достаточного разбиения (Щ (т. е. для любого а найдется 1=/, что 9 ~Я~ ), то разбиение (й/,) также является достаточным. Действительно, для хен"й/, отношение Р(х)/Р®,)=-(Р(х)/Р(Хф ))(Р(9,)/Р(Ж', )) '= (Р(х)/Р(К, )) ! ~ Р(х)/Р(~Г, )) ~аФа не зависит от Реп(Р), поскольку разбиение (Я'Д вЂ” достаточное. Определим минимальное достаточное разбиение как разбиение, элементы которого являются объединением элементов любого достаточного разбиения (или совпадают с таким элементом).
Пока- 128 жем, как строится минимальное достаточное разбиение в дискретной модели. Для наглядности рассмотрим параметрический случай. В п. 3 (видели, что если достаточная статистика Т(х) такова, ~то отношение (см. (1О)) Р„((х: Т (х) — -1,))/Р, ((х: Т (х) = (з)) не зависит от йене, то, сохраняя свойство достаточности, можно объединить элементы ра биения, соответствующие значениям 1~ и '. статистики Т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
