Айвазян С.А., Бухшгабер В.М., Енюков И.С., Мешалкин Л.Д. - Прикладная статистика (1027378), страница 41
Текст из файла (страница 41)
е., по существу, в рамках схемы ЛА. К этому подходу относятся, в частности, представленные в и. 6.4.1 и 6.4.2 процедуры, базирующиеся на методе максимального правдоподобия и методе моментов. Практикуется также диаметра,~ьно противоположный по своей логической схеме подход (подход «от классификации к оцениванию»), при котором исследователь начинает с разбиения совокупности классифицируемых наблюдений на й подвыборок, а затем исгюльзует каждую ((ью) из полученных подвыборок в качестве выборки из соответствующей (!ьй) генеральной совокупности для оценивания ее параметров бп после чего уточняет разбиение, и т, д.
К этому подходу можно отнести, в частности, описанный ниже алгоритм адаптивного вероятностного обучения (или «алгоритм БЕМ: 3!оспах!щие — Взята!!оп — МахГтГ»айоп» [202!), а также процедуры, базирующиеся на так называемом методе динамических сгущений !303, 302, 316, !06!. Алгоритм адаптивного вероятностного обучения (алга ритм КЕМ). Впервые предложен и проанализирован в 1202!. По существу, авторы используют описанную в п.
6.4.1 схему ЕМ-алгоритмов, дополняя ее байесовской идеологией и этапом вероятностного обучения, которое реализуется в виде специальной процедуры генерирования на ЭВМ случайных последовательностей. Прием вероятностного обучения с введением априорного распределения оцениваемых параметров использовался и ранее в задачах статистического оценивания, см., например, !314„172, 310!. Использование алгоритма КЕМ позволяет в определенном (достаточно широком) классе идентифицируемых смесей решать (в рамках основной процедуры) задачу оценивания неизвестного числа )г компонентов смеси (6.6") и добиваться существенного снижения эффекта зависимости получаемого решения от исходной позиции начального приближения параметров алгоритма.
На исходной позиции алгоритма, ЯЕМ фиксируются: начальноезначенией(") =- я„,««для неизвестного числа комПонентов смеси й (оно должно «с запасом» мажорировать истинное число классов я); некоторое пороговое значение с (и, р), зависящее от объема и классифицируемой совокупности и от размерности р наблюдений Х, таким образом, что с (и, р) -» 0 при и- оо (в !202! рекал(ендуется брать с (и, р) = рlп) и величины апостериориых вероятностей й,"), («) (») случайно извлеченного из смеси наблюдения Х; соответственно к классу!, 2, ..., Й„„,Н = 1, 2, ..., и). Лалее в следующей хронологической последовательности итерационного взаимодействия реализуются составляющие алгоритм ЯЕМ этапы «Яос))а»1(уие» (стапшстичсское моделирование), «/)(ах(т(и)1(оп» (максимизация функционала метода лаксиг )»ного правдоподобия) и «Ез()ша1)оп» (оцвнивание параметров смеси).
Статистическое моделирование (т-я итерация, т= О, 1, 2, ...). Последовательно для каждого ( =1, 2, ..., и с помощью метода статистического моделирования Монте-Карло П1, 6 3.3, 6.3! генерируются («разыгрываются») значения е (. ) (Х()= 1 с вероятностью п((у), (6.16) 0 с вероятностью 1 — а( ) (1=1, 2, ..., й '"); ( =!.
2, ..., п) полиномиально распределенных (с параметрами я(чя)), а(»»), ..., и(»(»)) случайных величин е; (Х,). При этом про(«) (д) изводится по одному испытанию для каждой фиксированной пары ((, /). Полученные реализации в(») (Х 1 (в(«) (Х ) в(»«) (Х.) в«() (Х )) О, если < — «малонаселенный» класс; а<рп , если) --«достаточно представительный» Х « ~ класс, ш»» в<ю Г" Ц где»' — множество номеров «достаточно представительных» (на т-й итерации) классов и оставшиеся «непристроенными» наблюдения (попавшие в «малонаселенные» классы) снова «разыгрываются» по правилу(6.16), (6.17) с вероятностями д<<' и имн таким образом доукомплектовываются Й "« = .
— — /г<т< — 1 достаточно представительных классов. Максимизация (т-я итерация). По существу, этот этап так же, как и последующий, посвящен оцениванию параметров: его название обусловлено тем, что для реализации основной части процедуры оценивання приходится максимизировать (по искомому параметру ) соответствующие функции правдоподобия. На этом этапе (в рамках т-й итерации) вычисляются оценки с<<'+<>=(р<"">, 8< +и) параметров компонентов смеси « ' У (6.6") по выборкам (Х«Е 3<»э), /:== 1, 2, ..., й<'+<>: р<.'+ '> = — Ъ' з«(Х,).
<.—.= < Оценки «»<."+»< определяются как решения оптимизационных I задач вида 1п~(Х,.; «»;)-»зпр, )=1, 2, ..., й<"+ « хез<ю и- з определяют разбиение 5<ю =- ф"~, 3»"~, ..., 3. <,>) анализи'руемой выборки Х,, Х„..., Х» на классы по следующему правилу: 5)"=(Х;:с<оп(Х<)=-1), )=-1, 2, ..., й<"', (6.17) причем если в какой-либо класс попало в соответствии с этим правилом наблюдений меньше, чем и с (и, р) (т, е, меньше, чем и р'и — р), то этот класс изымается (аннулируется) из нашего дальнейшего рассмотрения, а общее число классов соответственно уменьшается (переходят от оценки общего числа классов <<<т< к й<'< <> = /г<»< — 1, где 1 — число таких «малонаселенных» классов).
При этом апостериорные вероятности пересчитываются по формулам «< т) (/( ) /( и / а<' ''>= ч «(т) (д ) « п У ~(«(- < > «.—. / г(т)(Х)(тэ(т())(К«(т+>)) ~/ > < / < / 2' ' ') (/(, 1 <=> Оценнванне (т-итерация) Отправляясь от найденных на предыдущем этапе оценок ()<"+ = ( р<м+»> 9(д+<>) /'- 1, 2, /<(т+<> / ' / определяем значения оценок апостериориык вероятностей д(т+>) по формулам </ после чего переходим к следу>ошей (ч + 1)-й итерации этапа «статистическое моделирование». Свойства алгоритма ЬЕМ исследованы в !202! аналитически в простейшем (представляющем лишь методический и<перес) случае смеси, состоящей из двух полностью известных распределений )< (Х) и /«(Х), так что неизвестным параметром задачи является лишь единственное число р,— удельный вес первого компонента смеси (априорная вероятность принадлежности наблюдения, случайно извлеченного (некоторые вспомогательные приемы н случае, когда уравнения метода максимального правдоподобия не дают реше-' ния, рассмотрены н !302, 2! 2!).
Отметим, что если математические ожидания а/ = (а»,", а«'>)' и (пли) ковариациоцные матрицы // =- (а,. (/)), „„»,, „., „полностью определяют распределения внутри /-го класса, / = !,2, ..., /< (случай смесей нормальных, пуассоновских, экспоненциальных и других распределений), то очередная итерация оценок максимального правдоподобия а(т+') и ,'Е<«+>) имеет вид / / 'из смеси, к классу 1).
Правда, с помощью метода статистического моделирования авторы 1202) рассмотрели большое число модельных примеров смеси ' и пришли к выводу, что алгоритм БЕМ расщепления смеси распределений типа (6.6") обладает след)ющими преимуществами в сравнении с другими алгоритмами: а) он работает относительно быстро и его результаты практически не зависят от «исходной точки»; б) позволяет избегать выхода на неустойчивые локальные максимумы анализируемой функции правдоподобия и, более того, дает, как правило, глобальный экстремум этой функции; в) получаемые при этом оценки параметров смеси являются асимптотически несмещенными; г) позволяет оценивать (в рамках самой процедуры) неизвестное число классов (компонентов смеси). П р им е р 6.7.
Расщепление смеси пятимерных нормальных распределений с помощью алгоритма 5ЕМ ([2021, метод статистического моделирования). Зададимся в качестве компонентов смеси тремя (й =- 3) пятимерными (р =-5) нормальными распределениями с удельными весами (априорными вероятностями) р, = 0,5, ря = ра = 0,25, с векторами средних значений 0 0 1 0 О, а= 3 0 0 0 0 0 0 0 4 0 аз= аа =а и с ковариационными матрицами 4000 0 1000 0 0200 0 0400 0 0010 0 л»а= 00100 000 1 0 00030 0000 1 00004 «Напомним схему рассмотрения модельных примеров с помощью метода статистического моделирования. Задаются полным описанием анализируемого закона распределения вероятностей )(х) (в нашем случае — величинами й, рт и функциями ( (Х; Вт), ) =.
), й,..., й]; в соответствии с этим законом генерируют на ЭВл( выборку Х,, Х», ..., Х»; затем, «забывая» знание закона 7 (Х), используют для обработки этой выборки анализируемый алгоритм, после чего сравнивают полученные реаультаты с тем, что было задано «на входе» (т. е.
с У (Х)). й11 16 000 0 01600 0 0 040 0 О 001 О 0 00016 Генерируем на ЭВМ с помошью метода статистического моделирования [11, и. 6.3.3! выборку Х„ Х„ ..., Х„ из 400 наблюдений (п = 400), извлеченную из генеральной совокупности с плотностью распределения вероятностей 1(Х) =- 0,5~р(Х; а,, л»)+ 0,25<р(Х; а„ Х»)+ + 0,25«р (Х; а„Х»), где у (Х; а;, 2'т) — плотность пятнмерного нормального распределения с вектором средних значений ат и ковариационной матрицей Хт («значения» а, и Хт для / = 1, 2, 3 заданы выше). Заметим, что оценка векторов средних ат и ковариационных матриц У, по той части сгенерированных наблюдений, которая принадлежит 1'-й генеральной совокупности, дает (в качестве эмпирических аналогов аз» и Хт„заданных теоретических значений а, и Х~): — 0,016 — О, 122 2,923 0,012 — 0,175 0,272 — 0,290 а»»= 0,197 3,787 0„143 а»»в а»э 0,087 — 0,082 О, 102 0,970 — 0,084 212 0,032 0,962 0,049 0,066 — 0,108 0,827 0,020 О, 127 0,087 — 0,069 3,990 0,560 — 0,057 0,488 — 0,350 0,020 1„779 0,085 — 0,082 0,113 0,560 3,660 0,494 0,236 — 0,724 О, 127 0,085 1, 136 О, 102 — 0,087 — 0,057 0,494 1,062 0,226 — 0,242 0„488 0,236 0,226 2,871 — 0„512 — 0,069 0,113 — 0,087 — 0,084 0,948 — 0,355 — 0,724 — 0,242 — 0,512 3,413 0,093 1,085 — 0,032 0,963 0,463 — 0,244 1,088 — 0,462 — 0,462 18,444 16,850 0,594 0,474 0,594 17,818 1,252 0,474 1,252 3,514 0,093 — 0,032 0,463 1,085 0,963 — 0,244 Применение к «пе)»смешанной»(сгенерированной на ЗВМ) выборке объема н = 400 алгоритма 8ЕМ 1при Й = 6 и д,'," = 1й<»>==Ч,для всех1=1, 2, ..., 400) дает следующие оценки параметров смеси: Й = 3; р, = 0,508; р =0,245; р»= = 0,247; 0,021 0,074 2,947, а» =- — 2,027 — 0,144 а„= а,= 0,772 0,060 О,! 45 0,012 — 0,032 0,060 1,802 — 0,028 — 0,115 0,206 0,145 — 0,028 1,212 0,128 — 0,154 0,012 — 0,115 0,128 0,950 — 0,074 — 0,032 0,206 — 0,124 — 0,074 0,869 0,582 — 0,021 0,720 — 0,491 3,997 0,280 0,491 — 0,551 0,280 1, 125 0,363 — 0,538 0,491 0,363 2,831 — 0,609 — 0,551 — 0,538 — 0,609 3,368 0,171 0,033 0,549 1,044 — 0,655 О, 158 0,741 О, 100 — 0,655 18,792 16,946 0,506 0,306 0,506 17,807 1,068 0,306 1,068 3,329 О, 171 0,033 0,549 1,158 0,741 0,100 Наконец, классификация анализируемых 400 наблюдений, произведенная на последней итерации этапа «Статистическое моделирование» (доставляющей, кстати, наибольшее значение исследуемой функции правдоподобия), дает следующую картину «перекрестной» классификации в срав- 213 0,035 0,886 0,887 0,085 — 0,157 4,205 0,582 — 0,021 0,720 — 0,491 0,232 — 0,361 0,153 3,822 0,214 ненни с исходным (правильным) отнесением сгенерирован- ных наблюдений по составляющим генеральным совокуп- ностям (табл.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
