Хайкин С. - Нейронные сети (778923), страница 101
Текст из файла (страница 101)
В [11671 проводится детальное исследование свойств сходимости алгоритма ЕМ. Одншю этот алгоритм ие всегда приводит к локальному илн глобальному максимуму функции правдоподобия. В главе 3 [7171 представлены два примера, подтверждающие этот факт. В первом из них алгоритм сходился к селловой точке, а во втором — к локальному минимуму функции правдоподобия. " С помощью алгоритма ЕМ можно также вычислить байесовскую апостериорную оценкумаксимума (Вауепап пмх(пнцп а роагепог еяйшабоп) за счет использования априорной информации для вектора параметров (см.
задачу 7.1!). Используя правило Байеса, функцию плотности условной вероятности вектора параметров 9 для заданного множества наблюдений х можно выразить так: У (9[Х) ЬШза,Г)![В) Из этопэ соотношенйя ясно видно, 'по максимизации апостериорной плотности Гв(а,х) эквивалентна максимизации произведения Г, (х[9]ув(9), так как Г„(х) не зависит от 9. Функция плотности вероятности Гв(9) представляет собой доступную априорную информацию о 9. Максимизация Ге(а,х) дает наиболее вероятную оценку вектора параметров 9 для данною вектора х. В контексте этой оценки важно подчеркнуть следуюшие моменты Выполнение равенства в этой формуле означает, что мы находимся в стационарной точке функции логарифмического прандоподобият.
7.13. Применение аллуритма ЕМ к модели НМЕ 499 Пусть д„и д, „— (условные) мультиномиальные вероятности, соответствующие () () решениям, принимаемым сетями шлюзов первого уровня Й и второго уровня Ц, (с) соответственно (см. рис. 7.11), при обработке примера 2 из обучающего множества. Тогда из выражения (7.51) видно, что соответствующие значения функций плотности условной вероятности случайной переменной Р для данного примера х, и вектора параметров 6 задаются следующей формулой: 2 2 у (д2ь,а) = — т'данту'дь> р ( — (д.
— р~'„')'), Гддзд Ь=г 1=1 где у~д' — выходной сигнал эксперта (7',)с) в ответ на подачу 1-го примера из множества обучения. Предположим, что все )т' примеров, содержащихся в обучающем множестве, являются статистически независимыми. Тогда можно определить функцию логарифмического подобия для задачи с неполными данными следующего вида: Ц6) = 10К Пыг(д~хо6) р=1 (7.64) Ю 2 2 Це)=2 ьа д.д„"'2'д!'.,Р(-'(дг-Р~дг)). Гддд| д=1 к=1 1=1 Чтобы вычислить оценку максимального правдоподобия для вектора 6, необходимо найти стационарную точку (т.е. локальный или глобальный максимум) функции Ц6).
К сожалению, функция логарифмического подобия А(6), согласно формуле (7.65), еще не подходит для такого рода вычислений. Чтобы обойти эту сложность, исхусстеенно дополним множество данных наблюДЕНИй (СЦ,ыг МНОжЕСтВОМ ОтСУтетВУЮЩИХ ДаННЫХ, ПОЛУЧЕННЫХ В РЕЗУЛЬтатЕ ВЫПОЛ- пения алгоритма ЕМ. Это можно сделать путем введения переменных-индикаторов (1п(1(са(ог уапаЫе), относящихся к вероятностной модели архитектуры НМЕ, следующим образом 1526]. Оценка максимального правдоподобия, представленная максимизацией Гв(в,х) по Е, является сокращенной формой максимизации впосгериорной вероятности (под словом "сокращенная" понимается отсутствие априорной информации). Использование априорной информации является синонимом регуляризации, которая (см. главу 5) соответсгвуег главкому отображению входа на выход.
В [!1141 представлен байесовский подход к оценке параметров модели смеси зкспертов, преодолеваюший твк называемое явление избыточного обучения, которое приводит к оценке с большой дисперсией при использовании принципа максимума подобия. Подставляя выражение (7.63) в (7.64) и игнорируя константу — (1/2) 1оя(2к), получим: 000 Глава 7. Ассоциативные машины ° з„и з, „будем интерпретировать как метки соответствующие решениям, приГй Гй нимаемым вероятностной моделью в ответ на подачу г-го примера множества обучения. Эти переменные определяются таким образом, чтобы при любом значении г только одно из значении г„и только одно из значении з,. „равнялось (') (0 единице.
Обе переменные — г и г. — можно рассматривать как статистиче- (1) Гд ь ля ски независимые дискретные случайные переменные, математическое ожидание которых равно соответственно (7.66) Е~~ьф = Р [з(*ь) = Цх,, 4, 6(л)~ = )т(.'~„ (7.67) где 6(п) — оценка параметра 6 на итерации и алгоритма ЕМ. ° г „ = г „з„ интерпретируется как метка, определяющая эксперта Ц, Й) в вероятностной модели для г-го примера множества обучения. Ее также можно трактовать как дискретную случайную величину со следующим математическим ожиданием: Е[г(1)1 = Е(з(*ь)гь(*)1 = Е(г())ь]Е(гь(*)) = ЬДЬ(ь*) = )т(ь). (7.68) Значения 6~*~, й(') и 6~'„~ в равенствах (7.66) и (7.68) являются апостериорными вероятностями, введенными в разделе 7.9.
Верхний индекс т введен для идентифи- кации рассматриваемого примера в обучающем множестве. В задаче 7.13 читателю будет предложено обосновать все эти три равенства. С добавлением определенных таким образом отсутствующих данных к множеству наблюдений задача вычисления оценки максимального правдоподобия существенно упрощается. Пусть Я4, г,.*„~х,,6) — функция плотности условной вероятности на полном множестве данных, составленная для (1, и г,.„при заданных х, и векторе (0 параметров 6.
Тогда можно записать: 2 2 аА, (1)~*;,6) = ПП(д(('д,"ь®ля(А)), (7.69) 7=1 ь=1 где Дь(4) — функция плотности условной вероятности Н, для выбранного эксперта (д, й) в модели НМЕ, т.е. Дь(г) выбирается из гауссова распределения 7.13. Применение алюритма ЕМ к модели НМЕ 001 ~й((!) = — ехр~ — (4-у ) (. () г з/2н д, 2 ' '",/ (7.70) Обратите внимание, что формула (7.69) соответствует гипотетическому эксперименту, содержащему переменные-индикаторы, представленные переменными г,„, не (!) существующими в физическом смысле.
В любом случае функция логарифмического правдоподобия для задачи с полными данными, включающими в себя все множество примеров обучения, выглядит следующим образом: йа~„(;)~*„8) = д=! (*) 3 П П П (рйц'9,"(йЯХтй()!)) '"~ = д=)т=! й=! Ь (8) = 10К = 1ок (7.71) )т 2 2 = 2; 2; 2; г~фойййб + 1окд.', + 1ок,(дй(((()]. д=йэ=йй=! Подставляя выражение (7.70) в (7.71) и игнорируя константу — (1/2)1ой(2н), можно записать: )д 2 2 ь,(д) =~~ з ф [( дд)д.,'-( дд~~ — — (д! — д~~) ~. (772) д=! у=! й=! Я(8,8(п)) = Е(Л,(8)] = — й 2 Б (*,'~( '(( дд.'" д( дд",, — -(д( — дз) ], д=! э=! й=! (7.73) где оператор ожидания деиствует на переменную индикатора г.й как на единствен(') ную ненаблюдаемую переменную. Тогда, подставляя (7.68) в (7.73), получим: Сравнивая выражения (7.72) и (7.65), можно заметить, что введение в множество наблюдений переменных-индикаторов вместо отсутствующих данных дало следующий вычислительный эффект: задача вычисления оценки максимального правдоподобия была разделена на множество задач регрессии для отдельных экспертов и отдельное множество задач классификации для сетей шлюзов.
Для продолжения работы с алгоритмом ЕМ нужно в первую очередь использовать Е-шаг этого алгоритма, вычисляя математическое ожидание функции логарифмического подобия на полных данных Ь,(8)) $02 Глава 7. Ассоциативные машины о(а,в( ))=т'т'т'дк [ькдм диадохи,— -(д,— р'„'у~. дттдд т=1 з=т с=1 М-шаг этого алгоритма требует максимизации функции („д(9,9(п)) по 9. Вектор параметров 9 состоит из двух множеств синаптических весов: одно из них относится к сетям шлюзов, второе — к экспертам. Из предыдущего обсуждения можно сделать следующие выводы. ° Синаптические веса экспертов определяют у,„, которые также входят в определение 6.'„. Таким образом, на выражение для Я(9,9(п)) эксперты влияют только в части слагаемого 6(ь) (((т — у( ) )г.
° Синаптические веса сеген шлюзов определяют вероятности д,„, ду и 6 ь. Таким (') (') (д) образом, на выражение для Я(9, 9(п) ) эксперты влияют только в части слагаемого 6 '„(1ояд ' + 1ояд,'„). Следовательно, М-шаг алгоритма ЕМ сводится к следующей тройственной задаче оптимизации модели НМЕ с двумя уровнями иерархии: зтз„(и+1) = агкппп~~ Ь,'„(Й, — У,'„)г, к=1 зд г аз(о+1) = агкшш ) ~~) 6(*„)1обдь(') т=т в=1 (7.75) (7.76) и г 2 азь(п+ 1) = агяппп~> ~~г 6,' ~г 6(',1ояд '„.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
