Хайкин С. - Нейронные сети (778923), страница 147
Текст из файла (страница 147)
В заключительной части настоящей главы рассматривается применение теории среднего поля в качестве математического базиса для вывода детерминированних приближений (дегепп(п1зг(с арргохппабоп) стохастических машин, что позволит значительно ускорить обучение. Так как рассмотренные ранее стохастические машины имеют разную архитектуру, то и теория среднего поля применяется к иим по-разиому. В частности, можно определить два особых подхода, которые были предложены в литературе. 1.
Корреляция заменяется своей аппроксимацией среднего поля. 2. Петрактуемая модель заменяется трактуемой с помощью вариациоииого принципа. Второй подход — очень принципиальный и потому более привлекательный. Ои применим к сигмоидальиым сетям доверия (9361 и машинам Гельмгольца [245). Однако в случае машин Гельмгольца применение второго подхода усложняется потреб- 11.10.
Теория среднею поля 731 + 1, с вероятностью Р(и,), — 1, с вероятностью 1 — Р(о,), (11.67) где 1 Р(о) = 1+ ехр( — о,/Т) ' (11.68) где Т вЂ” рабочая температура. Исходя из этого, среднее <х, > для некоторого заданного значения индуцированного локального поля о можно записать следующим образом: < х. >= (+1)Р(о,) + ( — 1)[1 — Р(о,)) = 2Р(оз) — 1 = 1Ь(оз/2Т), (11.69) где бь(о 12Т) — гиперболический тангенс своего аргумента. На рис.
11.8 показаны два графика среднего значения <х,> относительно индуцированного локального поля о,. Данная непрерывная кривая приведена для некоторой температуры Т, большей нуля. Жирной линией показан график для предельного случая Т =О. В последнем случае выражение (11.69) принимает свою предельную форму: < х, >- абп(о,)Т вЂ” О. (11. 70) Это соответствует функции активации нейрона Мак-Каллока-Питца. постыл в ограничении сверху функции разбиения Я. По этой причине в (831) для ускорения процесса обучения Больцмана использовался первый подход. В этом разделе будет дано обоснование первому подходу, а вторым подходом мы займемся в следующем разделе.
Идея аппроксимации среднего поля хорошо известна в статистической физике (363). Хотя нельзя отвергнуть тот факт, что в контексте стохастических машин желательно знать состояния всех нейронов сети в любой момент времени, тем не менее понятно, что в сетях с большим количеством нейронов их состояния содержат значительно большую информацию, чем это требуется на практике. На самом деле, для того чтобы ответить на наиболее известные вопросы физики о стохастическом поведении сети, требуется знать только средние значения состояний нейронов или средние произведения пар состояний нейронов.
В стохастическом нейроне механизм возбуждения описывается вероятностным правилом. В этом случае целесообразно будет говорить о среднем значении состояний х, нейрона ~. Выражаясь более точно, будем говорить о "среднем" как о "термальном среднем", поскольку синаптический шум обычно моделируется в терминах термальных флуктуаций.
В любом случае обозначим символом <х,> среднее значение х,. Состояние нейрона описывается следующим вероятностным правилом: 732 Глава 11. Стохастические машиныи их аппроксимациив статистической механике <х> у Рис. 11.8. График термального среднего (к,) относительно индуцированного локального поля гл Жирная линия соответствует обычному нейрону Мак-Каллока— Питца До сих пор основное внимание уделялось простейшему случаю обособленного стохастического нейрона.
В более общем случае стохастической машины, составлениой из множества таких нейронов, приходится сталкиваться с более сложной задачей. Эта сложности проистекает из сочетания двух следующих факторов. ° Вероятность Р(п,) того, что нейрон 7 включен, является нелинейной функцией индуцированного локапьиого поля пх ° Иидуцироваииое локальное поле пу представляет собой случайную переменную, иа которую оказывают стохастическое воздействие другие нейроны, связанные со входом данного. при бл. о, = <о,>= ~~ „х, =~ глл<х,>.
(11.71) Следовательно, можно вычислить сРеднее состоЯние <ху> нейРона 7', содеРжащегося в стохастической машине среди Х нейронов, так же, как это делалось в выражении (11.69) для обособленного стохастического нейрона: Можно с уверенностью утверждать, что ие существует математического метода, который можно использовать для точной оценки стохастического поведения нейрона. Однако существуют приближения, известные как аппроксимации среднего поля (шеап-бей арргохппайол), использование которых часто приводит к положительным результатам. Основная идея, стоящая за аппроксимацией среднего поля, заключается в замене фактической флуктуации индуцированного локального поля о, каждого из нейронов сети ее средним значением <и,>: 11.11. Детерминированная машина Бопьцмана 733 (11.72) В свете выражения (11.72) можно определить аппроксимацию среднего поля следующим образом.
Среднее некоторой функции случайной переменной аппроксимируется функцией сред- него значения этой случайной переменной Для 3 = 1,2, ...,зч' выражение (11.72) представляет множество нелинейных уравнений с зч неизвестными <х,>. Решение этой системы нелинейных уравнений является вполне посильной задачей, так как все неизвестные являются детерминированными, а ие стохастическими переменными, какими оии были в исходной сети. 11.11. Детерминированная машина Больцмана Время обучения машины Больцмаиа зкспоненциально зависит от количества иейроиов, так как правило обучения Больцмаиа требует вычисления корреляций между всеми парами нейронов сети.
Таким образом, обучение Больцмаиа требует экспоиеициальиого времени. В !831) был предложен метод ускорения процесса обучения Больцмаиа, в котором предлагается заменить корреляцию в правиле обучения Больцмана (11.53) следующей аппроксимацией среднего поля: прибл. < х х, > = < х, >< х, >, (з, у) = 1 2,...,К, (1173) где само среднее значение <хз> вычисляется с использованием уравнения среднего поля (11.72). Эта форма обучения Больцмаиа, в которой вычисления корреляций аппроксимируются только что описанным способом, получила название детерминированного правила обучения Больцмана (де!ептппьбс Во!гхзпапп!еапппя гп1е).
В частности, стандартиое правило обучения Больцмаиа (11.53) аппроксимируется следующим образом: (11.74) где (з',' и С' — усредненные выходы видимых нейронов 3 в фиксированном и свободном режимах соответственно, а з) — параметр скорости обучения. В то время как машина Больцмаиа использует двоичные стохастичиые нейроны, ее детерминированиый "родственник" использует аналогичные детерминированные иейроиы. 734 Глава 11.
Стохастические машиныи их аппроксимациив статистической механике Детерминированная машина Больцмаиа показала повышение скорости по сравиеиию со стандартной машиной Больцмаиа иа одии-два порядка [831). Однако при ее практическом использовании следует учесть следующее. 1. Детерминированное правило обучения Больцмаиа работает только с учителем. Это значит, что отдельным видимым нейронам присваивается роль выходных нейронов. Обучение без учителя ие работает ии в одном режиме среднего поля, так как среднее значение состояний является очень маломощным представлением свободного распределения вероятности.
2. При обучении с учителем использование детерминированного правила обучения Больцмаиа ограничено сетями только с одним скрытым слоем [3321. Теоретически отсутствуют основания ие помещать в такие сети несколько скрытых слоев. Однако иа практике использование нескольких скрытых слоев приводит к той же проблеме, которая для обучения без учителя была упомянута в п. 1. Детермииироваииое правило обучения Больцмаиа (11.74) имеет простую и локальиую форму, которая представляет его отличным кандидатом иа внедрение в )т.Я- устройства (чегу 1агйе зса!е 1пгейгаг!оп) [19), [9421.
11.12. Детерминированные сигмоидальные сети доверия Сущность метода аппроксимации среднего поля, описанного в разделе 11.1О, состоит в том, что среднее некоторой функции случайной переменной аппроксимируется этой же функцией от среднего значения случайной переменной. Эта точка зрения теории среднего поля имеет ограниченное применение для аппроксимации машины Больцмаиа, что уже было показано в предыдущем разделе. В настоящем разделе мы рассмотрим другую точку зрения теории среднего поля, которая лучше всего подходит для аппроксимации сигмоидальиых сетей доверия.
Покажем, что иетрактуемая модель аппроксимируется трактуемой с помощью вариациоииого принципа [524), [936). Грубо говоря, трактуемая модель характеризуется изменением числа степеней свободы, что делает исходную модель иетрактуемой. Это нарушение связей происходит за счет расширения иетрактуемой модели для включения дополнительных параметров, известных под названием вариационных (чапайопа! рагагиезегз), которые предиазиачеиы для адаптации решаемой задачи. Терминология, используемая в этом подходе, уходит своими корнями в вариационное исчисление (са!сп!пз о( чапайопв) [814). 11.12.
Детерминированные снгмондальные сети доверня 735 Нижняя граница функции логарифмического правдоподобия В начале обсуждения напомним вероятностное соотношение (11.58), которое воспро- изведем здесь в логарифмическом виде: 1ок Р(Х„= ха) = 1ой ~~ Р(Х = х). (11.75) Как и в разделе 11.8, разобьем случайный вектор Х на Х© и Ха, соответствующие видимым и скрытым нейронам. Реализации этих случайных векторов обозначим х, х,„и ха. Заметим, что с логарифмом суммы вероятностей (11.75) сложно работать. Эту сложность можно обойти, заметив, что для любого условного распределения Я(Ха =ха)Х„=х„) равенство (11.75) можно переписать в новом эквивалентном виде: 1 ~Р(х = с = ьд~с(хр =*р)х = „) ~ 1. (!17я) Р(Х = х) Я(Ха = ха~Х = х ) ч Это равенство сформулировано для применения неравенства Йенсена (1епзеп'з 1пеппайгу), о котором уже говорилось в предыдущей главе.
Используя его для данного случая, получим: ~~Р(х„=*„) ) ~с(хр = р~х„= с!щ ~ ~ ~1! 77) Р(Х = х) Я(Ха = ха~Х„= х,„) *о Исходя из терминологии теории среднего поля, назовем приближенное распределение Я(Ха =ха(Хс =х„) распределением среднего поля (ареал-йе!д гйзпзЬипоп). В данном случае иас интересует формула функции логарифмическою правдоподобия. В сигмоидальиых сетях доверия функция логарифмического правдоподобия Х,(и ) определяется суммированием по всем х,„(определеиным иа множестве примеров Т).
Поэтому для обучения сети применяется пакетный алгоритм. Для аппроксимации среднего поля сигмоидальиой сети доверия будем использовать другую стратегию. Попытаемся адаптировать последовательный режим, в котором функция логарифмического правдоподобия вычисляется после подачи в сеть каждого принерьч (11.78) где зт — вектор весов сети. В случае идентично и независимо распределенных данных реальная функция логарифмического правдоподобия 1.(и ) представляет собой сумму слагаемых Е(зт) по одному для каждой точки данных. В этой ситуации определения Ь(и) и Ь(зт) эквивалентны.
В общем же случае использование Е(и) предоставляет аппроксимацию функции 1 (тг). 736 Глава 11. Стохастические машиныи их аппроксимациив статистической механике Последовательный подход (реального времени) к обучению стал стандартом для нейронных сетей в основном благодаря простоте своей реализации.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
