Хайкин С. - Нейронные сети (778923), страница 152
Текст из файла (страница 152)
Пусть ш', — сииаптический вес, идущий от нейрона г к нейрону з в сигмоидальиой сети доверия, использующей для включеииого и выключенного состояний нейронов значения +1 и — 1 соответственно. Обозначим и з соответствуюшие сииаптические веса в сигмоидальиой сети доверия, использующей другие значения для состояний — +1 и 0 соответственно.
Покажите, что веса и „могут преобразовать в ю', с помошью следующего преобразования: тс,'з = — '* пРи 0 (1(2, 1 2 ~хо<1<1 В последней строке присутствует порог, примененный к нейрону т1 11.15. В сигмоидальиых сетях доверия вероятность Р(Хр =хй(Х~ =х„) определяется как распределение Гиббса, а вероятность Р1Х„=ха) — как соответствующая функция разбиения. Обоснуйте справедливость этих двух определений.
Машина Гельмгольца 11.16. Машина Гельмгольца ие содержит обратных связей как в модели распозиаваиия, так и в порождающей модели. Что случится, если разрешить использоваиие обратной связи в какой-либо из двух этих моделей. 758 Глава 11. Стохастические машиныи их аппроксимациив статистической механике Детерминированная машина Больцмана 11.17. Машина Больцмана выполняет градиентный спуск (в пространстве весов) по пространству вероятностей (см. задачу 11.10).
По какой функции детерминированная машина Больцмана выполняет свой градиентный спуск? Для ответа на этот вопрос можно обратиться к 1458). 11.18. Рассмотрим асимметричную рекуррентную сеть (в которой ш„ф ш„). Обсудите, как детерминированный алгоритм обучения Больцмана сможет сделать сеть симметричной, предполагая, что после каждой коррекции каждый нз весов приближается к нулю на малую величину, пропорциональную его амплитуде [458). Детерминированная сигмоидальная сеть доверия 11.19. Покажите, что разность между выражениями в левой и правой частях (11.77) равна дивергенции Кулбека-Лейблера между распределениями Я(Ха =ха)Х<, — — х„) и Р(Ха =хаХ„=хв). 11.20. Аргумент сигмоидальной функции (11.89) определяет индуцированное локальное поле о, нейрона т в детерминированной сигмоидальной сети доверия. Чем это о, отличается от соответствующего индуцированного локального поля нейрона в многослойном персептроне, обучаемом с помощью алгоритма обратного распространения? Детерминированный отжиг 11.21.
В разделе 11.13 мы рассмотрели идею детерминированногоотжига, использующего информационно-теоретический подход. Эта цдея детерминированного отжига могла быть разработана также и с использованием принципа максимальной энтропии, описанного в главе 10. Проверьте разумность второго подхода. 11.22. а) Используя выражения (11.97) и (11.98), получите результат, описанный выражением (11.99), в котором определен Лагранжиан Е*,полученный с помощью использования распределения Гиббса для ассоциативной вероятности. б) Используя результат первой части этой задачи, выведите условие (11.101) для минимума Е' по отношению к вектору кодирования у.
в) Примените условие минимизации (11.101) к мере квадратичного искажения (11.91) и прокомментируйте полученный результат. Задачи 7М 11.23. Рассмотрите множество данных, представляющее собой смесь гауссовских распределений. Какие преимущества в такой ситуации может предложить детерминированный отжиг по сравнению с оценкой максимального правдоподобия? 11.24, В этой задаче исследуем использование детерминированного отжига в задаче классификации, решаемой нейронной сетью 17341. Выход нейрона з на выходном слое мы обозначим как Р (х), где х — входной вектор.
Решение задачи классификации основывается на максимизации дискриминанта Р,(х). а) В качестве целевой функции рассмотрим следующую: где Т вЂ” множество обучения, состоящее из маркированных векторов; х— входной вектор; С вЂ” его метка класса; Р(х Е К ) — вероятность ассоциации между входным вектором х и классом К,. Используя принцип максимума энтропии (см. главу 10), сформулируйте распределение Гиббса для Р(х Е Ку). б) Обозначим как <Р,> среднюю стоимость ошибки классификации.
Выведите формулу Лагранжиана для минимизации <Р,), при условии, что энтропия, соответствующая ассоциативным вероятностям Р(хЕК ), равна некоторой константе Н. Ней роди нам ическое программирование 12.1. Введение В главе 2 были определены две основные парадигмы обучения — с учителем и без учителя. Вторая парадигма, в свою очередь, подразделяется на самоорганизующееся обучение и обучение с подкреплением. Различные формы обучения с учителем рассматривались в главах 4 — 7; а вилы обучения без учителя — в главах 8-11.
В этой главе речь пойдет об обучении с подкреплением [ге[пТогсетеп! ]сага!пй). Обучение с учителем представляет собой задачу "познания" под руководством учителя. Оно предполагает доступность адекватного множества примеров пар входных и выходных сигналов. В противоположность этому обучение с подкреплением является "поведенческой" задачей. Оно выполняется посредством взаимодействия обучаемой системы и среды, в которой система стремится достичь заданной цели, невзирая на наличие неопределенности [100), [1036).
Тот факт, что зто обучение осуществляется без учителя, делает обучение с подкреплением особенно привлекательным для динамических ситуаций, где сбор удовлетворительного множества примеров дорог или сложен [если вообще возможен). Существуют два подхода к обучению с подкреплением'. 1. Классический подход [с1аягйса1 арргоасЬ), в котором обучение осуществляется методом "кнута и пряника" в процессе чередующихся поощрений и наказаний с целью достижения высококлассного поведения [Ь[8Ь[у зЫ]]е([ ЬеЬазгюг). ' Классический подход к обучению с подкреплением уходит корнями в психологию, а точнее, к ранним работам Торндайка [1052] (посвященным обучению животных) и Павлова [821] (посвященным условному рефлексу). Вклал в развитие обучения с подкреплением также внесла работа, в которой было введено понятие критики (спас) [1140].
Классический подход к обучению с подкреплением рассматривается в [415]. Главный вклад в современный подход к обучению с подкреплением внесли работы, посвященные программе игры в шашки [9261, посвященные системам адыпивной критики [100], методам временных разностей [1032] и 0-обучению [1115]. В справочнике по интеллектуальному управлению [1130] представлены материалы по оптимальному управлению, обучению с подкреплением и мепшам алытшвной критики и эвристическому динамическому программированию.
Целиком посвящена современному подходу к обучению с подкреплением [126], а история развития этою вида обучения отслежена в [1036]. !2Д.В еде е УВ1 2. Современный подход (шобегп арргоас]1), который основан на математическом приеме динамического программирования (бупазп]са1 ргоязаппп]пк), используемом для формирования последовательности действий с учетом возможных будущих стадий без фактичесюго их осуществления. В этом подходе акцент делается на планирование. В настоящей главе внимание читателя будет сюнцентрнровано на современном обучении с подкреплением.
Динамическое программированиез представляет собой поэтапный метод принятия решений. Причем перед принятием следующего решения последствия текущего решения предсказываются на некоторый интервал будущего. Ключевым аспектом таких ситуаций является то, что решения не могут приниматься изолированно.
Стремление к снижению затрат в настоящем приводится в соответствие с нежелательным увеличением затрат в будущем. Это называется задачей присваивания коэффициентов доверия (стеб!1 088]йпшеп! ргоЫеш), так как каждому решению нз множества взаимосвязанных решений либо отпускается кредит доверия, либо оно отвергается. Для оптимального планирования необходимо обеспечить эффективный баланс между текущими и будущими затратами. Достижение такого баланса формализует метод динамического программирования. В частности, динамическое программирование позволяет ответить на следующий вопрос: как система может быть обучена для повышения производительности на длительном промежутке времени, если это может потребовап кратювременного снижения производительности? Следуя [126], современный подход к обучению с подкреплением будем называть нейродинамическим программированием (пепгобупаппс ргоягатт]ля).
Для такого выбора есть две причины. ° Теоретичесюй основой этого подхода является метод динамического программирования. ° Обучение выполняется на нейронных сетях. Краткое определение нейродинамнчесюго программирования было предложено в [126]. Нейродинамическое программирование позволяет системе обучаться принятию правильных решений с помощью наблюдения за собственным поведением и совершенствовать свое поведение путем использования встроенного механизма усиления. Наблюдение за поведением осуществляется с помощью метода моделирования Монте-Карло, реализуемого в автономном режиме. Улучшение поведения посредством подкрепления достигается за счет использования итеративной схемы оптимизации.
з Методика динамического прогрвммированик была разработана Беллманом в конце 1950-к годов [118], [119]. Детальное описание этой области содержится в [125]. 762 Глава 12. Нейродинамическое программирование Структура главы Динамическое программирование включает две составляющие: рассматриваемую дииамическую систему, функционирующую в дискретном времени, и функцию стоимости (созг), аддитивиую по времени. Эти две составляющие рассматриваются в разделе 12.2. В разделе 12.3 последует формулировка уравнения оптимальности Беллмаиа (Вейпшп'и орбпза! !гу еццапоп), которое играет важную роль в динамическом программироваиии. В разделах 12.4 и 12.5 рассматриваются два метода расчета оптимальиой стратегии в динамическом программировании — итерации по стратегиям и итерации по значениям.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
