Хайкин С. - Нейронные сети (778923), страница 157
Текст из файла (страница 157)
Вектор параметров хт этой нейронной сети определяется с использованием метода наименьших квадратов, т.е. путем минимизации следующей функции стоимости: ми) Е(ат) = "хх ()е(а, гл) — 7" (а, ат))з. (12.32) еех Определив оптимальный вектор весов и, следовательно, приближенную функцию стоимости перехода У'(а', тг), приближенные О-факторы можно вычислить по следующей формуле: фе,а,ет) =" р, (а)(д(г,а 3) +Тэр(у,ле)), (12.33) )ех 782 Глава 12. Нейродинамическое программирование Прибяиженн функция стоимости цеояехояа 2 О, и) Рис. 12.8.
Детальная схема приближенного алгоритма итерации по стратегиям й(е) = агй ш)п(ее(е, а,яу). абА, (12.34) Важно отметить, что выражения (12.33) и (12.34) используются модельной сетью для генерации действий, выполняемых в состояниях, реально посещаемых при моделировании, а не во состояниях. Поэтому данные два выражения не подвержены проклятию размерности.
Блочная диаграмма на рис. 12.8 представляет собой более детализированную иллюстрацию приближенного алгоритма итерации по стратегиям. Эта диаграмма состоит из четырех взаимосвязанных модулей [126). 1. Имитатор (зппп!агог). Использует данные вероятности переходов и стоимости для одного шага (мгновенные затраты) для построения суррогатной модели внешней среды. Имитатор генерирует два типа данных: состояния в ответ на действия (имитация внешней среды) и реализации функции стоимости перехода для данной стратегии. 2.
Генератор действий (асйоп йепегатог). Генерирует улучшенную стратегию (т.е. последовательность действий) в соответствии с (12.34). 3. Аппроксиматор функции стоимости перехода (созьфо-8о арргохппагог). Генерируст приближенную функцию стоимости перехода У'(е,т) для состояния е и вектора параметров яп выражений (12.33) и (12.34). 4.
Решающее устройство на основе метода наименьших квадратов (1еазпзс)цаге зо1уег). Ему поподаются реализации функции стоимости перехода У'(г), сгене- где рп(а) — вероятности перехода из состояния е в состояние у при (известном) действии а; а(е, а, у) — наблюдаемые (известные) затраты; у — дисконтный множи- тель. Итерация завершается вычислением улучшенной стратегии с использованием полученного приближенного ()-фактора (см. (12.28)) 12.7. Приближенный алюритм итерации по стратегиям 783 рярованные имитатором для стратегии 1( и состояния з, для которых он вычисляет оптимальный вектор параметров зч, минимизирующий функцию стоимости (12.32).
Связь, ведущая от решающего устройства к имитатору функции стоимости перехода, отключается только после получения полной оценки стратегии и нахождения оптимального вектора параметров и'. В этой точке аппроксимация У" (з, зг) заменяется функцией У'(з, зг'). В табл. 12.3 приведен приближенный алгоритм итерации по стратегиям в сжатом виде. ТАБЛИЦА 12.3. Приближенный алгоритм итерации ло стратегиям Известные параметры Вероятности перехода р;, (а) и затраты д(з, а, з) Вычисления 1.
Выбираем некоторую стационарную стратегию )( в качестве исходной 2. Используя множество примеров (Й(з,т)) ! функции стоимости перехода М(~) У'(з), генерируемые имитатором, определяем вектор параметров зе нейронной сети с помощью решающего устройства, работающего на основе метода наименьших квадратов: м(!) чг* = пни Е(зг) = ш1п ~> ~~) (Й(з, т) — У'(г, зч)) юех ы=! 3. Для вектора параметров чг, вычисленного на шаге 2, вычисляем приближенную функцию стоимости перехода У'(з, зг) для посещенных состояний.
Определяем приближенные О-факторы фг, а, зг) = ~ р!! (а) (д(!', а, 3) + ТУ (~, зг) ) !ех 4. Определяем улучшенную стратегию: 1((!) = агк ш1п Я(!', а, зг) аеА, 5. Повторяем шаги 2-4 Естественно, работа этого алгоритма подвержена ошибкам ввиду неизбежного несовершенства архитектуры имитатора и решающего устройства. Для нейронной сети, используемой для вычисления аппроксимации искомой функции стоимости перехода по методу наименьших квадратов, может не хватить вычислительных мощностей. Это первый источник ошибок. Оптимизация аппроксиматора нейронной сети и, таким образом, настройки вектора параметров зч основана на желаемом отклике, предоставляемом имитатором.
Это второй источник ошибок. В предположении, что все оценки стратегии и все модификации стратегий выполняются с определенными допусками е и Ь, в [126) было показано, что приближенный алгоритм итерации по стратегиям дает на выходе такие стратегии, производительность которых отличается от оптимальной на величину, стремящуюся к нулю при уменьшении а и Ь. г84 Глава 12. Нейрццннамнческое программирование Другими словами, приближенный алгоритм итерации по стратегиям не гарантирует существенного улучшения производительности.
Согласно [126], приближенный алгоритм итерации по стратегиям вначале монотонно и довольно быстро сходится, однако устойчивая осцилляция стратегии, имеющая случайную природу, может привести к снижению скорости сходимости. Эта осцилляция появляется после того, как приближенная функция стоимости перехода попадает в окрестность 0((5+2]!В)/(1 у)з) оптимального значения г", где у — дисконтный параметр.
Очевидно, что существует некоторая фундаментальная структура, общая для всех вариантов приближенного алгоритма итерации по стратегиям, которая вызывает такую осцилляцию. 12.8. Я-обучение Поведенческой задачей системы обучения с подкреплением (см. рис. 12.1) является поиск оптимальной стратегии (т.е.
имеющей минимальную стоимость) в результате попытки выполнения возможных последовательностей действий и оценки соответствующих стоимостей и переходов. В этом контексте возникает следующий вопрос: существует ли процедура обучения оптимальной стратегии в реальном времени, основанная на опыте, накопленном только на примерах следующего вида: д„= (г„,а„,д„,д„), (12.35) где и — дискретное время, а д„состоит из четверки величин: действия а„в состоянии э'„, которое приводит к переходу в состояние д„= г„.ь! при затратах д„= д(з„, а„, 1„). Ответ на этот фундаментальный вопрос является утвердительным, и его описывает стохастический метод, получивший название Я-обучения~ (О-[еагп[пя) [1115]. О-обучение представляет собой пошаговую процедуру динамического программирования, определяющую оптимальную стратегию. Эта процедура идеально подходит для решения Марковских задач принятия решений при отсутствии явных знаний о вероятностях переходов.
Однако успешное использование Я-обучения основано на предположении, что состояния внешней среды являются вполне набддздаеягыми (йгйу оЬзегкаЫе), а это, в свою очередь, значит, что среда является вполне наблюдаемой цепью Маркова. 4 На с. 96 кандидатской диссертации [! ! [5] Г Ьобучению описывается так. "В прилшкении ! представлено доказательство того, что этот метод работает для конечных Марковских процессов принятия решений. При этом также показано, что данный метод обучения будет быстро сходиться к оптимальной функции. Хотя эта идея является достаточно простой, насколыш я знаю, раньше ей не уделялОсь внимание.
Следует сказать, что конечные Марковские процессы принятия решений и стохастическое динамическое программирование на протяжении более 30 лет тшательно изучались на предмет использования их в различных областях, но, к сожалению, никто не догадался применить метод Монте-Карло". В сноске к этому замечанию в [99] отмечалось, что, несмотря на то что идея присваивания значений парам состояние — действие на основе метода динамического программирования высказана в [253], в ней не был сформулирован алгоритм, подобный Г]-обучению, для оценки этих значений. Это было сделано только в диссертации [!!!51.
12.8. СЬобучение 785 В разделе 12.4 было введено определение О-фактора ь)(1, а) для пары состояние- действие (1, а) с помощью выражения (12.23) и уравнение оптимальности Беллмана, описываемое выражением (12.22). Обьединяя эти два выражения и используя определение мгновенных ожидаемых затрат Опппед)азе ехресзед соа1) (12.20), получим: о(гд) =т'р,(,) (д(гдг)-,-гы,о(гд)] -*. (;,.). (гггд) г=) Это выражение можно рассматривать как двухшаговую версию уравнения оптимальности Беллмана. Решения линейной системы уравнений (12.36) определяют оптимальные Я-факзоры Я'(1, а), единственные для пары состояние — действие (1, а). Для решения этой системы уравнений можно использовать алгоритм итерации по значениям, сформулированный в терминах О-факторов.
Таким образом, для одной итерации этого алгоритма имеем: Предполагая малость шага, это выражение можно переписать так: я(г, ):=(1 — д)О(д, )дпг д ( ) (д(г»г)дг ьс(г ь)] (гггг) ,г=) для всех (1, а), где з) — малый параметр скорости обучения, который находится в диапазоне 0 < )1 < 1. Шаг алгоритма итерации по значениям (12.37) требует знания вероятностей переходов. Однако эти априорные знания не понадобятся, если сформулировать стохастическую версию выражения (12.37). В частности, усреднение по,множеству состо/ яний, осуществляемое в (12.37), заменяется единственным примером, что приводит к следующей модификации выражения коррекции О-фактора) Я„)(1,а) = (1 — з1„(1,а))Я„(1,а) +)1„(з,а) (д(1,а,д) +77„(2)] для (з,а) = (1„,а„), (12:38) где (12.39) 786 Глава 12.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
