Хайкин С. - Нейронные сети (778923), страница 193
Текст из файла (страница 193)
Р Прогнозирование осуществлялось персептроном ЙмьР, обученным влгор итмом ОЕКР причине: комбинированные нелинейности приводят к тому, что бесконечно малые изменения в удаленном во времени входном сигнале могут практически не оказывать воздействие на обучение сети. Эта проблема может возникнуть и в случае, когда большие изменения в отдаленных во времени входных сигналах оказывают влияние, но этот эффект не измерим градиентом, Описанная проблема делает обучение долгосрочным зависимостям в градиентных алгоритмах обучения чрезвычаино сложным, а в некоторых случаях даже виртуально невозможным. В 1121] было доказано, что во многих практических приложениях необходимо, чтобы сеть была способна хранить информацию о своем состоянии для произвольных отр езков времени, при этом делать это в присутствии шума.
Долгосрочное хранение определенных битов информации в переменных состояния рекуррентной сети называется блокированием информации (!пГоппа11оп !агсЫпя), Блокирование информации должно быть робастным (гоЬпм), чтобы сохраненная информация о состоянии не могла быть легко удалена событиями, которые не связаны с текушеи задачеи обучения. В этих терминах можно сделать следующее утверждение 112! ). Робастпое блокирование информации в рекуррентной сети выполнимо, если состояния сети содержатся в сокращенном множестве аттракции гиперболического аттрактора.
ЫО Глава 15. Динамически управляемые рекуррентные сети 50 100 150 200 250 Время,я 50 100 150 200 250 300 Время,я а! 6) 50 100 150 200 250 300 Время, я я) Рис. 16.1$. Ошибка прогнозирования в трех экспериментах по моделированию: с помощью Ймьр, обученного алгоритмом Оекр, — дисперсия ошибки составила Е1ззз х 30-' (а); с помощью фокусированной версии Т(.рр(, обученной алгоритмом ОЕКР, — дисперсия ошибки составила 1, зз61 х ю-" (б); с помощью фокусироввнной ТЕРМ, обученной алгоритмом Оеке, — дисперсия ошибки составила 3, ззтз х ш-4 (в) Понятие гиперболического аттрактора было введено в главе 14. Сокращенным яеножестваи аттракции (редиса аигасйоп зе1) гиперболического атграктора является множество точек в бассейне аттракции, для которых собственные значения соответствующего Якобиана меньше единицы по модулю.
Смысл здесь заключается в том, что если состояние х(п) рекуррентной сети находится в бассейне аттракции гиперболического аттрактора, но не принадлежит сокращенному множеству аттракции, то размер шара неопределенности вокруг х(п) будет расти экспоненциально времени п (см. рис. 15.16, а). Таким образом, малые возмущения (например, помехи) во входном сигнале рекуррентной сети могут вывести траекторию в другой (возможно, неверный) бассейн аттракции. Если же состояние х(п) остается в сокращенном множестве аттракции гиперболического атграктора,можно найти ограничения входного сигнала, которые будут гарантировать нахождение х(п) в пределах заданной окрестности аттрактора (см. рис. 15.16, 6).
0,1 'с 0,08 0,06 й 0,04 Е 0,02 Е о -0,02 м -0,04 ю~ -0,06 д ' 3 -0,08 -0,1 0 0,1 0,08 В 0,06 $ 0,04 0,02 о -0,02 м -0,04 о -0,06 м ов 008 -0,1 0 О,! 0,08 й 0,06 $ ОД4 а 0,02 Е Е -о,ог й м -0,04 ч! -0,06 ов 0'08 -0,1 300 0 15.12. Обращение в нуль градиентов в рекуррентных сетях 971 Р; глцерболклеский апра ктор (): бассейн атгракция т: сокращенное млохесгао апракцкя Р Область состояний л(л) Область состояняй к(л) б) Рис. 15.16. Состояние х(н) находится в бассейне аттракции (3, но вне сокращенного множества аттракции т (а); состояние х(гь) находится внутри сокращенного множества аттракции т (б) Долгосрочные зависимости Чтобы оценить влияние робастного блокирования информации в градиентном обучении, обратим внимание, что коррекция, применяемая к вектору весов и рекуррентной сети в момент времени п, определяется формулой дЕобщ Ьтт(п) = — т) где т) — параметр скорости обучения; дЕ бщ /дтт — градиент функции стоимости Е бщ по тт.
Сама функция стоимости обычно определяется следующей формулой: Е ощ — — — ~~~ !/(те(п) — уе(п)((, где й,(п) — желаемый отклик; у;(п) — фактический отклик сети на подачу а-го примера в момент времени п. Исходя из этого, можно записать: 972 Глава 15. Динамически управляемые рекуррентные сети Ьтт(п) = — т) ~~ ' (й,(п) — у,(п)) ду,(п) г =ч~(;"'""*''"')~.( ~-;Ю (15.81) где во второй строке использовалось цепное правило вычислений (сЬа)п где оу са1си1пз). Вектор состояния х,(п) соответствует г-му примеру множества обучения, При использовании алгоритмов, в том числе обратного распространения во времени, частные производные функции стоимости вычисляются по независимым весам с различными индексами времени.
Результат (15.81) можно несколько расширить, записав: ) (п) =з)~ '~ ' ,'1 * „~ (й,(п)-у,.(п)). /ду,(п) ' дх,(п) 1 Применяя цепное правило вычислений еще раз, получим: ,лгтч(п) = т) ~> * ~~> 1 ' „' „~ (и;(п) — у,(п)). (15.82) ду,(п) " /дх;(п) дх,(Й) '1 Учитывая уравнение состояния (15.2), имеем: х;(п) = ~р(х;(Й), н(и)), 1 < Й < п. Исходя из этого, выражение дх,(п)/дх,()с) можно интерпретировать как Якобиан нелинейной функции у(, .), развернутый на (п — Й) шагов времени, т.е. дх,(п) д~р(х;(Й), н(п)) дх,(й) дх,(й) В [121) было показано следующее. Если входной сигнал н(п) является таковым, что рекуррентная сеть остается робастно заблокированной в гиперболическом аттракторе после момента времени и = О, то Якобиан Л,(п, к) является экспоненциально убывающей функцией к и йег(Л„(и, к)) — ~ О при )с -ч со для всех п. (15.84) Значение результата (15.84) состоит в том, что малое изменение вектора весов » сети ощущается в основном в ближайшем прошлом (т.е.
значения Й близки к текущему времени и). Может существовать такое приращение Ь» к вектору весов» в момент времени п, которое позволит переместиться из текущего состояния х(п) в другой, возможно лучший, бассейн аттракции, однако градиент функции стоимости Е кщ по»' не учитывает эту информацию. 15.13.
Системная идентификация Эг3 Если для хранения информации о состоянии в рекурреитиой сети, обучаемой градиентным методом, используются гиперболические атгракторы, оказывается, что ° либо сеть не робастна к наличию шума во входном сигнале, ° либо сеть ие способна извлечь долгосрочные зависимости ()опя-)епп йерепдепс)ез) (т.е. связи целевых выходов с входными сигналами из далекого прошлого). Среди возможных процедур облегчения сложностей, возникающих в связи с обращением в нуль градиентов в рекурреитиых сетях, можно отметить следующие~~. ° Расширение временного диапазона зависимости выхода от входа с помощью представления сети во время обучения сначала более коротких строк (см. эвристики в разделе 15.б).
° Использование расширеииопз фильтра Калмаиа или ее несвязной версии для более эффективного использования доступной информации, чем в алгоритмах градиентного обучения (расширенный фильтр Калмаиа рассматривался в разделе 15.10). ° Использование более сложных методов оптимизации, таких как псевдоиьютоиовские методы [121]; методов оптимизации второго порядка или моделирование отжига (см. главы 4 и 11). 15.13.
Системная идентификация Идемлзификаг)ия сисзием (зуыеш Ыепибса1[оп) — это экспериментальный подход к моделированию процессов или производств (р1ап1) с неизвестными параметрами'4. Оиа включает в себя следующие действия: планирование эксперимента, выбор структуры модели, оценку параметров и проверку модели иа корректность. Процедура идентификации системы, как показала практика, является итеративной по своей природе.
Предположим, существует некоторый неизвестный динамический объект, для которого требуется решить задачу параметрической идентификации модели. При этом можно основываться иа модели в пространстве состояний или иа модели в терминах "вход-выход". Решение относительно использования той или иной модели зависит от конкретной информации о входах и наблюдениях в системе. В следующем разделе описываются оба эти представления.
'з Другие методы устраиеиия проблем обращения в нуль градиента включают в себя шунтирование иекоторых из иелииейиостей рекурреитиой сети лля улучшения обучеиил долгосрочным зависимостям. Среди примеров этого подхода можно выделить следующие. Использоваиие в сетевой архитектуре дслгосрочиых задержек [280), [353), [645). Иерархическое структурироваиие сети иа иескслько уровней, ассоциированных с различными масштабами времени [280]. Использоваиие шлюзовых элементов [йаю цл1г) для обхода иексторых иелииейиостей [470].
ы Идеитификации систем посвяшеио очень много книг, например [664], [666]. Обзор этого иаправлеиия с акцентом иа нейронные сети содержится в [7721, [999]. Впервые илеитификация систем с помощью нейронных сетей подрсбио описана в [774]. 974 Глава 16. Динамически управляемые рекуррентные сети Идентификация систем с использованием модели в пространстве состояний Предположим, что рассматриваемый объект описывается моделью в пространстве состояний: х(п+ 1) = У(х(п), н(п)), у(п) = Ь(х(п)), (15.85) (15. 86) где 1(, ) и Ь( ) — неизвестные нелинейные вектор-функции; уравнение (15.86) является обобщением уравнения (15.11).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
