Хайкин С. - Нейронные сети (778923), страница 195
Текст из файла (страница 195)
° Рекуррентные сети второго порядка, использующие нейроны второго порядка. Во всех этих рекуррентных сетях обратная связь применяется через память с дискретной задержтюй в линии. 15.15. Резюме и обсуждение 981 Первые три типа рекуррентных сетей допускают использование для изучения динамики среду пространства состояний (з!а!е-зрасе (гашеэчогк). Этот подход берет начало в современной теории управления и является мощным методом изучения нелинейной динамики рекуррентных сетей.
В этой главе описаны три основных алгоритма обучения рекуррентных нейронных сетей: обратное распространение во времени (Ьас1с-ргорайабоп гЬгоцйЬ йпе — ВРТТ), рекуррентное обучение в реальном времени (геа1мппе гесштеп!!еапппя — КТВД) и несвязная расширенная фильтрация Калмана (дессер!ед ехгепдед Кайпап 61!ег(пй— ПЕКЕ). Первые два алгоритма основаны на градиентной методике, а последний эффективно использует информацию более высокого порядка.
Это обеспечивает более быструю его сходимость по сравнению с алгоритмами ВРТТ и КТВ?., однако за счет соответствуюшего повышения сложности вычислений. Алгоритм ПЕКЕ можно рассматривать как технологию включения (епаЬйпй), которая делает возможным решение сложных задач обработки сигнала и управления. Теоретически рекуррентная сеть с глобальной обратной связью (например, рекуррентный многослойный персептрон, обучаемый алгоритмом ПЕКЕ) может обучиться нестационарной динамике за счет сохранения знаний, извлеченных нз примеров обучения в зафиксированном множестве весов.
И что более важно — эта сеть может оеслелсивать (!гася) изменения в статистике среды, если выполнены два условия. ° Данная сеть избавлена от недостаточного и чрезмерного обучения. ° Примеры обучения являются представительными в смысле нестационарности динамики среды. В данной главе особое внимание уделялось использованию рекуррентных сетей для временной обработки. Рекуррентные сети можно также использовать для обработки последовательно упорядоченных данных, которые не имеют простой временной интерпретации (например, химические структуры, представленные в виде деревьев). В 11013) было показано, что рекуррентные сети могут представлять и классифицировать структурированные модели„которые представлены направленными, маркированными, ацикличными графами.
Описанный в работе подход использует идею "обобшенного рекурсивного нейрона", являющегося обобщением обычного рекуррентного нейрона (т.е. нейрона с собственной обратной связью). Используя такую модель, алгоритмы обучения с учителем (такие как обратное распространение во времени и рекуррентное обучение в реальном времени) можно расширить для работы со структурированными образами (рапегп). 982 Глава 15. Динамически управляемые рекуррентные сети Задачи Модель в пространстве состояний 15.1. Сформулируйте уравнение в пространстве состояний для простой рекуррентной сети Элмана, показанной на рис. 15.3.
15.2. Покажите, что многослойный персептрон, показанный на рис. 15.4, может быть представлен следующей моделью в пространстве состояний; х(п+ 1) = к(х(п), ц(п)), у(п) = я(х(п), и(п)), где п(п) — входной сигнал; у(п) — выходной сигнал; х(п) — состояние; т"(ч ) и й(ч ) — нелинейные вектор-функции.
15.3. Могут ли динамические системы быть управляемыми, но не наблюдаемыми, и наоборот? Обоснуйте свой ответ. 15.4. Возвращаясь к задаче локальной управляемости (см. раздел 15.3), покажите, что: а) состояние х(п + 0) является вложенной нелинейной функцией от своего прошлого значения х(п) и входного вектора вд(п) из (15.24) и б) Якобиан х(п+о) по отношению к ид(п), вычисленный в начале координат, равен матрице управляемости М, из (15.23).
15.5. Возвращаясь к задаче локальной управляемости, рассмотренной в разделе 15.3, покажите, что Якобиан вектора наблюдения у (п), определяемый в (15.30), по отношению к состоянию х(п), вычисленный в начале координат, равен матрице наблюдаемости М, из (15.28). 15.6. Уравнение процесса нелинейной динамической системы выглядит следующим образом: х(п+ 1) = т(х(п),ц(п)), где в(п) — вектор входа в момент времени п; х(п) — соответствующее состояние системы. Входной сигнал и(п) входит в уравнение процесса неаддитивно. В этой задаче необходимо переформулировать уравнение процесса так, чтобы входной сигнал входил в него аддитивно. Это можно сделать, записав: х'(п + 1) = к„,„(х'(п)) + н'(п).
Определите векторы и'(п) и х'(и) и функцию 1'„, ( ) для этого уравнения. Задачи 983 Модель нейрона Г Смешение 1 Вход и(л) Выход у(л) а) Модель нейрона ! Смешение Вход а(л) Выход у(л) б) Рис. 15.21. Архитектура локальной обратной связи активации (а); архитектура локальной обратной связи выхода (б) 15.7. На рис. 15.21 показаны два примера архитектуры рекуррентных сетей, использующей локальную обратную связь на уровне нейрона.
Архитектуры, показанные на рис. 15,21, а, б, называются соответственно локальной обратной связью активации (1оса1 асйуайоп тес()Ьас)() и локальной обратной связью выхода (1оса! оц(рц( хее()Ьас)() [1060). Сформулируйте модели в пространстве состяний для этих архитектур рекуррентных сетей. Прокомментируйте их управляемость и набпюдаемость. Модель нелинейной авторегрессии с эхзогенными входами (МАЯХ) 15.8. Возвращаясь к модели )х(АКХ, рассмотренной в разделе 15.4, покажите, что использование уравнений (15.1б) и (15.17) ведет к следующей формуле для выхода у(п + д) модели )х)АКХ в терминах векторов состояния х(п) и входа но(п): 984 Глава 15. Динамически управляемые рекуррентные сети Вх и( Выход ихь н Рис.
та.22. Модель полностью рекуррентнсй сети у(п + о) = Ф(х(п), ио(п)), где Ф: 3х'о — Я., а а (и) определяется согласно (15.29). 15.9. а) Вывод модели )х)АКХ в разделе 15.4 представлен для системы с одним входом и одним выходом. Обсудите, как описанная теория может быть расширена на систему с несколькими входами и выходами.
б) Постройте эквивалент )х)АКХ для модели в пространстве состояний си- стемы с двумя входами и одним выходом (см. рис. 15.6). 15.10. Постройте эквивалентную сеть )х)АКХ для полностью рекуррентной сети, показанной на рис. 15.22. 15.11. В разделе 15.4 было показано, что модель в пространстве состояний может быть представлена моделью )х)АКХ. Можно ли утверждать обратное? Можно ли представить модель )х)АКХ в виде уравнений в пространстве состояний, описанной в разделе 15.3? Обоснуйте свой ответ. Задачи 986 Алгоритм ВРТТ 15.13. Усеченный алгоритм ВРТТ(Ь) можно рассматривать как аппроксимацию алгоритма обучения ВРТТ по эпохам.
Эта аппроксимация может быть улучшена за счет введения аспектов алгоритма обучения по эпохам ВРТТ в усеченный алгоритм ВРТТ(Ь). В частности, можно заставить сеть пройти Ь' дополнительных шагов, прежде чем осуществлять следующее вычисление ВРТТ (где й' < 6).
Важной характеристикой этой гибридной формы обратного распространения во времени является то, что следующий обратный проход не будет выполняться до момента времени п + Ь'. В это время вмешательства прошлые значения входа сети, ее состояния и желаемых откликов сохраняются в буфере, но не обрабатываются (1155). Выведите формулу локального градиента для нейрона з этого гибридного алгоритма.
Алгоритм рекуррентного обучения в реальном времени 15.14. Динамика усиленной учителем рекуррентной сети (1еасЬег гогсед геспггепС пепногк) аналогична описанной в разделе 15.8, за исключением следующего изменения: «,.(и) = и,(п), если г Е А, Й(п), если г Е С, у;(п), если г Š — С, где А — множество индексов, для которых «, является внешним входом;  — множество индексов, для которых «,. является выходом нейрона; С— множество видимых выходных нейронов. а) Покажите, что для этой схемы частная производная ду,(п + 1)/двы(п) задается следующей формулой [1157]: ду,.
(и + 1), ~ ду,(п) = е'(о, (и)) ~) и з(п) ' + Ььз«,(п) 1ев-с б) Выведите алгоритм обучения для усиленной учителем рекуррентной сети. 15.12. Раскройте временную динамику модели в пространстве состояний, показанной на рис. 15.3. Глава 15. Динамически управляемые рекуррентные сети Алгоритм несвязной расширенной фильтрации Калмана Опишите, как можно использовать алгоритм РЕКЕ для обучения простой рекуррентной сети, показанной на рис. 15.3. Для этого обучения можно также воспользоваться алгоритмом ВРТТ. 15.
15. 15.16. В своей обычной форме обучение РЕКЕ последовательно корректирует синаптические веса. В противоположность стандартному обратному распространению выполняются простые коррекции градиентов, которые позволяют выбрать, применять ли их немедленно или накапливать в течение определенного времени и затем применять суммарную коррекцию. Несмотря на то что такое аккумулирование можно выполнять в самом алгоритме РЕКЕ, это может привести к рассогласованности между вектором весов и матрицей ковариации ошибок, которая корректируется каждый раз, когда выполняется итерация по коррекции весов.
Получается, что обучение РЕКЕ препятствует пакетной коррекции весов. Однако в этом случае можно использовать многопоточное обучение РЕКР (пш1бзпеаш РЕКЕ па)п)пй), которое позволяет существовать нескольким последовательностям обучения и при этом остается согласованным по отношению к теории фильтров Калмана 1291), 1292). а) Рассмотрите эту задачу обучения с )т'вх, входами, алых, выходамн и фиксированным набором Х примеров обучения. Из примеров обучения сформируйте М < 1т' потоков данных, которые питают М сетей, имеющих идентичные веса.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
