Хайкин С. - Нейронные сети (778923), страница 166
Текст из файла (страница 166)
торов весов. Другими словами, добавленные задержки хранения требуются только для состояний, в то время как обратное распространение дельт осуществляется без задержек. ° Обратное распространение бз остается симметричным по отношению к прямому распространению состояний. ° Порядок вычислений линеен по отношению к нумерации синаптических весов в сети, как и при подходе мгновенного градиента.
Распределенные сети Т1.Р]ч[ являются более сложной структурой, чем фокусированные Т[.Е]ч], описанные в разделе 13.4. Более того, временной алгоритм обратного распространения, требуемый для обучения распределенных Т[.Р]ч[, требует больших вычислительных мощностей, чем стандартный алгоритм обратного распространения, используемый для обучения фокусированных Т1.Р]ч[. При окончательном анализе использование одного из этих двух подходов определяется тем, требует ли рассматриваемая задача временной обработки в стационарной или иестационарной средет. з В [! 110] временной алгоритм обратного распространения испольшввлся лля нелинейною прогнозирования нестационарных временных последовательностей, представляюших хаотические пульсации в Ннз-лазере.
Эти последовательности были частью соревнования банга Ре !пзбшге Типе-яепез Согпреййоп, которое проводилось в США в 1992 году. Решение Вана !'йгап) для этой задачи временной обработки выиграло это соревнование у разнообразных решений, использовавших стандартные сети прямою распространения н рекуррентные сети, а также некоторые традиционные линейные техники [1110]. Хаос будет рассмотрен в главе 14. 13.10.
Резюме и обсуждение 829 13.10. Резюме и обсуждение Потребность во временной обработке возникает в многочисленных прикладных за- дачах, в том числе следующих. ° Прогнозирование (ргесйс!юп) и моделирование временных рядов ( 6ше зепез) [145), [434). ° Шумоподавление (по)зе сапсе11а6оп), в котором требуется использовать первичные сенсоры (получакнцие желаемый сигнал, загрязненный шумом) и ссылочные сенсоры (гегегепсе зепзог) (получающие коррелированную версию шума) [434), [11441 ° Адаптивное уравнивание (ас$ар6че еппайха6оп) неизвестного канала связи [434), [859).
° Адаптивное управление (адар6че сои!го!) [7731. ° Идентификация систем (зуыегп Ыепййсабоп) [664). Уже существуют отработанные теории для решения вышеперечисленных задач для случаев, когда рассматриваемая система или физический механизм линейны (см. вышеуказанные книги). Однако, если система или физический механизм нелинейны, задача оказывается более сложной. В ситуациях такого рода нейронные сети имеют потенциал для предоставления подходящего решения, таким образом проявляя свои отличительные характеристики. В контексте нейронных сетей для временной обработки подходят два их типа.
° Сети прямого распространения с задержкой яо времени (Т1.ЕЧ). ° Рекуррентные сети. Обсуждение рекуррентных сетей приводится в следующих двух главах. В настоящей главе описаны два типа сетей Т[.ЕЧ вЂ” фокусированные и распределенные. В фокусированных Т(.ГХ кратковременная память сосредоточена на переднем плане статической сети, что упрощает ее конструкцию. Обучение фокусированной ТЬГХ осуществляется стандартным алгоритмом обратного распространения (в предположении, что статическая сеть реализована многослойным персептроном). Универсальная теорема миопического отображения (пшчегаа1 шуор(с шарр(п8 !пеогеш) [928), [929) является теоремой существования в том смысле, что она содержит математическое доказательство возможности аппроксимации произвольного миопического отображения (т.е.
причинного отображения с равномерно затухающей памятью) с помощью последовательности двух функциональных блоков: банка линейных фильтров и статической нейросети. Такая структура может быть создана с помощью фокусированной Т(.РХ. Эти сети и являются физической реализацией вышеназванной теоремы. 830 Глава ЗЗ. Временная обработкас использованием сетейпрямого распространения Второй класс Т1.РХ, распределенные, основаннаиспользованиипространственновременной модели нейрона — нейронного фильтра с несколькими входами. Эта модель использует фильтры импульсного отклика с конечной длительностью (Р1К- фильтры) в качестве синаптических фильтров. Как таковые нейронные фильтры с несколькими входами являются мощным функциональным блоком для пространственно-временной обработки сигнала, созданной на базе одного нейрона. Для обучения этих фильтров можно использовать 1.МЯ-алгоритм (см.
главу 3), однако для обучения распределенной ТЬРХ требуется более сложный алгоритм обучения. В качестве примера такого алгоритма в разделе 13.9 был сформулирован временной алгоритм обратного распространения. Отличительным свойством распределенных Т1.РХ является способ, которым неявное представление времени распределяется по всей сети. Из этого и происходит их способность работать в нестационарной (изменяющейся во времени) среде. В противоположность этому в фокусированных Т(.РХ по определению явное представление времени сконцентрировано на переднем плане сети, что ограничивает их использование только стационарными (инвариантными к времени) средами. Задачи Фокусироаанные Т~.ЕМ 13.1. Перечислите основные атрибуты фокусированных ТЬРХ, используемых для моделирования нелинейных динамических процессов.
13.2. Фокусированиях Т1.РХ, показанная на рис. 13.10, использует память на основе линии задержки с отводами для реализации кратковременной памяти. Каковы достоинства и недостатки фокусированных Т1.РХ, использующих для кратковременной памяти гамма-память? 13.3. В главе 2 качественно описан динамический подход к реализации нелинейных адаптивных фильтров.
Этот метод использует статические нейронные сети, моделирование которых обеспечивается путем подачи входных данных через скользящее окно. Это окно смещается при подаче каждого следующего примера данных. При этом самый старый пример отбрасывался, чтобы освободить место новому.
Обсудите, как можно использовать фокусированные ТЬРХ для реализации этой формы непрерывного обучения. Задачи 831 Пространственно-временные модели нейронов 13.4. Рассмотрим нейронный фильтр, индуцированное локальное поле о,(г) которого определяется формулой (13.16). Предположим, что в этом равенстве функция времени й(г) заменена смещенным единичным импульсом; Ь,(1) = б(1 — т,), где т,. — фиксированная задержка. Опишите, как изменится нейронный фильтр при такой модификации. 13хй Используя алгоритм ЬМЗ, сформулируйте алгоритм обучения нейронного фильтра с несколькими входами, показанного на рис. 13.9.
Обратное распространение во времени 13.6. На рис. 13.18 показано использование временного окна гауссовой формы (Оапзяап-з)шрео йпе зн)пдон) как метода временной обработки [139]. Временное окно, ассоциированное с синапсом 1 нейрона 7', обозначается как 8(п,т паэт), где т;, и и„— соответственно меры времени задержки и ширины: 1 / 1 6(п,т„п,) = ехр1 — — (п — т„.) ) . ъ'2пп з З, 2пез ) Исходя из этого, выход нейрона у моделируется следующим соотношением: ~но у (п) = ф ,') ш„и;(п) с=я где и; (п) — свертка входа к, (п) и временного окна 8(п, т„, и„).
Вес ш„и задержка времени т,, синапса1, принадлежащего нейрону 7', должны обучаться с учителем. Это обучение может быть реализовано с использованием стандартного алгоритма обратного распространения. Продемонстрируйте этот процесс обучения с помощью вывода уравнений коррекции величин т,п п„и и~„ 13.7. Материал, представленный в разделе 13.9, посвященном временному алгоритму обратного распространения, имеет дело с синаптическими Р)К- фильтрами равной длины.
Как поступить, если НК-фильтры будут иметь разную длину? 832 Глава 13. Временная обработкас использованием сетейпрямого распространения Вход х~(л) Вход хг(л) и(л) Вход х„(л) — ~ Время л Рис. 13.1В 13.8. Обсудите, как временной алгоритм обратного распространения можно использовать для обучения распределенной Т1.Нх) для одношагового прогнозирования. 13.9. Расхождения между причинной (санда!) и беспричинной (попсаваа1) формами алгоритма обратного распространения во времени аналогичны отличиям стандартного алгоритма 1.МЯ от алгоритма 1.МВ с задержками во времени (см. главу 3). Продолжите эту аналогию.
Компьютерное моделирование х(п) = ~» д,(г(п — 1) + т» дгрв(п — 1)с(п — 1) +..., где д„д,,... — коэффициенты Вольтерра; о(п) — образы белого, независимо распределенного гауссова шума; х(п) — результирующий выход модели Вольтерра. Первое слагаемое суммирования представляет собой хорошо знакомую модель ряда со скользни(им средним (пючшй ачегайе 1ппе зепез), а второе слагаемое двойной суммы — нелинейные компоненты все возрастающего порядка. В общем случае оценка коэффициентов Вольтерра довольно сложна, в основном по причине нелинейности соотношений по отношению к данным. 13.10.
В этой задаче стандартный алгоритм обратного распространения будет использоваться для решения сложной задачи нелинейного прогнозирования и сравнивать его производительность с алгоритмом 1.МЯ. Рассматриваемые временные последовательности созданы с помощью дискретной модели Воль- терра (Чо!(епа пюде!), имеющей следующий вид: Задачи 833 В данной задаче мы рассмотрим простейший пример: х(п) = о(п) + 11о(п — 1)и(п — 2).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
