Хайкин С. - Нейронные сети (778923), страница 163
Текст из файла (страница 163)
Эта сеть имеет следующие характеристики. Множество данных, использованных для обучения сети, состояло из 500 случайных примеров, каждый их которых состоял из 20 упорядоченных по времени примеров, выбранных из последовательностей (х(п)(. На рис. 13.11, а показана суперпозиция одношагового прогнозирования, выполняемого сетью на не встречавшихся ранее (при обучении) данных и фактического сигнала. На рис.
13.11, б показан график ошибки прогнозирования, определяемой как разность между прогнозированным и фактическим значениями. Среднеквадратическое значение этой ошибки прогнозирования равно 1,2 х 10 з. 13.5. Компьютерное моделирование Порядок памяти на основе линии задержки с отводами, р Скрытый слой, т1 Функции активации скрытых нейронов Выходной слой Функция активации выходного нейрона Параметр интенсивности обучения (для обоих слоев) Константа момента 20 10 нейронов Логистические 1 нейрон Линейная 0,01 Отсутствует 13.6. Универсальная теорема миопическою отображения 813 1,5 0,5 П 0 — 0,5 — 1,5 0 50 100 150 200 250 300 а) 0,2 0 Š— 0,2 0 50 100 150 200 250 300 Время, а О) Рис.
13.11. Результаты компьютерного моделирования с одношаговым прогнозированием: суперпозиция фактического (сплошная линия) и прогнозированного (пунктир) сигналов (а), ошибка прогнозирования (б) 13.6. Универсальная теорема миопического отображения Нелинейный фильтр (см. рис. 13.9) можно привести к виду, показанному на рис.
13.12. Эта обобщенная динамическая структура состоит из двух функциональных блоков. Блок с меткой 16 ) ~, представляет собой многочисленные свертки во временной области, т.е. банк параллельно работающих линейных фильтров; )15 выбирается из большого множества ядер с действительными значениями, каждое из которых представляет собой импульсный отклик некоторого линейного фильтра. Блок с меткой Я представляет собой некоторую нелинейную статическую (не имеющую памяти) сеть прямого распространения (например, многослойный персептрон).
Структура, показанная на рис. 13.12, представляет собой универсальный динамический оператор (цп(уегза! дупаап(с шаррег). В 1928) показано, что любое инвариантное к смещению миопическое отобрижение (шуорас шар) может быть при достаточно мягких условиях как угодно хорошо равномерно аппроксимировано структурой, имеющей форму, показанную на рис. 13.12. Требование миопичности сети эквивалентно равномерному затуханию па- 814 Глава 13. Временная обработкас использованием сетейпрямою распространения Вход х(л) Выход у(л) Статическая нелинейная сеть Банк ллер свертки (линейных фильтров) Рис.
13.12. Общая структура для универсальной теоремы ыиопичвското отображения Любое инвариантное к смещению миопическое динамическое отображение может быть как угодно хорошо аппрокеыыировано структурой, состоящей из двух функци- ональных блоков: статической нейронной сети и банка линейных филыпров, форми- рующего ее входные данные. Структура, внедренная в эту теорему, может иметь форму фокусированной ТЕЕХ. Также важно отметить, что эта теорема выполняется и в случаях, когда входной и выходной сигналы являются функциями конечного числа переменных (как, например, при обработке изображений).
Универсальная теорема миопического отображения имеет широкое практическое применение. Она не только осуществляет математическое обоснование ХЕТгайс и его возможного расширения, использующего гамма-память, но и формулирует среду для создания более сложных моделей нелинейных динамических процессов. Многочис- з Основные формулировки н доказательства универсальной теоремы мнооическото отображения содержатся в (927!.
мяти (цп!(Опп Та()(пй шепюгу). При зтом предполагается, что преобразование имеет свойство причинности (савва!), т.е. данный выходной сигнал генерируется отображением в момент времени и >О только в том случае, если соответствующий входной сигнал применяется в момент времени п = О. Под инвариантностью к смещению подразумевается следующее: если у(п) — выход отображения входного сигнала х(п), тогда выход отображения смещенного входного сигнала х(п — по) будет равен у(п — по), где пс — некотоРое натУРальное (!п1ейег) число. В [929] показано, что длЯ любого инвариантного к смещению отображения одной переменной, имеющего равномерно затухающую память, существует некоторая гамма-память и статическая нейронная сеть, комбинация которых произвольно хорошо аппроксимирует это отображение.
Теперь можно сформулировать универсальную теорему миопического отображениях [928], [929]. 13.7. Пространственно-временные модели нейрона 816 ленные свертки на переднем плане структуры (см. рис. 13.12) могут быть реализованы линейными фильтрами с конечной (КИХ) или бесконечной (БИХ) импульсными характеристиками. С другой стороны, статическая нейронная сеть может быть реализована с использованием многослойного персептрона, сети на основе радиальных базисных функций или машины опорных векторов и соответствующих алгоритмов (см.
главы 4-6). Другими словами, при создании нелинейных фильтров и моделей нелинейных динамических процессов можно опираться на материал, изложенный в главах, посвященных обучению с учителем. Более того, предполагая устойчивость линейных фильтров, входящих в структуру, приведенную на рис. 13.12, можно говорить о внутренней устойчивости (1ппегеп!1у з1аЫе) всей этой структуры. Таким образом, имеется четкое разделение ролей и методов работы с кратковременной памятью и нелинейностью, не содержащей память. 13.7. Пространственно-временные модели нейрона Фокусированный нейронный фильтр (см. рис. 13.9) имеет довольно интересную интерпретацию, о которой речь пойдет в этом разделе. Комбинацию элементов единичной задержки и соответствующих синаптических весов можно рассматривать как фильтр с конечной ичнульсной характеристикой (Йп(ге-дпга6оп ппрп!зе гезропзе 61- 1ег — НК) порядка р (рис.
13.13, а). НК-фильтр является одним из основных конструктивных блоков при обработке цифрового сигнала 1444), [802). Следовательно, фокусированный нейронный фильтр (см. рис. 13.9) фактически является нелинейным КИХ-фильтром, показанным на рис. 13.13, б. Можно построить такое представление и таким образом расширить вычислительную мощность нейрона в пространственном смысле, используя все то входы (рис.
13.14). Пространственно-временная модель, приведенная на рис. 13.14, называется нейронным фильтром с несколькими входами (пш!йр!е (прог пешопа! б)гег). Существуег еще один способ описания модели, показанной на рис. 13.14: ее можно рассматривать как раснределенный нейронный фильтр (дЫИЬпгед пепгопа! 6!гег) в том смысле, что действия фильтрации проводятся для различных пространственных точек. Эта пространственно-временная модель имеет следующпе характеристики. ° Нейрон имеет то "первичных*' синапсов, каждый из которых состоит из линейного фильтра дискретного времени, выполненного в форме порядка р.
Первичные синапсы при обработке сигнала учитывают пространственное измерение. ° Каждый из "первичных" синапсов имеет (р + 1) "вторичных" синапсов, которые связывают его с соответствующими входами и отводами памяти НК-фильтра, учитывая при обработке сигнала временное измерение. 816 Глава 13. Временная обработкас использованием сетейпрямого распространения (а) = ~~~~ их(а) Х(и — я) а-а а) Внешиеесмешеиие ь, Вход х,(а) у,(и) Функция активации б) Рис. 13.13. Фильтр с конечной импульсной характеристикой (КИХ) (а); интерпретация нейронного фильтра как нелинейного КИХ-фильтра (б) Внешнее х,(и) Множество «,(и) входов Внход у(и) х„(и) Рис.
13.14. Нейронный фильтр с несколькими входами Синаптическая структура нейронного фильтра (см. рис. 13.14) напоминает дерево, показанное на рис. 13.15. Общее количество синаптических весов в этой структуре равно то(р+ 1). Переходя к математическим терминам, пространственно-временную обработку, выполняемую нейронным фильтром на рис. 13.14, можно описать следующим образом: та Р у,(т)) = (р ~~~ ~ ы,,(1)х,(п — 1) + 6 .=г (=о (13.
13) 13.7. Пространственно-временные модели нейрона 817 К стволам памяти 1 (в том числе и ко вхолам) К стволам памяти 2 (атом числе и ко вхолам) Узел активаиии К отводам памяти ма (в том числе и ко вхолам) Рис. 13.15. Дрееопсдобное описание смнаптмческой структуры нейронного фильтра с несколькими входами где тс„(1) — вес 1-го вторичного синапса, принадлежащего а-му первичному синапсу; жт(п) — входной сигнал, применяемый к т-му первичному синапсу в момент времени и; Ьз — смещение (Ь(аз), применяемое к нейрону.
Индуцированное локальное поле о (и) нейрона, т.е. аргумент функции активации тр в выражении (13.13), можно рассматривать как дискретную по времени аппроксимацию следующей формулы в непрерывном времени: ос ге ,(1) =, ''/ Ь,,(Ц*((1-Х)( +Ь,. т=( (13.14) Интеграл в формуле (13.14) является сверпигой непрерывного входного сигнала х,(1) и импульсного отклика дт (1), характеризующей линейный непрерывный фильтр, представляющий синапс а. Уравнение (13.14) является самым общим способом описания пространственно-временного поведения индуцированного локального поля нейрона.
818 Глава 13. Временная обработкас использованием сетейпрямого распространения Аддитивная модель Уравнение (13.14) является основой другой широко используемой пространственно- временной модели нейрона. Предположим, например, что мы упростили временное поведение нейрона, использовав параметр масштабирования для определения знака и направления "типичного" синаптического импульсного отклика. В этом случае можно записать, что 6„1г) = шт; 6,(г) для всех г, (13.15) где 6 (г) моделирует временные характеристики типичного постсинаптического потенциала, а ш,; — скаляр, определяющий его знак (возбуждение или торможение) и общую мощность соединения между нейроном у и входом г' 1968).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
