Хайкин С. - Нейронные сети (778923), страница 161
Текст из файла (страница 161)
Компьютерное моделирование этой структуры описывается в разделе 13.6. В третьей части главы (разделы 13.7 — 13.9) рассматриваются сети прямого распространения с распределенным временем запаздывания (Йз~пЬпгеб йше 1а88ед гееогогиагд пеллеас), в которых задержки в линии рассредоточены по всей сети. В разделе 13.7 описываются пространственно-временные модели нейрона, а в разделе 13.8 рассматривается вышеназванный класс нейронных сетей. В разделе 13.9 описывает- 13.2. Структуры кратковременной памяти 801 ся "временной" алгоритм обратного распространения для обучения с учителем сетей прямого распространения с рассредоточенным временем запаздывания.
Раздел 13.10 завершит главу несколькими заключительными замечаниями. 13.2. Структуры кратковременной памяти Основной задачей памяти является преобразование статической сети в динамическую. В частности, внедряя память в структуру статической сети (например, многослойного персептрона),мы делаем выходной сигнал зависимым от времени. Этот подход к созданию нелинейных динамических систем достаточно прост, так как обеспечивает четкое разделение обязанностей: статическая сеть учитывает нелинейность, а память — время. Кратковременная памятьз может быть реализована в непрерывном и дискретном времени. Непрерывное время обозначим символом 8, а дискретное — символом п. Цепь, показанная на рис. 13.1 и состоящая из сопротивления и емкости, представляет собой пример памяти непрерывного времени, которая характеризуется импульсным откликом 1а(Ф), экспоненциально убывающим по времени 1.
Эта цепь отвечает за память на синаптическом уровне и может быть представлена аддитивной моделью нейрона, которая будет описана далее в этой главе. В этом же разделе мы сконцентрируем основное внимание на памяти дискретного времени. Полезным инструментом при работе с системами дискретного времени является так называемое и-преобразование. Пусть 1х(п)) — некоторая последовательность в дискретном времени, которая может быть расширена в бесконечно далекое прошлое. з-преобразование такой последовательности определяется следующим образом: Х(з) = ~~я х(ть)з (13.1) где л ' — оператор единичной задержки (пшт де1ау оретатог).
Это значит, что оператор г ', примененный к х(п), формирует версию сигнала с задержкой х(п — 1). Предположим, что х(п) применяется к системе дискретного времени, имеющей импульсный отклик 6(п). Тогда выход всей системы определяется суммой свертки (сопчо!пйоп зшп): у(п) = ~~> Ь(1с)х(п — к).
(13.2) 7 Струатуры кратновременной памяти и ия роль во временной обработке описана в 17581. 802 Глава 13. Временная обработкас использованием сетейпрямого распространения Вхо сиги Рмс. 13.1. Цепь, состоящая мз емкости и сопротивления Элемент 1 Элементр Элемент 2 Входной сигнал Отводы Рнс. 13.2. Обобщенная память порядка р Если х(п) равно единичному импульсу, то д(п) сводится к импульсному отклику (ппрп1зе гезропзе) 6(п) системы. Одним из важных свойств г-преобразований является то, что свертка во временной области преобразовывается в произведение в з-области [444], 1802). Если обозначить х-преобразование последовательностей (6(п)) и (у(п)) как Н(з) и У(л) соответственно, применение л-преобразования к формуле (13.2) приводит к соотношению У(з) = Н(л)Х(л), (13.3) или, эквивалентно: (13.4) Функция Н(л) называется передаточной функцией (1гапзуег йшссюп) системы.
На рис. 13.2 показана блочная диаграмма памяти дискретного времени, состоящей из р идентичных блоков с каскадным соединением. Далее значение р будем называть порядком (огдег) памяти. Если рассматривать каждый из блоков задержки как оператор, его можно описать передаточной функцией С(г). Также каждый блок можно описать в терминах импульсного отклика д(п), который обладает следующими свойствами.
° Ои является причинным (сааза!), т.е, д(п) = 0 для п ( О. ° Ои является нормированным (поппайхее(), т.е. 2 ~д(п) ~ = 1. Исходя из этого, д(п) называют образующим ядром (бепегабпй !гегпе!) памяти дискретного времени. 13.2. Структуры кратковременной памяти 803 В свете рис. 13.2 можно формально определить кратковременную память как линейную, инвариантную ко времени, систему с одним входом и несколькими выходами (31МО), образующее ядро которой удовлетворяет вышеописанным требованиям. Точки коммутации, к которым подключены выходные терминалы памяти, обычно называют отводами (шр).
Обратите внимание, что память порядка р содержит р + 1 отвод (один отвод принадлежит входу). Атрибуты любой структуры памяти определяются в терминах глубины и разрешения. Обозначим как др(п) обший импульсный отклик памяти, определяемый как р последовательных сверток д(п), или, эквивалентно, обратное е-преобразование с Р(г). Глубина памяти (шешогу дербз) Р определяется как первый момент по времени др(п): (13.5) Память с небольшой глубиной Р хранит информацию только за относительно короткий период времени, в то время как память с большой глубиной хранит информацию из более отдаленного прошлого.
Разрешение ламяти (шепюгу гезо!цбоп), обозначаемое символом В, определяется как число отводов структуры памяти, соответствуюшее единице времени. Эта величина определяет уровень грубости хранения информации: чем выше разрешение, тем более точно представлена информация. При фиксированном количестве отводов произведение глубины и разрешения памяти является константой, равной порядку памяти р. Различные варианты образующего ядра др(п) приводят к различным значениям глубины Р и разрешения В, что будет продемонстрировано двумя нижеследующими примерами структур памяти.
Память на основе линии задержки с отводами На рис. 13.3 показана блочная диаграмма простейшей и наиболее широко используемой формы кратковременной памяти, которая называется памятью на основе линии задержки с отводами. Она состоит из р операторов единичной задержки, каждый из которых характеризуется функцией С(е) = е '.
Это значит, что образующее ядро д(п) = Ь(п — 1), где Ь(п) — единичный импульс: Ь(п) = (13.6) Общий импульсный отклик памяти, показанной на рис. 13.3, равен др(п) = Ь(п — р). Подставляя это значение др(п) в (13.5), получим глубину памяти, равную р, что интуитивно понятно. На рис. 13.3 показано только по одному отводу в единицу 804 Глава 13. Временная обработкас использованием сетейпрямою распространения Элемент 2 Элементр х(л -р) Элемент! Входной елтнел х(л) Оводы Рис. 1З.З. Обычная память на основе линии задержки с отводами порядка р Гамма-память На рис.
13.4 показан граф передачи сигнала основного функционального блока С(з), используемого в структуре, называемой ламма-намятью (Оапвпа шешогу) [256]. Каж- дый блок такой памяти состоит нз цикла с единичной задержкой н подстранваемым параметром )(. Передаточной функцией каждого такого блока является С(з)— 1 — (1 — р) -' — (1 — р)' (13.7) Для устойчивости единственный полюс С(з) при з = 1 — р должен лежать внутри единичного круга на з-плоскости. Это, в свою очередь, требует, чтобы О < р < 2. (13.8) Образующее ядро гамма-памяти является обратным з-преобразованием С(з), т.е.
д(и) = р(1 — )г)" ', и > 1. (13.9) Условие (13.8) гарантирует, что д(и) экспоненциально стремится к нулю при стремлении п к бесконечности. времени. Исходя из этого, разрешение такой памяти В = 1. Таким образом, глубина памяти на основе линии задержки с отводами возрастает линейно пропорционально порядку р, при этом ее разрешение фиксировано и равно единице.
Произведение глубины на разрешение дает в результате константу р. Для того чтобы осуществлять управление глубиной памяти, требуется дополнительная степень свободы. Это обеспечивается моделью, альтернативной линии задержки с отводами, которую мы рассмотрим ниже. Входной снгндд Выходной снгндд Рис. 13.4. Граф передачи сигнала в одном блоке гамма-памяти 0,8 0,6 0,4 2 4 6 0 !О Общий импульсный отклик гамма-памяти является обратным з-преобразованием общей передаточной функции: (1 Н) т.е. д„(п) = Н"(1 — Н)" ", и ) р, ),р — 1 (13. 10) ° с)-х -. -х м., для целочисленных значений и и р.
Общий импульсный отклик др(п) для переменного р представляет собой дискретную версию подынтегрального выражения гамма-функции [25б], откуда память и получила свое название. На рис. 13.5 показано семейство импульсных откликов д„(п), нормированным по отношению к Н. Такое масштабирование привело к позиционированию пикового значения д„(п) в п = р. 0,2 Рис. 13.8.
Семейство импульсных откликов гамма-памяти для порядка г) = 1,2,3,4 и 0 и=0,7 13.2. Структуры кратковременной памяти 808 606 Глава 13. Временная обработкас использованием сетейпрямою распространения учитвль ,%/ СССОСО Выходные нейроны Скрытые нейроны Уакынсточннка СОСО СО Х) СССО ОО'О СО:О О':ОО ССОО ( - а - с а е - ) Рыс. 13.6. Архитектура сети Ь!ЕТ1а!к Глубина гамма-памяти равна р/р, а ее разрешение — )а. При этом произведение глубины на разрешение равно р. Следовательно, выбирая 1г меньшим единицы, гамма- память увеличивает свою глубину (огрубляя при этом разрешение) по сравнению с памятью на основе линии задержки с отводами при заданном порядке р.
При и = 1 эти атрибуты сводятся к соответствуюшим значениям, определяемым памятью на основе линии задержки с отводам. Если !а превышает единицу, но меньше 2, то результат выражения (1 — 1а) становится отрицательным, но имеюшим абсолютное значение меньше единицы. 13.3. Сетевые архитектуры для временной обработки Сетевая архитектура для временной обработки имеет несколько форм, собственно как и структуры памяти. В этом разделе речь пойдет о двух архитектурах сетей прямого распространения, которые описаны в литературе, посвященной временной обработке. МЕТтайс Архитектура НЕТ!аПс, предложенная в 19621, впервые продемонстрировала огромную параллельную распределенную сеть, которая преобразовывала английскую разговорную речь в фонемы (фонема — зто базовая лингвистическая единица).
Па рис. 13.6 показана схематическая диаграмма системы ХЕТ!айс, которая основана на многослойном персептроне с входным слоем, состоящим из 203 сенсорных узлов, 80 нейронов скрытого слоя и 26 нейронов выходного слоя. Все нейроны используют сигмоидальные (логистические) функции активации. Синаптические связи этой сети определяются в целом 18629 весами, включая переменный порог (йгезЬо!д) для каждого нейрона, равный смещению (Ь)аз), взятому с обратный знаком. Для обучения сети использовался стандартный алгоритм обратного распространения.
13.3. Сетевые архитектуры для временной обработки 887 Во входном слое этой сети содержалось семь групп узлов. Каждая группа кодировала одну букву входного текста. В любой момент времени на вход системы подавалось семь букв текста. Желаемый отклик для этого процесса обучения определялся как корректная фонема, ассоциируемая с центральной (т.е. четвертой) буквой семи- символьного окна.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
