Хайкин С. - Нейронные сети (778923), страница 182
Текст из файла (страница 182)
~/ку Используя это приближение, покажите, что условная вероятность (14.53) может быть приближена следующим выражением: -р/2 Р(и/> ОД„о =+1) 1— х/2хр р' где р — отношение сигнал/шум. Покажите, что вероятность устойчивости состояния соответствующим образом аппроксимируется выражением х/е-р/з Рстаб. — 1 х/кр б) Второе слагаемое формулы р б, приведенной в части (а), является вероятностью того, что некоторый бит в ячейке фундаментальной памяти является неустойчивым. Для определения емкости хранения практически без ошибок недостаточно требовать только малости этого слагаемого. Оно должно быть мало по отношению к 1/А/, где Аг — размер сети Хопфилда.
Покажите, что для этого отношение сигнал/шум должно удовлетворять условию 1 р > 2 1пА/+ — 1п(2хр). 2 в) Используя результат, полученный в части (б), покажите, что минимально допустимое значение отношения сигнал/шум для успешного извлечения большинства ячеек фундаментальной памяти составляет Задачи 915 р .,„= 21п)т'. Каково соответствующее значение р б? г) Используя результат части (в), покажите, что М 21пХ' что соответствует формуле (14.55). д) Формула, выведенная в части (г) для емкости хранения, основана на допущении, что большая часть ячеек фундаментальной памяти является устойчивой.
Для более строгого определения емкости хранения без ошибок будем требовать, чтобы все ячейки фундаментальной памяти извлекались без ошибок. Используя последнее определение, покажите, что максимальное число ячеек фундаментальной памяти, которое может храниться в сети Хопфилда, составляет [42): Х 4 1п )'т' 14.9. Покажите, что функция энергии сети Хопфилда может быть представлена в следующем виде где т„ обозначает пересечения, определяемые как где х, — тхй элемент вектора состояния х; Р„. — тхй элемент ячейки фунда- ментальной памяти 6„; М вЂ” количество ячеек фундаментальной памяти.
14.10. Рассматриваемая сеть Хопфилда сконструирована для хранения двух ячеек фундаментальной памяти — (+1, +1, — 1, +1, +1) и (+1, — 1, +1, — 1, +1). 916 Глава 14. Нейродинамика Матрица синаптических весов этой сети имеет вид 0 0 0 00 0 0 — 2 20 0 — 2 0 — 20 0 2 — 2 00 2 0 0 00 (14.97) а) Сумма собственных значений матрицы Ж равна нулю. Почему? б) Пространство состояний этой сети является подпространством Яз.
Определите конфигурацию этого подпространства. в) Определите подпространство М, натянутое на векторы фундаментальной памяти и нулевое подпространство 1Ч матрицы весов зт'. Каювы устойчивые н ложные состояния этой сети? (При решении задачи можно обратиться к работе, в которой содержится более подробное описание динамики этой сети [255).) — «(г) = — т(г) +%к(г), х(г) = айп(т(1)) — кт(г), д где т(г) — вектор индуцированных локальных полей; 'гг' — матрица синапти- ческих весов; х(г) — (выходной) вектор состояния; -Й вЂ” юнстанта отрица- тельного наклона.
Пусты' — некоторое равновесное состояние сети, которое лежит в квадранте фундаментальной памяти ~м и пусть х = айп(Р) — И. Покажите, что х характеризуется следующими тремя условиями: и а) 2; х г,„,. = О, р = 2, 3,..., М, а=1 Ф б) ~;хД, =М, а=1 в) х; < 1, г = 1, 2,..., 1'т", где 4м Рз,..., гм — ячейки фундаментальной памяти, сохраненные в сети; ~„,. — г-й элемент вектора Р,„; х; — г-й элемент вектора х; М вЂ” количество нейронов. 14.11. На рис. 14.26 показана кусочно-линейная форма немонотонной функции активации.
Динамика восстановления в сети Хопфилда, использующей эту функцию активации„описывается следующим выражением: Зада Е17 циеит =-л Угловой ко Рис. 14.26. Кусочно-линейная форма немонотонной функции активации 14.12. Рассмотрим простую нейродинамическую модель, описываемую системой уравнений г(оу — ' = — оу+ ~т илф(ое)+11, т' = 1,2,...,Х. Й Описанная система всегда сходится к единственному точечному апрактору, при условии, что синаптичсские веса удовлетворяют соотношению 1 ( ~фг~)й ' птз С где ф' = е(фЯу,. Исследуйте правильность этого утверждения (для справки можно обратиться к работе, в которой выведено это условие 181)). Теорема Коэна-Гроссберга 14.13. Рассмотрим функцию Ляпунова Е, определяемую формулой (14.57).
Покажите, что — <О е(Е г(г при условии выполнения соотношений (14.59)-(14.61). 14.14. В разделе 14.10 выведена функция Ляпунова модели ВБВ на основе применения теоремы Коэна-Гроссберга. В этом выводе опущены отдельные детали, приводящие к (14.73). Восстановите зти детали. 918 Глава 14. Нейродинамика Рис. 14.27. График немонотонной функции активации 14.15. На рис. 14.27 показан график немонотонной функции активации, рассмотренной в 17551. Эта функция активации используется при построении сети Хопфилда вместо функции гиперболического тангенса. Применима ли теорема Коэна-Гроссберга к таким образом сконструированной ассоциативной памяти? Обоснуйте свой ответ. Динамически управляемые рекуррентные сети 15.1.
Введение Как уже говорилось в предыдущей главе, рекуррентными (гесцггеп!) называются нейронные сети, имеющие одну или несколько обратных связей. Обратные связи могут быть локального и глобального типов. В этой главе будет продолжено изучение рекурреигных сетей с глобальными обратными связями. Если в качестве основного строительного блока используется многослойный персептрон, то применение обратной связи может принимать несколько форм. Вопервых, можно замкнуть выходной слой многослойного персептрона на его входной слой.
Во-вторых, можно замкнуть выход скрытого слоя на вход. Так как многослойный персептрон может содержать несколько скрытых слоев, то последняя форма обратной связи может быть также сконфигурирована разными способами. Все это приводит к тому, что рекуррентные сети имеют богатый спектр архитектурных форм. В основном рекуррентные сети используются в двух качествах. ° Ассоциативная память (аааос(абие щепюпез). ° Сети отображения вход-выход ((прцыоц1рп! щарр)пд пе1зчогк).
Использование рекуррентных сетей в качестве ассоциативной памяти рассматривалось в главе 14; сейчас же речь пойдет об изучении их в качестве отображений вход-выход. Каким бы ни было испольювание рекуррентных сетей, в первую очередь подлежит рассмотрению вопрос их устойчивости (з!аЬ!1!гу) (частично этот вопрос рассматривался в главе 14). По определению входное пространство сетей отображается в выходное пространство. Для такого типа приложений рекуррентная сеть (!епзрога!!у) отвечает во времени на применяемый извне входной сигнал. Таким образом, о сетях, рассматриваемых в настоящей главе, можно говорить как о динамически управляемых рекуррентных сетях (дупишса)1у дпчеп гесштеп! не~вота).
Более того, применение обратных связей позволяет использовать описание рекуррентных сетей в виде множества состояний, 920 Глава 15. Динамически управляемые рекуррентные сети что делает их удобными устройствами в таких областях, как нелинейное прогнозирование и моделирование, адаптивное выравнивание каналов связи, обработка речевых сигналов, управление предприятием и диагностика автомобильных двигателей. Как таковые рекуррентные сети являются альтернативой динамически управляемым сетям прямого распространения (см. главу 13). Из-за наличия дополнительного эффекта глобальной обратной связи они могут гораздо лучше проявлять себя в традиционных областях применения обычных нейронных сетей прямого распространения.
Использование глобальной обратной связи позволяет значительно ослабить требования к объему используемой памяти. Структура главы Эта глава формально может быть разбита на четыре части: архитектура, теория, алгоритмы обучения и применение. В первой части (раздел 15.2) рассматриваются архитектуры рекуррентных сетей. Во второй части (разделы 15.3 — 15.5) изложены теоретические аспекты рекуррентных сетей. В разделе 15.3 рассматривается модель в пространстве состояний и связанные с ней вопросы управляемости и наблюдаемости.
В разделе 15.4 описывается модель нелинейной авторегрессии с внешними (ехойепопя) входами — эквивалент модели в пространстве состояний. В разделе 15.5 рассматриваются теоретические вопросы, связанные с вычислительной мощностью рекуррентных сетей. Третья часть (разделы 15.б — 15.12) посвящена алгоритмам обучения и связанным с ними вопросам.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
