Хайкин С. - Нейронные сети (778923), страница 167
Текст из файла (страница 167)
Эта последовательность имеет нулевое среднее, она не коррелированна и, таким образом, имеет белый спектр. Однако примеры этой последовательности взаимозависимы. Таким образом, можно построить систему прогнозирования более высокого порядка. Дисперсия выхода этой модели определяется по следующей формуле: п2 п2 + )5згг2 (13.49) где п~ — дисперсия белого шума. а) Сконструируйте многослойный персептрон, в котором входной слой состоит из 6 нейронов, скрытый — из 16 нейронов, а выходной содержит всего один нейрон.
Для питания входного слоя используется память на основе линии задержки с отводами. Скрытые нейроны используют сигмоидные функции активации, ограниченные в интервале [О, 1], в то время как выходной нейрон работает в режиме линейного сумматора. Эта сеть обучается с помощью стандартного алгоритма обратного распространения, имеющего следующие характеристики. Параметр интенсивности обучения ц =0,001 Константа момента а=0,6 Общее количество подаваемых примеров 100000 Количество примеров в одной эпохе 1000 Количество эпох 2500 Дисперсия белого шума п~ задана равной единице.
Следовательно, при 1з =0,5 окажется, что дисперсия на выходе системы прогнозирования составит п~ = 1,25. Вычислите кривую обучения этой системы прогнозирования, представив дисперсию выхода х(и) как функцию от количества эпох примеров обучения, которое по условиям задачи ограничено числом 2500. Для подготовки каждой из эпох обучения используйте следующие два режима. — Упорядочивание по времени примеров обучения при смене эпох производится по той же форме, по которой они генерируются.
— Упорядочивание примеров обучения по отношению к состояниям носит случайный характер. Для мониторинга обучения системы прогнозирования используйте перекрестную проверку (см. главу 4), в которой множество проверки состоит из 1000 примеров. 834 Глава 13. Временная обработкас использованием сетейпрямою распространения б) Повторите этот эксперимент, используя алгоритм 1,МБ, сконструированный для осуществления линейного прогнозирования на основе представленных шести примеров. Параметр скорости обучения в этом алгоритме установите в значение 1) = 10 ь. в) Повторите весь эксперимент для следующих пар параметров: ~3 = 1, ттг 2.р 2 пз 5 Результаты каждого эксперимента должны показать, что в самом начале алгоритмы обратного распространения и 1.МБ проходят практически одинаковый путь, после чего первый улучшает свою производительность прогнозирования, достигая заранее заданного значения дисперсии оз. ЬСЬЙ44~щММК„. Ф, ЬййяФ(эачь)ВГ:КЗФ~М'ЬФФЙ44йя()яйМ4МФЙМФЙФ йя8МФйфф1~! Нейродинамика 14.1.
Введение В предыдущей главе, посвященной обработке сигналов во времени, рассматривались структуры кратковременной памяти и работа статических нейронных сетей (на примере многослойного персептрона), выступающих в роли динамического оператора при поддержке структуры памяти. Еще одним важным способом встраивания времени в неявном виде в работу нейронной сети является использование обратной связи (геедЬас1с). Обратная связь может присутствовать в нейронной сети в двух видах: в виде локальной обратной связи (т.е. на уровне одного нейрона сети) и глобальной обратной связи (т.е. охватывающей всю сеть).
Локальная обратная связь является объектом, с которым довольно просто работать, а глобальная обратная связь оказывает на сеть очень большое влияние. В литературе по нейронным сетям сети с одной или несколькими обратными связями называют рекуррентными (гесштеп1). В этой и следующей главах мы сосредоточим внимание на рекуррентных сетях, использующих глобальную обратную связь. Обратная связь подобна обоюдоострому лезвию: будучи некорректно примененной, она может произвести пагубный эффект. В частности, применение обратной связи может привести к неустойчивости системы. В этой главе основной интерес представляет устойчивость рекуррентных сетей. Остальные аспекты этих сетей рассматриваются в следующей главе.
Область знаний, в которой нейронные сети рассматриваются как нелинейные динамические системы и основной упор делается на проблему устойчивости (з|аЪ(йгу), называется нейродинамикой (пенгод1паппсз) 1466). Важным свойством устойчивости (или неустойчивости) нелинейных динамических систем является то, что оно распространяется на всю систему. В результате наличие устойчивости всегда принимает одну из форм согласованности между отдельными частями системы (72). Изучение нейродинамики началось в 1938 году работой, в которой несбыточные мечты о применении динамики в биологии переросли в первое исследование (8731.
Устойчивость нелинейных динамических систем является достаточно сложным вопросом. Когда речь идет о задаче устойчивости, обычно ее понимают в терминах 838 Глава 14. Нейродинамика критерия устойчивости типа "ограниченный вход — ограниченный выход" (Ьоцпдед [прпг-Ьоппдед опГрнг з1аЪ[1йу спгепоп — В1ВО). Согласно этому критерию, под устойчивостью понимается то, что выход системы не должен неограниченно возрастать в результате подачи ограниченного входного сигнала, начального состояния или нежелательных сбоев [159]. Критерий устойчивости В1ВО хорошо подходит для линейных динамических систем.
Однако бесполезно применять его к нейронным сетям, так как подобные нелинейные динамические системы являются В1ВО-устойчивыми, поскольку в конструкцию нейрона встроена нелинейность с насыщением. Когда речь идет об устойчивости в контексте нелинейных динамических систем, то подразумевается устойчивость по Ляпунову (ззаЬ]1йу [п 1Ье зепзе ог 1.уарппоч). В работе, написанной в 1892 году, Ляпунов (русский математик и инженер) представил фундаментальные концепции теории устойчивости, известные как прямой метод Ляпунова (гйгес1 шегЬод ог 1.уарппоч). Этот метод широко используется для анализа устойчивости линейных и нелинейных систем, как зависящих, так и не зависящих от времени. Его можно напрямую применить к анализу устойчивости нейронных сетей. В связи с этим большая часть материала настоящей главы посвящена прямому методу Ляпунова.
Следует заметить, что его применение — задача не из легких. При изучении нейродинамики можно пойти двумя путями, в зависимости от интересующего ее применения. ° Путем детерминированной нейродинамики, в которой модель нейронной сети имеет детерминированное поведение. В математических терминах эта модель описывается как система нелинейных дифференциальных уравнений, определяющих точную эволюцию системы как функцию времени [202], [402], [479]. ° Путем статистической нейродинамики, в которой модель нейронной сети подвержена влиянию помех.
В этом случае работа веде.гся со стахастическими нелинейными дифференциальными уравнениями, и решение выражается в вероятностных терминах [25], [32], [825]. Комбинация стохастичности и нелинейности усложняет объект исследования. В этой главе ограничимся детерминированной нейродинамикой. Структура главы Материал этой главы разбит на три части. В первой части (разделы 14.2 — 14.6) представлен вводный материал. В разделе 14.2 поданы некоторые фундаментальные концепции динамических систем, а в разделе 14.3 обсуждаются устойчивости точек равновесия.
В разделе 14.4 описаны различные типы аттракторов, которые используются при изучении динамических систем. В разделе 14.5 мы вернемся к аддитивной модели нейрона, которая была выведена в главе 13. В разделе 14.6 описаны операции с аттракторами как нейросетевая парадигма. 14.2. Динамические системы 837 Во второй части главы (разделы 14.7 — 14. 11) речь пойдет об ассоциативной памяти. Раздел 14.7 посвящен подробной дискуссии о моделях Хопфилда и использовании их дискретных версий в качестве ассоциативной или коитеитио-адресуемой (сопГепы аддгеззаЫе) памяти.
В разделе 14.8 описано компьютериое моделирование этого применения сетей Хопфилда. В разделе 14.9 будет представлеиа теорема Кохеиа— Гроссберга для нелинейных динамических систем, для которой сети Хопфилда и другие виды ассоциативной памяти являются частным случаем. В разделе 14.10 описана еще одна иейродииамическая модель, которая хорошо подходит для кластеризации. В разделе 14.11 рассматривается компьютерное моделирование этой второй модели. Последняя часть главы (разделы 14.12 — 14.14) посвящена вопросу хаоса. В разделе 14.12 рассмотрены иивариаитиые характеристики хаотического процесса, за чем в разделе 14.13 последует обсуждение вопроса, более тесно связанного с нашим предметом, — динамического восстановления хаотического процесса.
В разделе 14.14 рассматривается компьютерное моделирование такого восстановления. Глава завершится выводами и рассуждениями. 14.2. Динамические системы Для того чтобы приступить к изучению иейродииамики, нужна математическая модель, описывающая динамику нелинейной системы. Для этой цели, естественно, подходит модель в пространстве состояний (зш1е-зрасе люде!).
В соответствии с ией рассуждения будут проводиться в терминах переменныя состояний (згасе чапаЫе), значения которых (в любой конкретный момент времени) должны содержать ииформацию, достаточную для прогнозирования эволюции системы. Пусть х1(1), хз (г),..., хн (г) — переменные состояния некоторой нелинейной динамической системы, где Ф— независимая переменная непрерывного времени; Х вЂ” порядок системы. Для удобства выкладок эти состояния собраны в вектор х(1) размерности и х 1, который называется вектором состояний (зга1е кесГог) системы.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
