Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 44
Текст из файла (страница 44)
На рис. 18.1 приведена схема модифицированной искусственной нейронной сети Т. Сэнгера, набранной из нейронов Э. Оя и реализующей алгоритм (18.9). Первый слой сети образован нейронами-кодерами, осуществляющими предварительную обработку сигналов путем их центрирования и нормирования с помощью соотношений (17.3) и (17.9).
Далее сигналы х,(ус),х,(ус),...„х„(ус) путем решения задачи нелинейного программирования с помощью неопределенных множителей Лагранжа. Однако если обработка данных должна производиться в реальном времени, на первый план выходят нейросетевые технологии, среди которых следует отметить правило самообучения и нейрон Э. Оя, подробно рассмотренные в подразделе 4.7.5. Именно с помощью правила Оя в виде Няйрон Оя 'Х П ° Оя: ~+)- ',с,' я„(/с) Оя Рис. 18.1 — Нейронная сеть Т. Сэнгера обрабатываются во втором скрытом слое, образованном т нейронами Э.
Оя, после чего поступают на выходной слой, сформированный элементами с 300 18 НЕЙРОСЕТЕВАЯ КОМПРЕССИЯ ДАННЫХ активационными функциями-выпрямителями с зоной нечувствительности (рис. 1.3) и, если и >О, у(и) = 0 в противном случае, (18.10) что позволяет выделить информативные сигналы у,.
(й) и отсеять шум. Нейронная сеть Сэнгера является эффективным средством сжатия информации с минимальными потерями точности, однако ее возможности ограничены тем, что реализуя по сути стандартную технику факторного анализа, она решает линейную задачу, в то время как основным преимуществом нейросетевых технологий является возможность работы в сугубо нелинейных ситуациях.
Задача нелинейного факторного анализа эффективно может быть решена с помощью автоассоциативного трехслойного персептрона [27, 33, 236~, известного еще под названием «Бутылочное горлышко» (Вой1е пес1). На рис. 18,2 приведена схема автоассоциативного обучения многослойного персептрона, в процессе которого минимизируется модификация глобальной целевой функции (4.323) в виде Е' =~Е(lс) = — ~~(х,.(Й) — о','(Й)) = — ~~с,(Й). г„,, ' ' г...' (18.11) Рис. 18.2 — Автоассоциативный трехслойный персептрон 301 Обучение может быть осуществлено с помощью любой процедуры обратного распространения ошибок с тем отличием, что в качестве обучающего образа Ы(А) используется сам входной сигнал хай), подлежащий сжатию.
Возвращаясь к схеме трехслойного персептрона на рис. 2.4, отметим, что на нулевой слой поступает и-мерный вектор входных сигналов хай) (и, =и), первый скрытый слой содержит и, =и нейронов, второй скрытый слой— и, = и < и нейронов и выходной слой - и, = и нейронов. Целью ассоциативного обучения является восстановление на выходе сети сигнала о'"(й), наилучшим образом аппроксимирующего входной сигнал х(1). Собственно же сжатие информации происходит во втором скрытом слое, содержащем меньшее число нейронов, чем первый и выходной слои.
Именно с выхода второго скрытого слоя снимается «сжатый» сигнал у(Ус) = о' '~Ус), при этом в результате такого подхода к компрессии информации достигается оптимальное решение задачи нелинейного факторного анализа ~33). Заметим также, что если в качестве нейронов персептрона «Бутылочное горлышко» использовать адаптивные линейные ассоциаторы, приходим к решению стандартной задачи компонентного анализа, решаемой нейросетью Сэнгера, имеющей тем не менее преимущество перед многослойным персептроном по скорости обучения. 302 19 ПРОГНОЗИРОВАНИЕ ВРЕМЕННЫХ РЯДОВ С ПОМОЩЬЮ НЕЙРОННЫХ СЕТЕЙ 19 ПРОГНОЗИРОВАНИЕ ВРЕМЕННЫХ РЯДОВ С ПОМОЩЬЮ НЕЙРОННЫХ СЕТЕЙ В настоящем разделе рассмотрена задача прогнозирования многомерных стохастических временных рядов в условиях структурной и параметрической неопределенности, кратко отмеченная в подразделе 4.2.5 (рис.
4.8). Поскольку в общем случае природа наблюдаемой последовательности неизвестна, наиболее адекватным для прогнозирования в данной ситуации является применение искусственных нейронных сетей, позволяющих по прошлым наблюдениям восстанавливать нелинейное отображение вида [333 — 34Ц х(Ус) = Г(х(Ут — 1),х(Й вЂ” 2),...,х(Ус — ил))+е(Ус) = х(Ус)+е(Ус), (19.1) где х(Ут) — оценка (прогноз) значения х(Ус), полученная на выходе нейросети, представляющей в данном случае нелинейную авторегрессионную (МАК) модель; е(Ус) - ошибка прогнозирования. Возможность и эффективность использования МАК-модели (19.1) в задачах прогнозирования определяется теоремой Тэкенса о диффеоморфизме 1342], устанавливающей существование порядка модели п.
„который обеспечивает сколь угодно малое значение ошибки е(Ус), и универсальными аппроксимирующими свойствами ИНС. В качестве основы для построения 1ЧАК-моделей чаще всего используются многослойные сети с прямой передачей информации, входной (нулевой) слой которых образован линиями элементов чистой задержки;, ' с отводами. На рис. 19.1 приведена архитектура многослойной сети, а на рис. 19.2— схема стандартного формального статического нейрона! — го слоя, У = 1,2,...,У., с точностью до обозначений совпадающие со схемами на рис. 1.2, 2.4 б. и, х1 и, х! пп ~ х1 п,х1 п, х1 Выхолной скрытый слой Второй скрытый слой Первый скрытый слой Рис.
19.1 — т.-слойная нейронная сеть с прямой передачей информации На первый скрытый слой сети поступает л = п, = л = лш — мерный вектор х~ ~, сформированный в нулевом слое с помощью элементов задержки (т. 'хЖ) =х(й — 1)) и образованный прошлыми значениями прогнозируемого временного ряда х(й — 1),.х(Ус — 2),..., х(Ут — ~г"') . Выходным сигналом первого скрытого слоя является (лтх1) — вектор х~ ~, подающийся на вход второго скрытого слоя и т.д. На выходе т.-го (выходного) слоя появляется прогнозный 303 и = и„„-мерный вектор х.
Таким образом, каждый слой имеет и, входов и и„, выходов и характеризуется (и„, х(л, + 1)) -матрицей синаптических весов И" ш и (и„, х и„, ) -диагональным оператором Ч'"', образованным нелинейными активационными функциями у1.", / = 1,2,..., и„,. П 2 х Л Рис. 19.2 — Статический нейрон «Строительным блоком» такой сети является стандартный статический нейрон, реализующий нелинейное отображение (19.2) л, +1 синаптических весов и',.',.' которого подлежат уточнению в процессе обучения нейронной сети.
Всего сеть содержит ~~ (п, + 1)и,„, неизвестных параметров, настраиваемых l =! с помощью процедуры обратного распространения ошибок (подраздел 4.6), и состоит по сути из двух частей: статической ИНС, отвечающей за нелинейное отображение, и динамической памяти на элементах задержки, позволяющей сформировать на выходе сигнал, являющийся функцией времени. Именно эти сети известные также как ИНС с временными задержками (подраздел 9.5) получили наиболее широкое распространение в задачах прогнозирования временных последовательностей самой различной природы.
Общим недостатком прогнозирующих нейронных сетей на статических нейронах является чрезвычайно большое число настраиваемых весов и низкая скорость обучения, что, естественно, вызывает серьезные проблемы, особенно при работе в реальном времени. 304 19 ПРОГНОЗИРОВАНИЕ ВРЕМЕННЫХ РЯДОВ С ПОМОЩЬЮ НЕЙРОННЫХ СЕТЕЙ х!'М [и[! (~) Рис. 19.3 — Синапс — КИХ-фильтр Несложно видеть, что (19.3) или [! -[! ()с) [...[[[[: Х [[[~,с (19.4) где И~.'.ц =(и'..'„и"..[„...,и''„,); Х''(Ф) =(х-''(/с),х" (Й вЂ” 1),...,х''(1с — п'')) — ((и''+ +1)х1) - векторы. Тогда нелинейное отображение, реализуемое динамическим КИХ- нейроном, условное изображение которого приведено на рис.
19.4, можно записать в виде Л~ Ю~ х',"'[(Ус) =Ч/['"[(и["пж)) =Чl,"! Еи[!"[(й) =Чу[[! ЕИГ[l[тх
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
