Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 40
Текст из файла (страница 40)
(7с) !! ',Ж)+г1Ж)(хЖ) —,Ж))!! принадлежат одной клетке, и,. (/с) — т)(/с)(х(й) — и, (к)) если х(Й) и и,(/с) !!и', И) — 7И)(хЖ) — '; Ж))!! (14.8) и,. (/с+1)— пранадлежат рссзным клеткам, и,. (/с) для нейронов, не победивших в момент 1с. !!- !! Инициализация алгоритма обучаемого векторного квантования может быть осуществлена различными способами, из которых в качестве простых, но достаточно эффективных можно отметить: )' выбор в качестве и,.(0), 1=1,2,...,т любых т векторов х(1с), принадлежащих разным клеткам Вороного; )' случайный выбор и,(0) в заданном интервале изменения входных сигналов. Условия останова алгоритма обучения в стационарном случае связаны, как правило, со стабилизацией положения прототипов всех кластеров; в нестационарном же случае процесс обучения протекает непрерывно.
Весьма интересным и перспективным приложением нейронных сетей векторного квантования является адаптивное распознавание образов с помощью схемы, приведенной на рис. 14.3 [9, 235]. 272 т.е, алгоритм (14.5) превращается в стандартную процедуру стохастической аппроксимации. При а с 1 алгоритм приобретает следящие свойства, необходимые в случае, если центроиды кластеров дрейфуют во времени. Отметим также, что нормирование выходных сигналов х(1с) вовсе не гарантирует того, что прототипы кластеров будут отвечать условию !!и,! =1, а невыполнение этого условия делает невозможным в качестве оценки расстояния использовать скалярное произведение (14.5). Обойти данное затруднение несложно, модифицировав правило обучения (14.6) следующим образом: 14 НЕЙРОННЫЕ СЕТИ ВЕКТОРНОГО КВАНТОВАНИЯ Классы образов х(й) Рис.
14З вЂ” Гибридная схема адаптивного распознавания образов на основе БОМ и 1.ЧЯ 273 Как видно, данная гибридная схема состоит из двух последовательно соединенных однотипных архитектур, первая из которых (карта Кохонена) работает в режиме самообучения, а вторая (нейросеть векторного квантования) — контролируемого обучения.
Из поступающего на вход системы вектора- образа х(к) достаточно высокой размерности карта Кохонена выделяет относительно малый набор признаков )ч'к), т.е. фактически осуществляет понижение размерности входного пространства без существенной потери информации.
На втором этапе 1 ЧЯ-сеть обучается классификации поступающих образов у(й) с помощью внешнего обучающего сигнала. Такая организация процесса распознавания позволяет увеличить его быстродействие и надежность. 15 НЕЙРОННЫЕ СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ и(й) = И~ ~х(А), (15.1) где и(И) =(и,(й),и,(/с),...,и„ф))'; И'к =(и;",), 1=1,2,..., Ь; 1=1„2,...,л — (йхп)— матрица настраиваемых синаптических весов. Выходной слой, именуемый также слоем Гроссберга, образован т выходными звездами и реализует преобразование я(() = Ъ'ви(А), (15.2) где ~'и =(»~), ~'=12,...,иг; 1=1,2,...„6 — (лгхй) — матрица настраиваемых синаптических весов. Поскольку в качестве нейронов сети обычно 274 Еще одним примером гибридных ИНС являются нейронные сети встречного распространения (Сопл(егргорада6оп пепга1 пе1ъ оголя), предложенные Р.
Хехт-Нильсеном 1314-3161 в качестве альтернативы многослойным сетям с прямой передачей информации, обучаемым на основе обратного распространения ошибок. Эти сети сокращают время обучения, как минимум, на порядок по сравнению с многослойными персептронами 14, 7, 2351, хотя несколько проигрывают им по точности. Исходно эти сети были разработаны для аппроксимации по экспериментальным данным некоторого отображения у=Г(х) и нахождения обратного оператора х=Г '(у), хотя впоследствии применялись в основном в задачах распознавания образов, компрессии данных, а также в качестве ассоциативной памяти. В простейшем случае сеть встречного распространения представляет собой гибрид самоорганизующейся карты Т.
Кохонена (раздел 13) и звезд С. Гроссберга (подразделы 4.7.2, 4.7З) и соответственно сочетает в себе конкурентное самообучение с контролируемым обучением с учителем. К настоящему времени известен ряд вариантов сетей встречного распространения, простейшим из которых является однонаправленная ИНС, чья архитектура приведена на рис.
15.1. Данная сеть предназначена для аппроксимации некоторого априори неизвестного оператора Г:Х вЂ” ~У, отображающего п — мерное пространство входов в и — мерное пространство выходов, по данным обучающей выборки х(1), у(1);х(2), у(2);...;х(М), у(Ф). Как видно из рисунка, нулевой слой сети содержит л+т рецепторов и условно может быть разбит на две секции, одна из которых передает на скрытый слой образ х(й) = (х,(/с),х,(/с),...,х„(/с))', а другая — на выходной слой образ у(/с) =(у,(/с),у.,(/с),...,у„,(7с))'. Скрытый слой, называемый также слоем Кохонена, представляет собой по сути самоорганизующуюся карту, содержит 6 нейронов и реализует преобразование 15 НЕЙРОННЫЕ СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ используются адаптивные линейные ассоциаторы, несложно записать преобразования, осуществляемые отдельными нейронами и, (/с) = и~~~ х(1с), 1 = 1,2,..., Ь; у,.
(1с) = г,.л и(й), 1 = 1,2„... т (15.3) и сетью в целом у(х) = Ъ'~И~~ х(х). (15.4) х, (1с) у,® х,(1с) у, (/с) хз® уз ('() х„® у,„(/с) у„(1с) ! Нулевой слой 1 ! ! в + т рецепторов ! ! 1 Рис. 15.1 — Однонаправленная нейронная сеть встречного распространения Обучение сети встречного распространения осуществляется в два этапа. На первом этапе по данным выборки х(1),х(2),...,х(М) в слое Кохонена происходит процесс самоорганизации, в результате которого входное пространство разбивается на множество кластеров, при этом, как правило, реализуется стратегия самообучения типа «победитель получает все»: 275 у,Ж) у.
Ф) у,.® ! Слой Кохонена ! ~Слой Гроссберга Ь нейронов ! т нейронов ! ! и, (Ус)+тУ (Ус)(х(Ус) — и,~(Ус)), если У вЂ” тый нейрон победил, и,~(Ус+!) = (15.5) и! (Ус) в противном случае. На втором этапе по выборке х(1)„у(1);х(2)„у(2);...;х(М),у(Ж) настраивается выходной слой в соответствии с правилом обучения выходной звезды (4,403) а,, (Ус + !) = ч,,' (!с) + тУ,(Ус)и, (!с)(ут(Ус) — 1,, (Ус)), (15.6) где 1, если! — тый нейрон побес)ил, и,(Ус) = О в противном случае, (15.7) Рис. 15.2 — Трехслойная сеть встречного распространения Еще более простым решением, позволяющим непрерывно обучать стандартную архитектуру сети встречного распространения, является использование в слое Кохонена биполярных функций соседства и соответственно алгоритма обучения (13.12).
Тогда общее правило обучения ИНС можно записать в виде с и,~(Ус+1) = и х(Ус)+ту .(Ус)и,(й)(х(й) — яу (Ус)), У =1,2,...,Уь ( 5.8) 1".(Ус+1) =1'У(Ус)+тУ,,(Ус)и(Ус)'..>''(у (Ус)Е, — и~т(Ус)), У' =1,2,...,т, 27б т.е. фактически происходит уточнение только тех весов, которые связывают нейроны слоя Гроссберга с нейроном-победителем слоя Кохонена. В результате, если на обученную сеть подать образ х(р), не принадлежащий обучающей выборке, то сначала в слое Кохонена будет установлена его принадлежность определенному кластеру, после чего нейрон- победитель «возбудит» выходные звезды так, что на их выходах появятся сигналы, соответствующие координатам прототипа (центроида) этого кластера. В принципе не возникает особых затруднений и в том случае, если обучение сети встречного распространения необходимо производить в реальном времени.
Для этого с целью обеспечения условия (15.7) достаточно между слоями Кохонена и Гроссберга подключить сеть МАХНЕТ (раздел 11) так, как это показано на рис. 15.2. 15 НЕЙРОННЫЕ СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ где ń— (6х1) — вектор, состоящий из единиц. Несложно заметить, что в этом случае слой Кохонена состоит из входных звезд, а слой Гроссберга — из выходных. В качестве примера такого подхода можно привести архитектуру автоассоциативной памяти, приведенную на рис. 15.3 и обучаемую с помощью правила (15.8), принимающего в данном случае вид ь, (/с+1) = ь, (1с)+г)„,(1с)ц(1с)(х(/с) — и, (/с)), 1=1,2,...,6; и~(1+1) = и~(1с)+т1,,(1с)и(1с) )(х,.(1с)ń— и~(1)), с =1,2„...,п. (15.9) х,(й) х, (Й) х,®) х, (1с) хз( ) х, (1с) х„й) х„(/с) Рис. 15.3 — Автоассоциативная память на основе ИНС встречного распространения Е,И)= — (у,Ж) — ~, ий)), (15.10) 277 Скорость обучения сетей встречного распространения может быть увеличена, если слой Гроссберга настраивать не с помощью правила обучения выходной звезды (4.403), а путем минимизации стандартной локальной целевой функции т,".ф+1) = ~ ,'.'(й)+т),,Я)нЯ)(У,.
(й) — и',.'"(й)и(й)), п„,(~) =!)и®! (15.11) где (15.12) обеспечивает процессу настройки весов выходного слоя высокие «скоростные» характеристики. Развитием архитектуры, приведенной на рис. 15.1, являются сплайн-сети встречного распространения [41, общий вид которых показан на рис. 15.4. х,1й х,(й) х, (Ус У,Ж) т„Ж) Рис. 15.4 — Сплайн-сеть встречного распространения 278 что ведет к оптимальному по быстродействию алгоритму Качмажа-Уидроу- Хоффа 15 НЕЙРОННЫЕ СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ Данная сеть обладает улучшенными аппроксимирующими свойствами за счет того, что в скрытый слой дополнительно введены сплайн-нейроны, в качестве которых могут выступать либо адаптивные линейные ассоциаторы, либо радиально-базисные элементы, либо любые иные формальные нейроны с нелинейными функциями активации.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
