Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 38
Текст из файла (страница 38)
Вводя в рассмотрение неотрицательные вспомогательные переменные Ь'(/с) > О, Ь,(/с) > О, й = 1,2„..., Ж, перепишем функцию с зоной нечувствительности (12З6) в виде < ~(1) т ( (~))( .+~ О(~) 'т( (Ю-аа) (в+Ь.Я, (12.41) после чего рассмотрим задачу квадратичного программирования, связанную с оптимизацией критерия Е(т,Ь~,Ь ) = — ь~ь'+и(~(Ь~(К)+Ь (й)) 2 (12.42) при ограничениях (12.41), причем константа а должна выбираться пользователем в процессе решения. Задача построения нелинейной регрессии сводится к отысканию седловой точки лагранжиана Е(и~,Л,Л,Ь,Ь,у,у ) и и+а ~ (Ь (7с)+Ь„(й)) г ч — Л ф)(и' ~9(х(/с)) — ЙЦс)+е+Ь (Й))— 1=1 К вЂ” ЕЛ, Ж)И(й) — 'гр(хж))+ е+ Ь,ж))— 1=1 — ~~ (у~(/с)Ь~(7с)+ у (/с)Ь (й)), (12.43) 258 где ЛГ(к), Л„(/с) - неопределенные неотрицательные множители Лагранжа, а у (/с), у„(й) вводят ограничения на их значения.
Решение системы Куна-Таккера, имеющее вид 12 НЕЙРОННЫЕ СЕТИ ОПОРНЫХ ВЕКТОРОВ (12.44) в данном случае неконструктивно, поскольку множители Лагранжа так и остаются неопределенными, в связи с чем следует перейти к двойственной задаче максимизации функции (12.45) при ограничениях (12.46) Решение задачи квадратичного программирования (12.45), (12.46) позволяет получить оптимальную робастную модель объекта (12.37) в условиях неопределенности как о самом объекте, так и действующих на него возмущениях. Необходимо, однако, отметить, что подход, связанный с использованием опорных векторов, с вычислительной точки зрения весьма громоздок, процедура оптимизации содержит достаточно много свободных параметров, которые выбираются пользователем и могут оказывать существенное влияние на качество получаемого решения, а сама БЧМ может работать только в пакетном режиме на выборке фиксированного объема.
259 13 САМООРГАНИЗУЮЩИЕСЯ КАРТЫ В данном разделе рассматривается специальный класс нейронных сетей, получивших название самоорганизующихся и предназначенных в основном для решения задач кластеризации и гетероассоциации [подраздел 4.2.2). Наиболее известной из этих сетей является самоорганизующаяся карта Т. Кохонена (эОМ) [3), реализующая отображение входного пространства Х с помощью некоторого оператора 7' в выходное пространство г' так, как это показано на рис. 13.1.
У, Рис. 13.1 — Отображение Г:Х -+ У Как видно из рисунка, входное пространство Х разбито на подобласти Х,, которые накрываются «картой», при этом любой образ, принадлежащий подобласти Х,, возбуждает только один нейрон и,. самоорганизующейся сети. В основе карты Кохонена лежит нейробиологическая модель Д. Виллшоу— К. фон дер Мальсбурга [4,91, основанная на том, что многие отделы мозга имеют планарную структуру, при этом качественно разнородная информация отображается в разные участки мозга, а обучение происходит за счет хэббовской самоорганизации синаптических связей.
Свойства самоорганизации сети связаны с тем, что настройка синаптических весов происходит без наличия внешнего обучающего сигнала, т.е. в режиме самообучения, при этом каждый поступающий на вход сигнал вызывает адаптацию тех или иных параметров ИНС. Существенно, что этот процесс может протекать непрерывно, обеспечивая возможность решения задачи в реальном времени. Самоорганизующаяся карта имеет крайне простую архитектуру с прямой передачей информации и кроме нулевого рецепторного слоя содержит единственный слой нейронов, именуемый иногда слоем Кохонена [71. Каждый нейрон слоя Кохонена связан с каждым рецептором нулевого слоя прямыми связями и со всеми остальными нейронами поперечными внутрислойными 260 13 САМООРГАНИЗУЮЩИЕСЯ КАРТЫ Входные образы Входные образы б) а) 261 (латеральными) связями, Именно латеральные связи обеспечивают возбуждение одних нейронов и торможение других.
Благодаря такой организации сети, каждый нейрон получает всю информацию об анализируемом образе и генерирует на своем выходе соответствующий отклик, после чего в слое Кохонена возникает режим конкуренции (подраздел 4.7.8), в результате которой определяется единственный нейрон-победитель с максимальным выходным сигналом. Этот сигнал по латеральным связям обеспечивает возбуждение ближайших «соседей» победителя и подавление реакции далеко отстоящих узлов. Таким образом в процессе конкурентного самообучения формируются группы нейронов, каждый из которых максимальным откликом реагирует на образы из соответствующих подобластей Х,. входного пространства Х, что позволяет карте Кохонена, кроме уже отмеченных проблем кластеризации и ассоциации, успешно справляться с квантованием непрерывного входного пространства в компактные дискретные подмножества, понижением его размерности при минимальной потере информации, выделением наиболее информативных признаков анализируемых образов, т.е.
со всем тем, что так или иначе связано с компрессией больших объемов информации 129). Самоорганизующиеся карты могут иметь различную топологию, хотя наиболее часто рецепторы и нейроны располагаются в узлах одно (1Р)- или двумерной (20) решетки так, как это показано на рис. 13.2. Возможны, конечно, решетки и большей размерности, однако в основном на практике используются структуры, выполняющие преобразование входного сигнала-образа произвольной размерности в одно- или двумерную карту, сохраняющую некоторым образом топологическую упорядоченность входного пространства.
Входные образы н) Рис. 13.2 — Топология карт Кохонена Простейшая карта Кохонена, приведенная на рис. 13.3, имеет 10 топологию, п рецепторов и т (и < л) нейронов в слое Кохонена, каждый из которых характеризуется собственным вектором синаптических весов н,, 1=1,2,...,т, при этом сам нейрон — это, как правило, либо адаптивный линейный ассоциатор, либо обучаемый соответствующим образом персептрон Розенблатта. х, Хз Уа хз Рис. 13.3 — 1Р-карта Кохонена 262 13 САМООРГАНИЗУЮЩИЕСЯ КАРТЫ Каждый нейрон сети получает и-мерный входной вектор х и генерирует на своем выходе сигнал у,, зависящий от вектора синаптических весов и,, настроенных с помощью алгоритма самообучения на определенную область входного пространства Х„.. Близкие в смысле используемой метрики входные векторы х(1с) и х(р) могут возбуждать либо один и тот же нейрон и,, либо два нейрона-соседа, например, и,.
и ини или и, и и,, В некоторых случаях нейрон-победитель и', с максимальным выходным сигналом у, может возбуждать и своих ближайших соседей так, что у, > у,„, у,, > у„,, у,, >" . В основе алгоритма самоорганизации карты Кохонена лежат принципы конкурентного самообучения, изложенные в подразделе 4.7. Как и любая другая процедура обучения, работа алгоритма начинается с инициализации синаптических весов сети, которые обычно выбираются с помощью генератора случайных чисел, при этом желательно, чтобы для каждого из нейронов выполнялось условие ~ и,,(0)~ = 1. Процедура самоорганизации реализуется в три основных этапа: (конкуренции, кооперации и синаптической адаптации 19)) и начинается с анализа образа х(й), поступающего с рецепторного слоя на все нейроны слоя Кохонена.
Для каждого из нейронов вычисляется расстояние О(х(А:), и", (Ус)) = ((х(/с) — и, (/с)(, (13.1) О(х(Ф), и,. (1с)) = х Я)и,.Я) = соя(х(1с), и, (в)) = соя 0, (13.2) Далее определяется нейрон-победитель, «ближайший» ко входному образу такой, что 0(хЯ), и' (7с)) = ш1п с)(х(й), и',. (1с)), (13.3) после чего в простейшем случае, «перепрыгивая» через этап кооперации, можно подстроить синаптические веса сети с помощью правила обучения (4.436) и ', (lс) + ту(й)(х(Ус) — и', (lс)), если ) — й нейрон победил, и,(1+1) = (13.4) и', (в) в противном елучое.
263 причем, если входы предварительно пронормированы с помощью (4.398) так, что 1х(1.)1 = 1, а в качестве расстояния (13.1) используется евклидова метрика, то мерой близости между векторами х(х) и и:,.(й) может служить скалярное произведение Несложно видеть, что процедура (13.4) реализует принцип «победитель получает все», при этом вектор синаптических весов нейрона-победителя «подтягивается» ко входному вектору на расстояние, определяемое шагом поиска п(й) (см.
рис. 4.36). Регулирование величины шага обычно производится, исходя из эмпирических соображений [3, 4, 6, 7, 9, 29], а общая рекомендация сводится к тому, что он должен монотонно уменьшаться в процессе самообучения. С этой рекомендацией согласуется введенная нами процедура (4.423) и(/с) = г '(й), г(7с) =аг(й — 1)+(х(й))( = аг(/с — 1)+1, О < а <1, (13.5) при этом при а=1 параметр шага л(й) =Я, т.е. удовлетворяет условиям Дворецкого. Варьируя фактором забывания а, несложно обеспечить достаточно широкий интервал изменения шага поиска (13.6) Одной из особенностей карты Кохонена является наличие этапа кооперации в процессе самоорганизации, когда нейрон-победитель определяет так называемую локальную область топологического соседства, в которой возбуждается не только он сам, но и его ближайшее окружение, при этом более близкие к победителю нейроны возбуждаются сильнее, чем удаленные.
Эта топологическая область определяется функцией соседства р0,1), зависящей от расстояния 1)(и,.(/с),и:,(й)) между победителем и',.(й) и любым из нейронов слоя Кохонена 1 =1,2,...,т и некоторого параметра, задающего ее «ширину». Как правило, р(~,1) - это потенциальная (ядерная) функция, симметричная относительно максимума в точке 17(и~,.(/с),и,.(/с)) =О и принимающая в ней единичное значение, монотонно убывающая с ростом расстояния и стремящаяся к нулю при 1Э(и, (/с), и, (1)) -+ о . Наиболее часто в качестве функций соседства используются гауссиан [297], конус (треугольник) [4], параболоид (перевернутая квадратичная функция) [298], «мексиканская шляпа» [29] и целый ряд других [299].
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
