Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 39
Текст из файла (страница 39)
Использование функций соседства приводит к модифицированному правилу обучения Кохонена и,(1+1) = и,(/с)+гу(й)р(у',1,й)(х(/с) — и,(/с)), 1=1,2,...,т, (13.7) реализующему принцип «победитель получает больше» (ъчппег (а1ея шоз1) вместо традиционного «победитель получает все». При р0,1) = 0,, = 1 при 1' =1 264 13 САМООРГАНИЗУЮЩИЕСЯ КАРТЫ )(и,. (й) — и~, (й)( р(у,7) = ехр— О Г.
Риттером и К. Шультеном [301, 3021 было предложено для настройки параметра ширины ст использовать процедуру (13.9) где,6 >Π— скалярный параметр, определяющий скорость уменьшения силы влияния нейрона победителя на свое окружение. Естественно, что при этом меняется и форма области топологического соседства, приобретающая вид ()и:,. (/с) — и, (7с))! р( у', 1, Ус) = ехр— ст (й) (13.10) Заметим также, что экспоненциальное убывание параметра ширины может быть обеспечено и с помощью более простого, чем (13.9) выражения (13.11) ст(й) = фс (Ус — 1), О < ф<1.
В [91 для обучения самоорганизующейся карты предлагается вообще не определять победителя как такового, а в качестве наиболее универсальной функции соседства использовать выходной сигнал каждого нейрона у,(1) так, что 265 и 0 в остальных случаях, приходим к стандартному алгоритму (13.4), обеспечивающему на каждом такте настройку единственного нейрона и,.(й). Использование же в качестве р(~',1) ядерных функций ведет к тому, что все нейроны сети в большей или меньшей мере подтягивают векторы своих синаптических весов к текущему образу х(й). Анализ сходимости процессов конкурентного самообучения, проведенный М. Котрелом и Дж. Фортом [300~ (см.
также [41), показал, что в процессе настройки синаптических весов, должен уменьшаться не только шаг поиска п(Й), но и параметр ширины функции соседства р(1,14), которая таким образом становится зависимой от текущего времени й = 0,1,2,.... Для гауссовской функции и, (Ус+1) = и, (lс) + тУ(И)<Р(У', У, И) (хф) — и, (й)) = = в)(1)+ яУ(1)у,(й)(х(й) — и',(й)), У =1,2,...,ш, (13.12) Несложно заметить, что (13.12) представляет собой модифицированное правило обучения (4.396) входной звезды С, Гроссберга 13031 и обеспечивает не только притяжение к образу х(й) близких к нему нейронов, но и отталкивание тех узлов, выход которых находится в «противофазе» ко входному сигналу. Если в качестве нейронов слоя Кохонена используются линейные ассоциаторы, то (13.12) можно переписать в форме ь:,(1+1) = и:,(Й)+ц(Й)~~; (Й)х(Й)(х(Уе) — и',(Й)), (13.13) а если, кроме того 1в;(Ус)1 =)(х(Ус)(! =1, то и в более простом виде ъУ1 (У + 1) = и~у (У") + УУ(Ус)СОЯ(х(Ус) и у (Ус))(х(Ус) ву (У")) = = и, (Ус) + гУ(Ус) со» О, (й) (х(Ус) — и, (Ус)).
(13.14) Рис. 13.4 — Биполярная функция соседства Еще один подход к самоорганизации сети Кохонена основан на использовании порядковых статистик и получил название алгоритма нейронного газа 1304, 3051. При этом подходе все нейроны ранжируются в порядке возрастания расстояний УЭ(х(й), ь; (й)) так, что уэ(х(й), ь (й)) < О(х(ус), и ' (ус)) < уэ(х(ус), и (й)) «... О(х(ус), и '" '(й)), (13.15) 266 Таким образом, приходим к биполярной функции соседства, приведенной на рис. 13.4 и обеспечивающей более широкие возможности процессу самоорганизации.
13 САМООРГАНИЗУЮЩИЕСЯ КАРТЫ где верхний индекс обозначает ранг к(и1(й)) каждого нейрона в слое после предъявления образа х(11), т.е. К(и' ®) = 0 < Я(и" (lс)) = 1 < Н(и' (/с)) = 2 « ... 21(и:"' ' ф)) = т. — 1. (13.16) Несложно видеть, что при нормированных входах удобно использовать ранжировки 1> соя о (Ус) > соя д'(Ус) > созВ'(й) » ... СОЛО"' '(й) > — 1 (13.17) или 1(~) 2 (~) т-1(1~) (13.18) Для каждого из нейронов определяется значение функции соседства (12(х(/с), и, (/с)) = ехр — ) Я(и1(Ус)) 1 1(1~) ) (13.19) (здесь Л(1) - параметр ширины) и производится уточнение синаптических весов согласно формуле (13.20) и1(й + 1) = и; (/с) + 22(й) р(х(7с), и; (й))(х(й) — и; (х)).
Параметры нейрона с нулевым рангом и (й) (фактически нейрона- победителя) при этом уточняются с помощью процедуры (13.4). Аналогично предыдущему параметры алгоритма в процессе самообучения должны уменьшаться, например, с помощью соотношений 130Ц (13.21) 267 где й — объем обучающей выборки; 1 — максимально возможное значение ширины; Л,.„, д 1„— минимальные значения соответствующих параметров.
Весь процесс самоорганизации имеет две временные фазы [3~: начальная фаза упорядочения, в которой происходит топологическое разбиение входного пространства, и последующая фаза сходимости, в которой осуществляется точная настройка синаптических весов. По окончании этого процесса нейронная сеть в принципе может решать поставленные задачи без уточнения весов, однако, если появится входной образ, который не будет отнесен ни к одному из сформированных кластеров, картой должен быть образован дополнительный нейрон в слое Кохонена, несущий информацию об этом образе, при этом весьма желательно, чтобы вновь включился процесс самообучения.
Поскольку процесс обучения карт Кохонена происходит значительно быстрее, чем настройка многослойной сети с помощью обратного распространения ошибок ~71, эти ИНС наиболее эффективны для работы в реальном времени, когда настройка синаптических весов и обработка входных сигналов протекают параллельно. 268 14 НЕЙРОННЫЕ СЕТИ ВЕКТОРНОГО КВАНТОВАНИЯ 14 НЕЙРОННЫЕ СЕТИ ВЕКТОРНОГО КВАНТОВАНИЯ Передатчик Приемник х(Ус) Рис.
14.1 — Векторный квантователь Принципиальным моментом разработки систем векторного квантования является выбор метрики, определяющей близость кодируемых сигналов к прототипам кластеров, наиболее общей из которых является метрика Ф. Итакуры-С. Сайто [3111,имеющая вид й(х(Ус),ну) =(х(Ус) — иу) Уэ(х)(х(Ус) — и,) =()х(Ус) — и,(), (14.1) где П(.х) - некоторая положительно определенная симметрическая матрица.
Частным случаем (14.1) является популярная метрика П. Махаланобиса О(х(й), и,. ) = (х(Ус) — и у ) ' Е ' (х(Ус) — и,. ) = ! х(Й) — и у ( (14.2) 269 Еще одним классом нейронных сетей, предназначенных для решения задач кластеризации и компрессии информации, являются сети векторного квантования, имеющие архитектуру, подобную самоорганизующимся картам и так же, как и БОМ, введенные Т. Кохоненом [30б1. В основе этих сетей лежит техника векторного квантования [307-310~, нашедшая широкое распространение в задачах сжатия аудио- и видеосигналов [235у.
Основная идея состоит в компактном представлении больших массивов информации, заданных в виде и — мерных векторов х(Ус), Ус =1,2,...„Ю в форме ограниченного набора прототипов, или центроидов и, у'= 1,2,...,т, достаточно хорошо аппроксимирующих исходное пространство Х . В результате квантования пространства Х формируется так называемая кодовая книга, кодовые слова (они же векторы реконструкции) которой и описывают прототипы кластеров, число которых и задается априорно.
В системах передачи информации, использующих векторное квантование, и «передатчик», и «приемник» снабжаются этой кодовой книгой, на основе которой на передающем конце системы входной сигнал кодируется, а на приемном — восстанавливается. Входной сигнал х(Ус) сравнивается со всеми кодовыми словами книги, среди кОтОрых выбираЕтСя ОпрЕдЕлЕннОЕ и У в нЕкатОрОм СмыелЕ ближайшиЕ к х(Ус).
По каналу связи передается только индекс У, на основе которого приемник реконструирует х(Й) в форме оценки иу так, как это показано на рис. 14.1. где г, = М1(х(/с) — х)(х(й) — х)') - ковариационная матрица, задающая рецепторное поле типа (3.14). В простейшем случае при В(х(/с), и, ) = !)х(Й) — и,. !) (14.3) приходим к так называемому квантователю Вороного 13121, осуществляющему разбиение входного пространства на клетки, каждой из которых соответствует свой прототип и, 1' = 1,2,..., и. На рис. 14.2 приведен пример разбиения двумерного пространства на четыре клетки Вороного, при этом входные векторы х(й), /с = 1„2,..., У обозначены крестиками, а прототипы кластеров и, ~ =1,2,3,4 — кружками.
х, Рис. 14.2 — Квантование по Вороному 270 Именно на основе квантователя Вороного Т. Кохоненом была предложена техника обучаемого векторного квантования и соответствующая ей искусственная нейронная сеть, архитектура которой полностью совпадает с 1Р- самоорганизующейся картой, приведенной на рис. 13.3. Принципиальная разница между самоорганизующимися картами (БОМ) и сетями векторного квантования ~ЬУ0) состоит в принципах их обучения. Если в основе КОМ лежит конкурентное самообучение, то для 1ХЯ-сетей характерно контролируемое обучение с учителем, хотя элементы конкуренции при этом не исключаются. Итак, для каждого предварительно пронормированного входного вектора х(й) (~х(й)~ =1) определяется свой нейрон-победитель, синаптические веса и,.
14 НЕЙРОННЫЕ СЕТИ ВЕКТОРНОГО КВАНТОВАНИЯ О(х(к), и,. (к)) = ппп)(х(Й) — и, (/с)() .г (14.4) или, что то же самое, г'.г(х(к), и, (гс)) = шах х (к) и', (к) = шах сов(х(гс), и',. (7с)). (14.5) Поскольку обучение является контролируемым, то принадлежность вектора х(к) к конкретной области Х,. пространства Х известна, что позволяет рассмотреть две типичные ситуации, возникающие в обучаемом векторном квантовании: входной вектор х(1) и нейрон-победитель гг',.
принадлежат одной и той же клетке Вороного; )г входной вектор х(1с) и нейрон-победитель и, принадлежат разным клеткам Вороного. Тогда соответствующее 1.ЧЯ-правило обучения может быть записано в виде иг,.(Й)+г)(Е)(х(гс) — иг,.(к)), если х(к) и ю,.(Й) принадлежат одной клетке, иг,. (Й) — т)(к)(х(й) — ь,(Й)), если х(1) и ж,. (Й) принадлежат равггым клеткам, и,.(7с) для нейронов, не победивших в момент й. (14.6) и,(к+1) = Правило (14.6) имеет достаточно ясный физический смысл: если нейрон- победитель и предъявленный образ относятся к одному классу, то прототип и,.(Ф) подтягивается к х(гс); в противном случае прототип и,(й) отталкивается от х(/с), увеличивая тем самым расстояние 1Э(х(й),и,.
(й)). Заметим, что на этой же идее «притяжения-отталкивания» основаны различные модификации алгоритмов обучения сетей векторного квантования ~3, 30, 299, 306]. Что касается выбора величины шага поиска п(й), то общая рекомендация состоит в том, что он должен монотонно уменьшаться в процессе контролируемого обучения.
В [3131 доказана сходимость процедуры обучаемого векторного квантования в предположении, что параметр п(й) изменяется в соответствии с условиями Дворецкого. Это позволяет выбирать шаг поиска согласно алгоритму Гудвина-Рэмеджа-Кэйнеса (138, 139) или, что 271 которого соответствуют прототипу определенного кластера. Иначе говоря, победителем является нейрон с минимальным расстоянием до входного вектора то же самое, с помощью выражения (13.5) при а =1. Несложно заметить, что при (х(lс)! =1 1 г1(/с) = —, к (14.7) и,, (/с) + т)Я)(хЯ) — и, (1с)) если х(1с) и и,.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
