Хайкин С. - Нейронные сети (778923), страница 120
Текст из файла (страница 120)
Общую цель этого алгоритма можно сформулировать следующим образом. Аппроксимировать входное пространство Х указателями или прототипами в форме векторов синоптических весов и . таким образом, чтобы карта признаков Ф обеспечивала верное представление важных признаков, характеризуюи!их входные векторы х Е Х в терминах определенного критерия. Карту признаков Ф обычно изображают во входном пространстве Х. В частности, все указатели (т.е. векторы синаптических весов) изображаются точками, а указатели соседних нейронов связываются линиями в соответствии с топологией решетки.
Таким образом, используя линии для связывания двух указателей зч и зчо мы отражаем тот факт, что нейроны 7' и ! в решетке являются соседними. Свойство 3. Соответствие плотности. Карта признаков Ф отражает вариации в статистиках распределения входного сигнала. Области во входном пространстве Х, из которого берутся векторы х с большей вероятностью, отображаются в гораздо болыаие области выходного пространства А и, таким образом, с большим разрешением, чем области в исходном пространстве Х, из которых берутся векторы х с меньшей вероятностью.
Пусть (х(х) — многомерная функция распределения вероятности случайного входного вектора х. Интеграл этой функции по всему пространству Х должен равняться единице, т.е. Пусть т(х) — масштабируюи!ай множитель (шайи)йсаз(оп Гасгог), определенный как количество нейронов в небольшой области бх входного пространства Х. Этот масштабирующий множитель, интегрированный по всему входному пространству Х, в результате дает общее количество ! нейронов сети: (9. 26) В алгоритме БОМ, для того чтобы точно соответствовать входной плотности (тасс)з бзе (прц! с$епз)гу ехасг!у), требуется, чтобы т(х) сс зх(х).
(9.27) 9.5. Свойства карты признаков 69$ Это свойство означает, что если конкретная область входного пространства содержит часто встречающиеся возбудители, она должна быть представлена гораздо большей областью на карте признаков, чем та область входного пространства, в которой возбудители встречакпся реже. В общем случае в двумерной карте признаков масштабирующий множитель т(х) нельзя считать простой функцией от функции плотности вероятности (х(х) входного вектора х. Это возможно только в случае одномерной карты признаков.
В этом частном случае оказывается, что, в отличие от более раннего предположения (579], масштабирующий множитель т(х) пе пропорзшонален функции 7х(х). В литературе сообщается о двух совершенно различных результатах, зависящих от применяемого метода кодирования. 1. При кодировании с минимальным искажением (ппшпппп-д(зГогГ(оп епсод(п8), в соответствии с которым сохраняются слагаемое искривления и все слагаемые более высокого порядка в измерении искажения (9.22), учитывающем влияние шума к(у), этот метод приводит к следующему результату: (9.28) что идентично результату, полученному для стандартного алгоритма векторного квантования [688].
2. При кодировании па основе метода ближайшего соседа (пеагезг-пе(фЬог сод)п8), игнорируюшего слагаемые искривления, как в стандартной форме алгоритма 8ОМ, получается другой результат г886]: 2,гуз( ) (9.29) Прежнее утверждение о том, что кластер часто встречающихся входных возбуждений представляется большей областью на карте признаков, сохраняется, хотя и в несколько искаженной версии идеального условия (9.27). Как правило (что подтверждено компьютерным моделированием), карта признаков, вычисленная алгоритмом БОМ, имеет тенденцию в большей мере представлять области с низкой входной плотностью, чем области с высокой входной плотностью. Другими словами, алгоритм БОМ не обеспечивает хорошее представление, описывающее входные данные'о.
ю Неспособность алюритма ЗОМ дать правильное представление распределения входных данных создала предпосылки для его модификации и появления новых самоорганизуюшихся шноритмов, корректных по отношению ко входному сигналу. В литературе упоминаются две такие модификации алюритма БОМ. Ь Модификация процесса конкуренции. В 12541 использовалась некоторая форма памяти для отслеживания совокупной деятельности отдельных нейронов в решетке. В частности, был добавлен механизм "совести" (спаяв~енсе) для смешения процесса конкурентною обучения алгоритма ЗОМ. Эта было сделано так, что $96 Глава 9.
Карты самоорганизации Свойство 4. Выбор признаков. Для данных из входного пространства с нелинейным распределением самоорганизуюи(аяся карта для аппроксимации исследуемого распределения способна извлечь набор наилучших признаков. Это свойство является естественной кульминацией свойств ] — 3. Оно заставляет вспомнить идею анализа главных компонентов, которая рассматривалась в предыдушей главе. Однако зто свойство имеет одно важное отличие, которое показано на рис.
9.7. На рис. 9.7, а показано двумерное распределение с нулевым средним точек данных, полученных в результате линейного отображения входа на выход, искаженное аддитивным шумом. В этом случае анализ главных компонентов работает превосходно. Он позволяет определить, что наилучшее описание "линейного" распределения на рис. 9.7, а задается прямой линией [т.е. одномерной гиперплоскостью), которая проходит через начало координат и следует параллельно собственному вектору, ассоциированному с наибольшим собственным значением матрицы корреляции данных. Теперь рассмотрим другую ситуацию [см.
рис. 9.7, б), являющуюся результатом нелинейного отображения входа на выход, искаженного алдитивным шумом с нулевым средним значением. В этом, втором, случае аппроксимация прямой линией, вычисленная с помощью анализа главных компонентов, не способна обеспечить приемлемое описание данных. С другой стороны, использование самоорганизуюшейся карты, построенной на одномерной решетке нейронов, обходит эту проблему аппроксимации благодаря своему свойству упорядочивания топологии. Эта, последняя, аппроксимация показана на рис.
9.7, б. Переходя к строгой терминологии, можно утверждать, что самоорганизуюшиеся каждый нейрон, независимо от его расповожения в решетке, имел шанс выиграть соревнование с вероятностью, близкой к идеальной (|Л), где 1 — общее количество нейронов.
Описание алгоритма 5ОМ с учетом "совести" представлено в задаче 9.8. 2. Молифнклцня адаптивного лровессл. В зтом подходе правило коррекции для настройки иектора весов каждого из нейронов, попадающих в функцию окрестности, молифицировалось дяя управления масштабнруюшими (шаяпгасатюп) свойствами карты признаков. В [105] было показано, что благодаря добавлению в правило коррекции настраиваемого параметра размера шага удалось обеспечить хорошее представление картой признаков входною распределения. Авторы [045] следовали по тому же пути и предложили две модификации алгоритма 8ОМ.
° Правило коррекции модифицировалось для извлечения прямой зависимости между входным вектором х и вектором весов м рассматриваемого нейрона Л ° Разбиение Вороного было заменено равноценным разбиением, специально созданным для разделяемых входных распределений. Эта шормг молификация позюлила влюритму 80М осушешклягь слепое рюлеление входных сигналов (Ъйпб яопгсе караганов).
(Слепое разделение сигналов вкратце освещалось в глане 1 и будет более полно рассматриваться в главе 10.) Эти модификации были построены на той или иной форме алгоритме 8ОМ В [б52] был предпринвт совершенно иной подход В частности, общее правило обучения для формирования топографичесюй карты содержало максимизацию взаимной информации (шпша| !п(оппабоп) между выходным сигналом и сиюьльной частью входа, искаженной аддитивным шумом.
(Понятие взаимной информации, берущее свои корни в теории информации Шеннона, описывается в главе 1О.) Модель, предложенная в этой работе, в результате содержала распределение нейронон, в точности соответствующее входному распределению. Использование к самоорганизуюшемуся формированию топографической карты подхода со стороны теории информации гакже описано в [108|], [1082]. 9.6. Компьютерное моделирование 697 карты признаков осуществляют дискретную аппроксимацию так называемых главных кривъа" (рппсзра! спгуе) или главных поверхностей (рппстра! зигзасе) [430). Таким образом, оии могут рассматриваться как нелинейное обобщение анализа главных компонентов.
9.6. Компьютерное моделирование Двумерная решетка, полученная на основе двумерного распределения Теперь проиллюстрируем работу алгоритма БОМ с помощью компьютерного моделирования. Будем изучать сеть, состояшую из 100 нейронов, упорядоченных в форме двумерной решетки размером 10 х 10.
Эта сеть обучается иа двумерных входных векторах х, элементы хт и кз которых равномерно распределены в областях (( — 1 < кт < +1); ( — 1 < хз < +1)). Для инициализации сети сииаптические веса выбираются случайным образом. На рис. 9.8 показаны три этапа обучения сети представлению входного распределения. На рис. 9.8, а показано равномерное распределение данных, использованных для обучения карты признаков. На рис.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
