Хайкин С. - Нейронные сети (778923), страница 116

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 116)

В этом принципе сформулирован иейробиологический контекст, заложенный в двух совершенно различных моделях отображения признаков (Геашге-шарр!пй люде!)', которые будут описаны ниже. На рис. 9.1 показаны структурные схемы этих двух моделей. В обоих случаях выходные нейроны организованы в виде двумерной решетки. Такой тип топологии гарантирует, что каждый нейрон имеет множество соседей.

Эти модели отличаются друг от друга способом задания входных образов. Модель, показанная иа рис. 9.1, а, была предложена в работе, посвященной биологическим основам, которые объясняли отображение сетчатки глаза иа зрительную область коры головного мозга [1159!. В частности, существуют две связанные друг 'Две модели извлечения признаков, которые покюаны на рнс.

9.1, навеяны новаторскими исследованиями самоорганизации в [1! 001, где отмечалось, что модель зрительной области коры головного мозга [Маца) сот!ех) не может быть генетически предопределенной в целом. За локальное упорядочивание ячеек коры мозга, ответственных за извлечение признамзв, отвечаег некоторый самоорагнизуюшийся процесс, включаюшнй в себя синаптическое обучение. Однако глобальное синаптическое упорядочивание в модели [1!00] ле досмиглаось, так как в ней использовалась фиксированная [малая) окрестность.

Компьютерное моделирование, описанное в этой работе, было, пожалуй, первым шшом, демонстрирующим процесс самоорганизации. 676 Глава 9. Карты самоорганизации Ней побед умерный массив тсинаптических роиов учок синаптических зей (сушествуют кис же пучки наптических связей, одяшие и из других дсинаптических ронов) а) Модель Уилшау-ван дер Мальсбурга Нейрон победител умерный массив тсинаптических ронов тических Входной сигнал Рис.

9.1. Две самоорганмзующиеси карты признаков б) Модель Кохонена с другом двумерные решетки нейронов, где одна проецируется на другую. Первая решетка представлена предсинаптическими (входными), а вторая — постсинаптическими (выходными) нейронами. Постсинаптическая решетка использует возбуждающий механизм близкого радиуса действия (зЬогг-гапйе ехс1сйасогу шесЬап)зш), равно как и тормозящий механизм дальнего действия (1опй-гапке 1пЬ(Ь)гогу шесЬап(ап). Эти два механизма по своей природе являются локальными и исключительно важными для самоорганизации.

Решетки соединяются изменяемыми синапсами Хеббовского типа. Грубо говоря, постсинаптические нейроны не относятся к типу "победитель забирает все" — вместо этого используется порог, гарантируюший, что в любой момент времени будут активны только несколько постсинаптических нейронов. Более того, чтобы избежать неограниченного наращивания синаптических весов, которое может привести к неустойчивости системы, общий вес, ассоциированный с каждым постсннаптическим нейроном, ограничивается некоторым значением2.

Таким образом, г В [291 ограничения, накладываемые на синмпические веса постсинаптических нейронов, были несколько ослаблены. Математический анализ, представленный в этой работе, объясняет динамическую устойчивость карты коры мозга, сформированной а результате самоорганизалии. 9.3, Карты саьюорганизации 577 рост одного синаптического веса нейрона приводит к автоматическому уменьшению остальных. Основная идея модели Уилотоу-вая дер Маяьсбурга состоит в том, что для представления информации о геометрической близости предсинаптических нейронов в форме их электрической активности и для использования этих корреляций в постсинаптической решетке соседние предсинаптические нейроны должны связываться с соседними постсинаптическими. Таким образом, самоорганизация приводит к топологически упорядоченному отображению. Однако следует заметить, что модель Уилшоу — ван дер Мальсбурга пригодна только для представления отображений, в которых размерности входного и выходного сигналов равны.

Вторая модель, показанная на рис. 9.1, б, была предложена Кохоненом 1579]. Она не концентрируется на нейробиологических деталях. Эта модель извлекает существенные признаки вычислительных карт мозга и при этом остается вычислительно тракгуемойз. Модель Кохонена по сравнению с моделью Уилшоу — ван дер Мальсбурга является более общей в том смысле, что она способна осуществлять сжатие данных (т.е. сокращение размерности входного сигнала).

Модель Кохонена принадлежит к классу алгоритмов векторного кодирования (сес1ог-сос)1п8 а18опу)зш). Эта модель реализует топологическое отображение, которое оптимально размешает фиксированное количество векторов (т.е. кодовых слов) во входное пространство более высокой размерности и, таким образом, облегчает сжатие данных. Исходя из этого, модель Кохонена можно вывести двумя способами. Можно использовать базовые идеи самоорганизации, обусловленные нейробиологическими наблюдениями. Это — обычный подход 1568], 1573], 1579]. А можно использовать подход векторного квантования, включающий кодирование и декодирование.

Этот подход основывается на положениях теории коммуникаций 1688], [691]. В этой главе мы рассмотрим оба подхода. В литературе больше внимания уделяется модели Кохонена, чем модели Уилшоуван дер Мальсбурга, так как первая обладает некоторыми свойствами (о них мы поговорим немного позже в этой главе), которые имеют практический интерес для понимания и моделирования карт коры головного мозга.

Вся оставшаяся часть настоящей главы будет посвящена изучению карт самоорганизации, а также их основных свойств и модификаций. 9.3. Карты самоорганизации Основной целью карт самоорганизации (зеИ'-огйап)х]п8 шар — БОМ) является преобразование поступающих векторов сигналов, имеющих произвольную размерность, в одно- или двухмерную дискретную карту. При этом такое преобразование осуществ- з Нейробиологические возможности самоорганизуюшейся карти 1ве1Г-огяавойия гоар — БОМ) обсуждаются в [5581, 1572]. 678 Глава 9.

Карты самоорганизации Рнс. 9.2. Двумерная решетка нейронов ляется адаптивно, в топологически упорядоченной форме. На рис. 9.2 показана схематическая диаграмма двумерной решетки нейронов, используемой в качестве дискретной карты. Все нейроны этой решетки связаны со всеми узлами входного слоя. Эта сеть имеет структуру прямого распространения с одним вычислительным слоем, состоящим из нейронов, упорядоченных в столбцы и строки.

Одномерная решетка является частным случаем конфигурации, показанной на рис. 9.2. В этом частном случае вычислительный слой состоит всего из одной строки (или столбца) нейронов. Каждый из входных слоев, представленных в сети, обычно состоит из локализованной области активности, размещаемой в относительно спокойной области. Расположение и природа такой области обычно варьируется в зависимости от конкретной реализации входного примера.

Таким образом, для правильного развития процесса самоорганизации требуется, чтобы все нейроны сети были обеспечены достаточным количеством различных реализаций входных образов. Алгоритм, ответственный за формирование самоорганизующихся карт, начинается с инициализации синаптических весов сети. Обычно это происходит с помощью назначения синаптическим весам малых значений, сформированных генератором случайных чисел. При таком формировании карта признаков изначально не имеет какого- либо порядка признаков. После корректной инициализации сети для формирования карты самоорганизации запускаются три следующих основных процесса. 9.3. Карты самоорганизации 579 1.

Конкуренция (сошрег)г)оп). Для каждого входного образа нейроны сети вычисляют относительные значения дискриминантной функции. Эта функция является основой конкуренции среди нейронов. 2. Коолерация (соорегайоп). Победивший нейрон определяет пространственное положение топологической окрестности нейронов, обеспечивая тем самым базис для кооперации между этими нейронами. 3.

Синоптическая адаллгацил (зупарйс адаргайоп). Последний механизм позволяет возбужденным нейронам увеличивать собственные значения дискриминантных функций по отношению к входным образам посредством соответствующих корректировок синаптических весов. Корректировки производятся таким образом, чтобы отклик нейрона-победителя на последующее применение аналогичных примеров усиливался. Процессы конкуренции и кооперации осуществляются в соответствии с двумя из четырех принципов самоорганизации, описанных в главе 8.

Что же касается принципа самоусиления, то он реализуется в модифицированной форме — форме обучения Хебба для адаптивного процесса. Как было отмечено в главе 8, для обучения необходима избыточность входных данных (хотя на этом при описании алгоритма БОМ особо не заостряется внимание), так как зто реализует процесс извлечения знаний. Детальные описания процессов конкуренции, кооперации и синаптической адаптации будут представлены ниже. Процесс конкуренции Пусть гп — размерность входного пространства, а входной вектор выбирается нз этого входного пространства случайно и обозначается так: х = (х„хз,...,х )~. (9.1) Вектор синаптических весов каждого из нейронов сстн имеет ту же размерность, что и входное пространство. Обозначим синаптический вес нейрона г' следующим образом: т ч, = ~гл,„игзз,...,ш, (9.2) г' = 1,2,,1, где 1 — общее количество нейронов сети.

Для того чтобы подобрать наилучший вектор зч„соответствующий входному вектору х, нужно сравнить скалярные произведения итх для г' = 1,2,...,1 и выбрать наибольшее значение. При этом предполагается, что ко всем нейронам применяется некоторое значение насыщения (г(згез)го1о). Эта величина равна лорогу (Ь(аз), взятому с обратным знаком. Таким образом, выбирая нейрон с наибольшим скалярным произведением игх, мы в результате определяем $80 Глава 9. Карты самоорганизации местоположение, которое должно стать центром топологической окрестности возбужденного нейрона. Как говорилось в главе 1, наилучший критерий соответствия, основанный на максимизации скалярного произведения ту~к, математически эквивалентен минимизации Евклидова расстояния между векторами х и и,.

Если использовать индекс 1(х) для идентификации того нейрона, который лучше всего соответствует входному сигналу х, то эту величину можно определить с помощью следующего соотношения: т(х) = агб ппп [[х — и, ~~, 7 = 1, 2,...,1. (9.3) В этом выражении проявляется сущность всего процесса конкуренции между нейронами. Согласно выражению (9.3), предметом внимания является величина т(х). Конкретный нейрон г, удовлетворяющий данному условию, называется победившим (тн[пп[пб) или наиболее подходяи(им (Ьез(-ша(сЫп8) для данного входного вектора х.

Характеристики

Список файлов книги