Хайкин С. - Нейронные сети (778923), страница 118
Текст из файла (страница 118)
При периодическом представлении данных обучения благодаря коррекции в окрестности победившего нейрона векторы синаптических весов будут стремиться следовать распределению входных векторов. Таким образом, представленный алгоритм ведет к тонояогическому упорядочиванию (торо!ой!са! огдепп8) пространства признаков во входном пространстве, в том смысле, что нейроны, корректируемые в решетке, будут стремиться иметь одинаковые синаптические веса. В разделе 9.5 этот вопрос будет затронут несколько глубже. Равенство (9.13) является формулой вычисления синаптических весов карты признаков.
Однако в дополнение к этому уравнению для выбора функции окреспюсти Ь.. ц >(и) требуется учитывать эвристику (9.7). Еще одна эвристика необходима для выбора параметра скорости обучения т!(п). 9.3. Карты самоорганизации 585 Параметр скорости обучения з)(п) согласно (9.13) должен зависеть от времени, как это и должно быть при стохастической аппроксимации. К примеру, можно начать с некотоРого исходного значениЯ т1с, а затем, с течением вРемени, постепенно Уменьшать его. Это требование можно удовлетворить, выбрав для параметра интенсивности обучения следующую экспоненциальную функцию: п1 з) (и) = т)р ехр 1 — — (, и = О, 1, 2,..., ~ "(' (9.14) где тз — еше одна временная константа алгоритма БОМ.
Формулы экспоненциально- го убывания параметров скорости обучения (9.14) и ширины функции окрестности (9.6) могут не являться оптимальными. Они просто адекватны процессу самооргани- зующегося формирования карты признаков. Два этапа адаптивного процесса: упорядочивание и сходи мость 1. Этап саиооргаиизации или улорядочиваиия. Во время первого этапа адаптивного процесса происходит топологическое упорядочивание векторов весов.
В алгоритме БОМ этот этап может занять до 1000 итераций, а возможно, и больше. При этом значительное внимание следует уделить выбору параметра скорости обучения и функции окрестности. ° Параметр скорости обучения з) (и) лучше выбрать близким к значению 0,1. С течением времени он должен убывать, но оставаться больше величины 0,01. Этого можно добиться, применив в формуле (9.14) следующие значения констант: ц,=0,1, т, = 1000. ° Функция окрестности Ь,а(п) должна изначально охватывать практически все нейроны сети и иметь центр в победившем нейроне г.
Со временем эта функция будет постепенно сужаться. В частности, на этапе упорядочивания, который может занять около 1000 итераций, )г,а(п), скорее всего, сократится до малого значения и будет содержать в себе только ближайших соседей победившего Учитывая исходное состояние полного беспорядка, довольно удивительным выглядит то, что алгоритм БОМ постепенно достигает организованного представления моделей активации, взятых из входного пространства, при условии правильного выбора параметров этого алгоритма. Можно выполнить декомпозицию процесса адаптации синаптических весов сети, вычисляемых в соответствии с формулой (9.13), разбив его на эва этапа: этап самоорганизации, за которым следует этап сходимости.
Эти два этапа адаптивного процесса можно описать следующим образом [568), (579). 686 Глава 9. Карты самоорганизации нейрона, а возможно, только его самого. Для двумерной решетки нейронов можно установить исходное значение ае функции окрестности, равное "радиусу" решетки. Соответственно константу времени т, в формуле (9.б) можно определить следующим образом: 1000 т, = 1ой и, 2. Этап сходииости.
Второй этап адаптивного процесса требуется для точной подстройки карты признаков и, таким образом, — для точного квантования входного пространства. Как правило, количество итераций, достаточное для этапа сходи- мости, примерно в 500 раз превышает количество нейронов сети. Таким образом, количество итераций этапа сходимости может достигать тысяч и десятков тысяч. ° Для хорошей статистической точности параметр скорости обучения з)(п) на время этого этапа должен быть установлен в достаточно малое значение (порядка 0,01).
В любом случае его нельзя очень приближать к нулю, иначе сеть может заступориться в метаустойчивом (ше1азШЫе) состоянии. Метаустойчивое состояние соответствует конфигурации карты признаюзв с топологическим дефектом. Экспоненциальное сокращение (9.14) гарантирует невозможность достижения метаустойчивых состояний. ° Функция окрестности Ьь,(п) должна охватывать только ближайших соседей победившего нейрона, количество которых может сократиться до одного или даже до нуля. 9.4. Краткое описание алгоритма ВОМ Сущность алгоритма БОМ, предложенного Кохоненом, состоит в простом геометрическом вычислении свойств Хеббоподобного правила обучения и латеральных взаимодействий.
Существенными характеристиками этого алгоритма являются следующие. ° Непрерывное входное пространство образов активации, которые генерируются в соответствии с некоторым распределением вероятности. ° Топология сети в форме решетки, состоящей из нейронов. Она определяет дискретное выходное пространство. ° Зависящая от времени функция окрестности 6 КЮ(п), которая определена в окрестности нейрона-победителя г(х).
° ПаРаметР скоРости обУчениЯ з)(п), дла котоРого задаетсЯ начальное значение т)е и который постепенно убывает во времени и, но никогда не достигает нуля. 9.4. Краткое описание алгоритма ЗОМ 687 Для функции окрестности и параметра скорости обучения иа этапе упорядочивания (т.е, приблизительно для первой тысячи итераций) можно использовать формулы (9.7) и (9.!4) соответственно. Для хорошей статистичесюй точности иа этапе сходимости параметр т)(п) должен быть установлен в очень малое значение (0,01 или меньше). Что же касается функции окрестности, то в начале этапа сходимости оиа должна содержать толью ближайших соседей нейрона-победителя (при этом может включать только его самого).
Не считая инициализации, алгоритм проходит три основных шага: нодвыборка (загпрйпд), поиск максимального соответствия (гйпп!апгу ша1сЬ)пд) и корректировка (прда6пя). Кратко весь алгоритм можно описать следующим образом. 1. Инициализация. Для исходных векторов сииаптических весов зт (О) выбираются случайные значения.
Единственным требованием здесь является различие векторов для разных значений у = 1, 2,...,1, где 1 — общее количество нейронов в решетке. При этом рекомендуется сохранять малой амплитуду значений. Еще одним способом инициализации алгоритма является случайный выбор миожества весов (зтз (О) )~, из доступного множества входных векторов (х,)~,. 2. Подвыборка. Выбираем вектор х из входного пространства с определенной вероятиостью.
Этот вектор представляет собой возбуждение, которое применяется к решетке иейроиов. Размерность вектора х равна т. 3. Поиск максимального нодобия. Находим наиболее подходящий (победивший) иейрои 1(х) иа шаге и, используя критерий минимума Евклидова расстояния: 1(х) = агйщ(п 11х — тз,11, у = 1,2,...,1. 4. Коррекция. Корректируем векторы сииаптических весов всех нейронов, используя следующую формулу: тг.(п+ 1) = тт,(п) +з)(п)6,,00(п)(х — зт (и)), где т)(п) — параметр скорости обучения; Ьмц,1(п) — функция окрестности с цеитром в победившем нейроне 1(х). Оба этих параметра динамически измеиякпся во время обучения с целью получения лучшего результата. 5.
Продолжение. Возвршцаемся к шагу 2 и продолжаем вычисления до тех пор, пока в карте признаков ие перестанут происходить заметные изменения. $88 Глава 9. Карты самоорганизации ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° я ° ° ° дх) ° ° ° ° ° ° ° ° ° ° ° ° ° Дискретное ° выходное ° пространство А Непрерывное входное пространство Х Рис. 9.4. Взаимосвязь между картой признаков Ф и вектором весов вг, по- бедившего нейрона е 9.5. Свойства карты признаков По завершении процесса сходимости алгоритма БОМ вычисленная им карта признаков (геашге шар) отображает важные статистические характеристики входного пространства Для начала обозначим пространственно непрерывное входное пространство (данных) (зрабайу сопйпопз (да)а) зрасе) символом Х.
Его топология определяется метрическими связями векторов х Е Х. Теперь обозначим символом А пространственно дискретное выходное пространство (зрабайу д(зсгеге опгрпг зрасе). Его топология определяется упорядоченным множеством нейронов вычислительных узлов решетки. Обозначим символом Ф нелинейное преобразование (называемое картой признаков), которое отображает входное пространство Х в выходное пространство А: Ф:ХеА. (9.15) Выражение (9.15) можно рассматривать как соотношение (9.3) (определяющее положение нейрона е(х), победившего при подаче на вход сети вектора х) в абстрактной форме. Например, в контексте нейробиологии входное пространство Х может представлять множество координат сомато-сенсорных рецепторов, распределенных по всей поверхности тела. Соответственно выходное пространство А представляет множество нейронов, расположенных в тех слоях коры головного мозга, которые отвечают за сомато-сенсорные рецепторы.
9.5. Свойства карты признаков 589 Вхохно Восствно вск х' Рис. 9.8. Модель кодера-декодера го Р = — / т(х~х(х)д(х, х'), г./ (9.16) где множитель !/2 введен для удобства выкладок, а Щх, х') — мера искажения (д)я!оп(оп шеазпге). Интегрирование осуществляется по всему входному пространству Х, причем предполагается, что оно имеет размерность т. Популярным вариантом меры искажения Для данного входного вектора х алгоритм БОМ определяет наиболее подходящий (т.е.
победивший) нейрон т(х) в выходном пространстве А, руководствуясь картой признаков Ф. Вектор синаптических весов и ! нейрона т(х) после этого можно рассматривать как указатель на этот нейрон из входного пространства Х. Это значит, что синаптические элементы вектора тч, можно рассматривать как координаты образа нейрона в, проектируемые во входное пространство.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
