Хайкин С. - Нейронные сети (778923), страница 121
Текст из файла (страница 121)
9.8, б показаны исходные значения случайно выбранных сииаптических весов. На рис. 9.8, в, г показаны значения векторов синаптических весов после завершения этапов упорядочивания и сходимости. Сииаптические веса иа этих рисунках показаны точками. Линии, показанные иа рис. 9.8, соединяют соседние нейроны (вдоль строк и столбцов) сети. Результаты, которые мы видим иа рис. 9.8, демонстрируют этапы упорядочивания и сходимости, которые характеризуют процесс обучения по алгоритму БОМ. Во время этапа упорядочивания карта напоминает форму сетки (см. рис, 9.8, в).
К концу этого этапа нейроны отображаются в правильном порядке. Во время этапа сходи- мости сетка пытается "накрыть" все входное пространство. В конце второго этапа (см. рис. 9.8, г) статистическое распределение нейронов иа карте приближается к распределению входных векторов (за исключением некоторых граничных эффектов). Сравнивая конечное состояние карты признаков (см. рис.
9.8, г) с равномерным распределением входных сигналов (см. рис. 9.8, а), мы видим, что точная настройка карты, выполненная иа этапе сходимости, выявила отдельные локальные неравно- ' ' Связь между алгоритмом 8ОМ и главными (рппс(ра1) кривыми обсуждается в [186], [891]. Алгоритм отыскания главных кривых состоит из двух шагов [430]. 1. Проекиил.
Для каждой точки данных находится ее ближайшая проекция на кривую (т.е. самая ближайшая точка на кривой). 2. Условное ожидание (сопжйопа! ехсерзайоп). Применяем сглаживание графика разброса к проектируемым значениям вдоль кривой. В этой процедуре рекомендуется начинать с большого диапаюна и постепенно уменьшать его. Эти два шага аналогичны векторному квантованию и процедуре "отжига" окрестности, осушествляемым в алгоритме 8ОМ 598 Глава 9. Карты самоорганизации Вход и а) Вхоа и Рис.
9.7. Двумерное распределение, полученное в результате линейного отображения входа на выход (а); двумерное распределение, полученное в результате нелинейного отображения входа на выход (б) б) мерности, присутствуюШие во входном распределении. Свойство топологического упорядочивания алгоритма БОМ хорошо продемоистрироваио иа рис. 9.8, . В частности, видно, что алгоритм (после сходимости) извлек топологию распределения входного сигнала. В результатах компьютерного моделирования (см.
рис. 9.8) как входное пространство Х, так и выходное пространство А было двумерным. 9.6. Компьютерное моделирование 599 0,2 0,8 0,6 0,4 -0,) 0,2 -0,2 $ -0,2 -0,1 0 о 0 0,2 0,5 б) а) 0,8 0,8 0,6 0,6 0,4 0,4 0,2 0,2 о 0 0 0 0,5 0,5 в) Рис. 9.8. Распределение входных данных (а); начальное состояние двумерной ре- шетки (б); состояние решетки в конце этапа упорядочивания (в); состояние решетки в конце этапа сходимости (г) Одномерная решетка на основе двумерного распределения Теперь рассмотрим случай, когда размерность входного пространства Х больше размерности выходного пространства А. Несмотря на это расхождение, карта признаков Ф часто способна сформировать топологическое представление входного распределения.
На рис. 9.9 показаны три этапа эволюции карты признаков, инициализированной на рис. 9.9, б и обучаемой на входных данных, взятых из равномерного распределения внутри квадрата (см. рис. 9.9, а). Вычисления осуществлялись на одномерной решетке, состоящей из 100 нейронов. На рис. 9.9, в, г показаны карты признаков после завершения этапов упорядочивания и сходимости соответственно. На этих рисунках видно, что карта признаков, вычисленная алгоритмом, не может корректно представить равномерное заполнение квадрата достаточно плотно и дать достаточно хорошую аппроксимацию двумерного входного пространства Х.
Кривая аппроксимации, показанная на рис. 9.9... является кривой Пеоне (Реапо сцгуе) (573). Операция, проведенная в этом эксперименте и представленная картой признаков на рис. 9.9 (где входное пространство Х представлено его проекцией на пространство более низкой размерности А), называется снижением размерности (о(шепз(опа)1(у гедцс((оп). 999 Глава 9. Карты самоорганизации 0,8 0,5 0,6 0,4 -0,5 0,2 о 0 -0,5 О 0,5 0,5 6) 0,3 О,В 0,6 0,6 0,4 0,4 0,2 0,2 0 о 0 а 0,5 0,5 в) г) Рис. 9.9.
Распределение входных данных (а); начальное состояние двумерной решетки (б); состояние решетки в конце этапа упорядочивания (в); состояние решетки в конце этапа сходимости (г) Описание параметров моделирования На рис. 9.10 представлены детали динамики функции окрестности луп(п) и параметра скорости обучения т)(п) с течением времени (т.е. с количеством эпох) при моделировании отображения на одномерную решетку. Параметр функции окрестности п(п), показанный на рис.
9.10, а, начинает работу из исходного состояния ттс —— 18 и убывает практически до единицы за 1000 итераций этапа упорядочивания. В течение того же этапа параметр скорости обучения 21(л) начинает работу со значения 0,1 и уменьшается до значения 0,037. На рис.
9.10, в показано изначальное гауссово распределение нейронов вокруг победившего нейрона, расположенного в центре одномерной решетки. На рис. 9.9, г показана форма функции окрестности в конце этапа упорядочивания. Во время этапа сходимости (5000 итераций) параметр скорости обучения равномерно уменьшался от 0,037 до 0,001. В течение того же этапа функция окрестности сократилась практически до нуля. 9.6. Компьютерное моделирование 601 го Ь 1О ь 0 о пю го о 300 400 500 600 700 800 900 1000 а) 0,1 ф 0,05 0 О 800 900 1000 100 200 300 400 500 600 700 6) 0,5 0 0 10 20 !00 30 40 50 60 70 80 90 в) 0 0 70 80 90 100 10 20 30 40 50 60 г) Рис. 9ЛО.
Экспоненциальное убывание параметра о(п) функции окрестности (а),' экспоненциальное убывание параметра т((н) (б); изначальная форма гауссовой функции окрестности (в); форма функции окрестности по завершении фазы упорядочивания (т.е, в начале этапа сходи- мости) (г) Спецификации этапов упорядочивания и сходимости при компьютерном моделировании для случая двумерной решетки (см. рис. 9.8) аналогичны использованным для одномерной, за исключением того факта, что функция окрестности теперь тоже стала двумерной. Параметр п(п) начал работу со значения гто — — 3, за 1000 итераций уменьшившись до О, 75. На рис.
9, ! 1 показано начальное состояние гауссовой функции окРестности 63з длЯ его —— 3 и победившего нейРона, центРиРованного в точке (7; 8) двумерной решетки размером 10 х 10 нейронов. 002 Глава 9. Карты самоорганизации Нейрон-потекитель 0,8 0,6 0,4 0,2 0 !О 10 Рис. 9.11. Начальное условие для двумерной гауссоеой функции окрестности с центром в нейроне-победителе, расположенном в точке (7; 8) двумерной решетки размером 10 х 10 нейронов 9.7.
Квантование вектора обучения Векторное квантование (рессор ергапг)хаггоп), о котором мы говорили в разделе 9.6, представляет собой прием использования структуры входных векторов для сжатия данных [346]. В частности, входное пространство подразделяется на множество четких областей, для каждой из которых определяется вектор воспроизведения. Когда устройству квантования представляется новый входной вектор, в первую очередь определяется область, к которой принадлежит данный вектор, а после зтого создается представление через вектор воспроизведения данной области. Таким образом, используя некодированную версию восстанавливаемого вектора для хранения или передачи исходного вектора, можно добиться значительной зкономии пространства хранения или мощности канала передачи данных за счет привнесения некоторых искажений.
Множество возможных векторов воспроизведения называется кодовой книгой (соде Ьоой) устройства квантования, а его отдельные члены — кодовыми словами (сок)е и огд). Устройство векторного квантования, обладакнпее минимальным искажением при кодировании, называется кьантователем Вороного, или квантователем на основе ближайшего соседа (пеагезнпегйЬЬог е(цапггхег), а ячейками Вороного называют множество точек во входном пространстве, которые соответствуют подразделению этого 9.7.
Квантование вектора обучения 903 Рис. 9Л2. Диаграмма Вороного, содержащая 4 ячейки ([379], приведена с разрешения )ЕЕЕ) пространства в соответствии с правилом ближайагего соседа, основанным на Евклидовой метрике [346]. На рис. 9.12 показан пример входного пространства, разделенного на четыре ячейки Вороного, с соответствующими векторами воспроизведения (или векторами Вороного). Каждая из этих ячеек содержит те точки входного пространства, которые расположены ближе всего к вектору Вороного.
Алгоритм БОМ обеспечивает приближенный метод вычисления векторов Вороного без учителя. При этом аппроксимация определяется векторами синаптических весов нейронов на карте признаков. Это практически повторяет описание свойства 1 алгоритма БОМ, о котором речь шла в разделе 9.6. Расчет карты признаков, таким образом, можно рассматривать как первый из двух этапов адаптивного решения задачи классификации (рис.
9.13). На втором этапе в качестве механизма точной подстройки карты признаков проводится квантование вектора обучения. Квантование вектора обучения'7 (! е апина ч ееГог г]пап!]хат[оп — ЬЧЯ) — это прием обучения с учителем, который использует информацию о классе для небольшого смещения вектора Вороного и, таким образом, для улучшения качества областей решений классификатора. Входной вектор х случайно выбирается из входного пространства.
Если метки класса входного вектора х и вектора Вороного и согласуются, последний смещается в направлении первого. Если же метки классов этих векторов не согласуются, вектор Вороного тв смещается в сторону, противоположную входному вектору х. 'т Идея квантования вектора обучения принадлежит Кохонену [578), Три версии этого алгоритма были описаны в его работах [5581, [574]. Версия, предлагаемая в разделе 9.7, является первой иэ них и в работах Кохонена обозначается как ЬтгО!.
Алгоритм квантования вектора обучения является алгоритмом стохастической аппроксимации. В работе [89] исследовались свойства сходимости этого алгоритма. При этом использовался подход 009 (обычных дифференциальных уравнений), который описывался в главе 8. 604 Глава 9. Карты самоорганизации Вход сиг > Метки классов Учитель Пусть (лг,),' г — множество векторов Вороного, а (х,)~, — множество входных векторов (наблюдений).
Предполагается, что количество входных векторов намного превосходит количество векторов Вороного, что, как правило, происходит на практике. Алгоритм квантования векторов обучения (1ЛГО) можно описать следующим образом. 1. Предположим, что вектор Вороного лт, является самым близким к входному вектору х;. Обозначим символом С„класс, ассоциируемый с вектором Вороного Ьу„а СИМВОЛОМ С„вЂ” МЕтКу КЛаССа ВХОДНОГО ВЕКтОра ХЛ ВЕКтОр ВОРОНОГО Ис корректируется следующим образом.
° Если С„. =С,„то лг,(п + 1) = и,(п) + а„[х, — ьтс(п)), (9.30) где 0 < а„< 1. ° Если С„, фСж, то лгс(и+ 1) = и,(п) — а„[х; — лт,(п)). (9.31) Константу обучения а„лучше сделать монотонно убывающей с увеличением числа итераций. Например, начальным значением а„может служить 0,1 или меньшее. Затем эта константа может убывать линейно по п. После нескольких проходов по входным данным векторы Вороного, как правило, сходятся.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
