Хайкин С. - Нейронные сети (778923), страница 124
Текст из файла (страница 124)
Контекстные карты, получившиеся в результате использования алгоритма 80М, нашли свое применение в решении задач создания фонетических классов для текста, исследования Земли или дистанционного юндироваиия [568], а также в исследовании данных и извлечении скрытых закономерностей (пата ехр1огабоп 8с пата ппшпй) [569]. 9.11. Резюме и обсуждение По Кохонену [579] самооргаиизуюшиеся карты представляют собой нейронные сети, построенные иа одно- или двухмерной решетке нейронов для извлечения важных признаков, содержащихся во входном пространстве.
Таким образом, можно получить структурное представление входных данных, используя в качестве прототипов векторы весов нейронов. Алгоритм 80М имеет иейробиологическую подоплеку. Ои объединил в себе все основные механизмы, присущие самоорганизации: конкуренцию, 614 Глава 9. Карты самоорганизации собака собака лиса лиса лиса кошка кашка кошка орел орел собака собака лиса лиса лиса кошка кошка кошка орел орел волк волк волк лиса кошка тигр тигр тигр сова сова ястреб ястреб пиубь голубь голубь ястреб ястреб голубь голубь пшубь волк волк лев волк волк лев волк волк лев лев лев тигр тигр тигр лев лев тигр тигр тигр сова голубь ястреб голубь курица курица лев лев лошадь лошадь лев лошадь зебра зебра зебра зебра зебра лев леа лош аль зебра зебра корова корова корова курица курица корова корова корова курица курица корова корова корова утка утка гусь Рис.
9.18. Семантическая карта, полученная при использовании мо- делирования проводимости электродов. Эта карта разделена на три области, представляющие птиц, мирных животных и хищников кооперацию и самоусиление (см. главу 8). Таким образом, его можно рассматривать как универсальный, несмотря на неполное развитие модели, описываютцей возникновение явления коллективного порядка в сложных системах, юторые начинаются с полного беспорядка. Самоорганизующиеся карты можно также рассматривать как векторный квантователь, реализуя таким образом принципиальный подход к выводу правила коррекции, используемого для настройки векторов весов 1691]. Этот последний подход еще раз подчеркивает роль функции окрестности, выступающей в роли функции плотности вероятности. Однако следует особо отметить, что последний подход, основанный на использовании в (9.19) в качестве минимизируемой функции стоимости среднего распределения Р„может быть оправдан только в том случае, если карта признаков уже достаточно хорошо упорядочена.
В (285] показано, что динамика обучения самоорганизующейся карты на этапе упорядочивания адаптивного процесса (т.е. во время топологического упорядочивания изначально беспорядочной карты признаюв) не может быть описана стохастическим градиентным спуском с одной функцией стоимости. Однако в случае одномерной решетки этот процесс может быть описан с использованием множества функций стоимости — по одной для каждого нейрона сети. Прн этом зтн функции независимо минимизируются в соответствии с методом стохастического градиентного спуска. В алгоритме БОМ удивляет то, насколько он легко реализуем, и при этом довольно сложно анализировать его свойства, используя математический аппарат.
Для его анализа некоторыми исследователями был предложен ряд мощных методов, однако их результаты имеют ограниченную область применения. В (214] был приведен обзор результатов, полученных в теоретических аспектах алгоритма 8ОМ. В частности, были подчеркнуты недавние результаты, полученные в (304], [305], где утверждалось, что в случае одномерной решетки можно получить строгое доказательство сходимости Задачи И5 "лочзли ниверляки" алгоритма БОМ к единственному состоянию после прохождения им этапа самоорганизации. Этот важный результат был показан для довольно широкого класса функций окрестности. Однако то же самое нельзя утверждать для многомерных решеток. Последним вопросом рассмотрения стал порядок. Так как самоорганизующиеся карты были навеяны идеями, полученными при исследовании карт коры головного мозга, вполне естественным выглядит то, что эта модель может описывать формирование этих самых карт мозга.
Такое исследование было представлено в [283). В этой работе показано, что самоорганизующаяся карта признаков способна объяснить формирование вычислительных карт в первичной зрительной коре мозга (ргнпагу лапа! созтех) макаки. Использовавшееся в этом исследовании входное пространство было пятимерным. Две размерности использовались для описания положения поля восприятия в пространстве сетчатки, а оставшиеся три — для предпочтении ориентации (ог(ешаз(оп ргегегепсе), ориентационной избирательности (опеп1айоп яе!есг)чту) и окуллрного доминирования (оси1аг дош1папсе).
Поверхность коры мозга была поделена на небольшие участки, которые рассматривались как вычислительные элементы (т.е, искусственные нейроны) на двумерной квадратной решетке. При некоторых допущениях было показано, что обучение Хебба ведет к созданию пространственных моделей ориентации и окулярного доминирования, которые поразительно сходны с обнаруженными в мозге макаки. Задачи Алгоритм 80М 9.1.
Пусть д(у,) — некоторая нелинейная функция отклика у,, которая используется в алгоритме КОМ (9.9). Что случится, если постоянное слагаемое в разложении функции д(уз ) в ряд Тейлора не равно нулю. 9.2, Пусть к(ч) — гладкая функция шума в модели на рис. 9.6. Используя разложение Тейлора меры искажения (9.19), определите слагаемое искривления, возникающее в модели шума к(к). 9.3.
Иногда говорят, что алгоритм КОМ сохраияезл топологические связи, существующие во входном пространстве. Грубо говоря, это свойство можно гарачтировать только для входного пространства с размерностью, меньшей или равной размерности нейронной решетки. Обсудите справедливость этого утверждения. 9.4. Говорят, что алгоритм КОМ, основанный на конкурентном обучении, не обладает отказоустойчивостью. Это значит, что этот алгоритм толерантен к 616 Глава й. Карты самоорганизации ошибке, т.е. небольшое возмущение входного вектора способно вызвать резкий переход выхода от победившего нейрона к соседнему. Обсудите справедливость этих утверждений. 9.5. Рассмотрим пакетную версию алгоритма БОМ, полученную представлением выражения (9.23) в его дискретной форме: ~ клсх, тт,= ',,1=1,2,...,1.
йт с Покажите, что эта версия алгоритма БОМ может быть выражена в форме, описанной в [186) (см, главу 5). Квантование векторов обучения 9.6. В этой задаче рассмотрим оптимизированную форму алгоритма квантования векторов обучения (см. раздел 9.7) [568). При этом требуется систематизировать эффект от юррекции векторов Вороного в разное время, чтобы получить равное влияние в конце периода обучения. В первую очередь покажите, что уравнения (9.30) и (9.31) можно объединить в одно, имеющее следующий вид; тт,(п + 1) = (1 — а„а„)тт,(п) + а„а„х(п), где +1 при юрректной классификации, асс — 1 при некорректной классификации.
Исходя из этого, покажите, что критерий оптимизации, описанный в постановке задачи, удовлетворяется, если а„= (1 — а„а„)а„„ (9.37) а оптимальное значение константы обучения а„ равно орс а„с 1+ а„а„гсс 9.7. Правила коррекции для обоих собственных фильтров максимума, о которых речь шла в главе 8, и для самоорганизующейся карты используют модификации постулата обучения Хебба.
Сравните эти две модификации и найдите в них сходства и отличия. г,о Рис. 9.19. Линейная плотность распределения входных О*О данных до х, 9.8. Алгорипьн сучетом чсовесаи "является модификацией алгоритма 8ОМ, которая приводит к точному соответствию плотности распределения [254]. В этом алгоритме (табл. 9.4) каждый из нейронов отслеживает, сколько раз ои победил в соревновании (т.е.
сколько раз его вектор сииаптических весов был ближе других нейронов к вектору входного сигнала в смысле Евклидова расстояния). Здесь следует сделать замечание, что если нейрон побеждает слишком часто, ои "чувствует себя виновным" (тее!з 8п(1гу) и выводит себя из конкуренции. Для исследования улучшения подобия плотности, вызываемого алгоритмом с учетом "совести", рассмотрим одномерную решетку (т.е. линейный массив), состоящую из 20 нейронов, которые обучаются иа входных примерах с линейной плотностью (рис. 9.19). ° С помощью компьютерного моделирования сравните соответствие плотности в результате применения алгоритмов 80М и алгоритма с учетом "совести". В алгоритме БОМ параметр скорости обучеиия 11 = 0,05, а в алгоритме с учетом "совести" используются следующие параметры: В = О, 0001, С = 1, О, 11 = О, 05. ° Как часть эксперимеита рассмотрите "точное" соответствие входной плотности.
Обсудите результаты компьютерного моделирования. Компьютерные эксперименты 9.9. В этом эксперименте для исследования алгоритма 80М, примененного к одномерной решетке с двумерным входом, будем использовать компьютериое моделирование. Эта решетка состоит из 65 нейронов. Входы состоят из 618 Глава 9. Карты самоорганизации ТАБЛИЦА 9.4.
Алгоритм с учетом "совести" в сжатом виде 1. Находим вектор синаптических весов и;, ближайший к входному вектору х: ((х — иД = ппп)(х — н',)), т' = 1,2,...,АГ з 2. Вычисляем общее количество моментов времени, р„в которые нейрон у победил в соревновании: р"' =- р'и + В(уу — р'и), где 0 < В « 1 и 1 , если нейрон т' является победившим, 0 — в противном случае.
В начале алгоритма ру инициализируется значением нуль. 3. Находим победивший нейрон, используя механизм сопзс1епсе: ()х — ту;)! = ппп (((х — из (! — Ьу), где б, — слагаемое смещения, модифицирующее соревнование: бу=С вЂ” — р, где С вЂ” множитель смещения; Аг — общее количество нейронов в сети 4. Корректируем вектор синаптическнх весов победившего нейрона: „пеш оы + „т ые) где 11 — обычный параметр скорости обучения, используемый в алгоритме БОМ х, Рис. 9.20. Треугольная область распределения вход- ных данных случайных точек, равномерно распределенных в треугольной области, показанной на рис.
9.20. Вычислите карту, полученную алгоритмом БОМ после О, 20, 100, 1000, 10000 и 25000 итераций. 9.10. Рассмотрите двумерную решетку нейронов, обучаемую на основе входных сигналов с трехмерным распределением. Данная решетка имеет размер 10 х 10 нейронов. Зада и Входной сигнал равномерно распределен в области, определенной следующим образом: ((О < х, < 1),(0 < жз < 1),(0 < хз < 0.2)). Для вычисления двумерной проекции входного пространства после 50, 1000 и 10000 итераций используйте алгоритм БОМ.
Повторите вычисления для случая, когда вход равномерно распределен в параллелепипеде: ((О < х, < 1),(0 < хз < 1),(0 < хз < 0.4)). Повторите вычисления еще раз для входа, равномерно распределенного в кубе: ((О < х1 < 1),(0 < хз < 1),(0 < хз < 1)). Обсудите результаты проведенного моделирования.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
