Хайкин С. - Нейронные сети (778923), страница 125
Текст из файла (страница 125)
9.! 1. При использовании алгоритма БОМ иногда возникает проблема топологического упорядочивания, называемая "скручиванием" !Го!дед) карты. Эта проблема возникает в случаях, когда размер окрестности убывает слишком быстро. Создание скрученной карты можно рассматривать как одну из форм "локального минимума" процесса топологического упорядочивания. Для того чтобы исследовать это явление, рассмотрим двумерную решетку размером 10 х 20 нейронов, обучаемую на основе двумерных входов, равномерно распределенных в квадрате (( — 1 < х, < +1), ( — 1 < тз < +1)).
С помошью алгоритма КОМ вычислите карту, сужая при этом окрестность победившего нейрона быстрее обычного. Чтобы явно увидеть ошибку упорядочивания,нужно повторить этот эксперимент несколько раз. 9.12. Свойство топологического упорядочивания алгоритма БОМ можно использовать для формирования абстрактного двумерного представления входного пространства более высокого порядка. Для того чтобы исследовать эту форму представления, рассмотрим двумерную решетку размером 10 х 10 нейронов, обучаемую на основе входов, состоящих из четырех гауссовых множеств, С,, Сз, Сз и Ся.
Все зти множества имеют единичную дисперсию, но разные центры: (0,0,...,0), (4,0,0,..., 0), (4,4,0,..., 0) и (0,4,0,...,0). С помощью алгоритма БОМ вычислите каргу и пометьте каждый из нейронов этой карты именем того класса, который наиболее полно представлен окружающими его входными точками. 620 Глава 9. Карты самоорганизации 9.13. В табл. 9.5 представлен в сжатом виде перенормированный алгоритм 50М (гелоппа!глеб 8ОМ а!яог)йпп).
Краткое описание этого алгоритма см. в разделе 9.3. Сравните обычный алгоритм БОМ с перенормированным, обратив внимание на следующие вопросы. 1. Сложность кодирования в реализации алгоритма. 2. Время, затрачиваемое компьютером на обучение. Проиллюстрируйте результаты сравнения этих двух алгоритмов, используя данные, взятые из равномерного распределения внутри квадрата, и следующие две конфигурации сети. 1.
Одномерная решетка из 257 нейронов. 2. Одномерная решетка из 2049 нейронов. В обоих случаях начните с исходного количества векторов кодирования, равного двум. 9.14. Рассмотрим пространственно-сигнальнуюдиаграмму, показанную парис. 9.21. Она соответствует М-мерной амплитудно-импульсной модуляции (М-агу рп!зе-ашр11шде шодп!абоп) для М = 8. Каждая точка сигнала представлена прямоугольным импульсом с соответствующей амплитудой: где Т вЂ” интервал сигнала. На входе получателя к сигналу добавляется гауссов шум с нулевым средним, меняюший соотношение сигнал/шум (ай). ба определяется как отношение "средней" мощности переданного сигнала к мощности аддитивного шума.
а) Используя случайную двоичную последовательность на входе передатчика, сгенерируйте данные, полученные приемником для Я~В=10, 20 и 30 дБ. б) Для каждого из этих значений ЯЖ сгенерируйте самоорганизующуюся карту. Для типичных значений можно использовать следующее. Входной вектор, составленный из восьми элементов, полученных подвыборкой восьми элементов из одного интервала дискретизации сигнала.
(Знаний о временных характеристиках сигнала не предполагается.) Одномерная решетка, состоящая из 64 нейронов (т.е. восьмикратный размер входного вектора). в) Нарисуйте карту признаков для каждого из трех ЯЖ и таким образом продемонстрируйте свойство топологического самоупорядочивания алгоритма 8ОМ. Задачи 621 Код 000 оо1 оп о~о по р н ~01 юо Амплитуда Средняя точка Рис. 9.21. Пространственно-сигнальная диаграмма ТАБЛИЦА 9.5. Перенормированный алгоритм обучения (одномерная версия) 1.
Инициализация Устанавливаем количество векторов кодирования в некоторое малое число (для простоты можно использовать число 2 или некоторое большее значение, соответствующее сложности задачи). Устанавливаем их положение в случайно выбранные примеры обучения Из множества примеров обучения случайным образом выбираем входной вектор Определяем "победивший" входной вектор (т.е. вектор синаптических весов нейрона-победителя). Для этого можно использовать правило "ближайшего соседа" или "минимального искажения" Производим коррекцию победившего нейрона и его "топологических соседей". При этом можно оставить параметр интенсивности обучения на некотором фиксированном значении (например, на 0,125) и использовать для победившего нейрона коэффициент з), а для его соседей — з)/2 Продолжаем корректировку кодовой книги (шаг 4), каждый раз используя новый входной вектор, случайно выбираемый из множества примеров обучения, пока количество этих корректировок в 10-30 раз не превзойдет количество векторов кодирования.
После этого кодовая книга разбивается. Это можно выполнить с помощью строки Пеано (Реапо згг)пп) имеющихся векторов кодирования и такой интерполяцией их положений, которая обеспечивает самое точное приближение строки Пеано. Для этого можно поместить дополнительный вектор кодирования между двумя уже существующими Корректировка и разбивка кодовой книги продолжается до тех пор, пока общее количество векторов кодирования не достигнет некоторого наперед заданного значения (например, 100). После этого обучение прекращается 2.
Выбор входно- го вектора 3. Кодирование входного вектора 4. Корректировка кодовой книги 5. Разбивка кодо- вой книги б. Завершение обучения Примечание. Разбивка юдовой книги после каждой эпохи приблизительно удваивает количество векторов кодирования, поэтому ддя этого процесса требуется ие так уж много эпох. Модели на основе теории информации 10Л. Введение В своей классической работе Клод Шеннон (С!апдс Б[)еппоп) изложил основы теории информации ([п[оппайоп 1[)еогу) [970]. Эта работа', а также дальнейшее развитие теории информации другими исследователями были ответом на потребность специалистов в области электроники в создании одновременно эффективных и надежных систем.
В свете практических применений теория информации в том виде, в котором она существует сегодня, является математической теорией, проникаю)цей в самую сущность процесса взаимодействия (соппппшсайоп ргосеаэ). Эта теория открыла простор для изучения таких фундаментальных вопросов, как эффективность представления информации и ограничения, налагаемые на надежность передачи информации по каналам связи. Более того, эта теория охватывает массу мощнейших теорем, вычисляющих идеальные границы для оптимального представления и передачи информационных сигналов.
Эти ограничения являются чрезвычайно важными, так как они описывают критерии улучшения архитектуры систем обработки информации. Главной целью настоящей главы является рассмотрение информационно- теоретических моделей ([п[оппа[[оп-0)еоге[[с люде!), которые приводят к самоорганизации. В этом контексте моделью, которая имеет особое значение, является принцип максимума взаимной информации (шахппшп пшШа! ш(оппайоп рппс)р!е) Линскера [653], [654]. Этот принцип гласит, что синаптические связи многослойной нейронной сети организуются таким образом, чтобы лри определенных условияхмак- ' Детальное изложение теории информации содержится в [22!] и [377].
Также можно обратиться к сборнику работ [1000], содержащему среди прочих и классическую работу Шеннона [9701 Работа Шеннона также воспроизведена с незначительными изменениями в [971] и [100! ]. Краткое изложение основных принципов теории информации, касаююихся нейронных сетей, содержится в [77]. Трактовка теории информации с биологической точки зрения солержится в[1173] Не следует путюь принцип максимума взаимной информации Линскера лля самоорганизуюшихся систем с правилом сохранения контекста информации [1п[оппапоп-сопмхт ртеветтапоп тц1е) в принятии решений практического метола, рассмотренного в главе 7. 10.2.
Энтропия 623 симизировать обьем информации, которая сохраняется при преобразовании сигнала на каждой из стадий обработки сигнала в сети. Эта идея, предложенная теорией информации для описания обработки сигнала, не является новойз. Достаточно вспомнить раннюю работу, в которой для систем обработки информации предложена следующая информационно-теоретическая функция [83]. Главной функцией систем обработки сигнала является раскрытие некоторой избыточности стимулирования для описания или кодировки информации в форме, более экономной, чем та, в которой она воспринимается рецепторами.
Главной идеей работы [83] является признание того, что юдирование данных с целью уменьшения избыточности связано с идентификацией их специфичных свойств. Эта идея связана с особой точкой зрения на мозг, приведенной в [230), где модель внешнего мира строилась как набор заюномерностей и ограничений. Структура главы Эта глава состоит из двух основных частей.
В первой части (разделы 10.2 — 10.5) излагаются основы теории информации. В разделе 10.2 описывается концепция энтропии как количественной меры информации, что естественным образом приведет к принципу максимума энтропии, описываемому в разделе 10.3. Далее, в разделе 10.4, мы обсудим концепцию взаимной информации, затем в разделе 10.5 последует описание дивергенции Кулбека-Лейблера.
Вторая часть этой главы (разделы 10.6 — 10.14) посвящена информационно- теоретическим моделям самоорганизующихся систем. В разделе 10.6 взаимная информация выводится в ранг оптимизируемых целевых функций. В разделе 10.7 описывается принцип максимума взаимной информации, за чем в разделе 10.8 следует рассмотрение взаимосвязи между этим принципом и уменьшением избыточности.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
