Хайкин С. - Нейронные сети (778923), страница 123
Текст из файла (страница 123)
Для векторного квантования использовался иерархический кодер с четырехмерным входным пространством, подобный показанному иа рис. 9.15, б. Для ряда авторегрессии (х(п) ) потребовалась симметрия преобразования, подразумевающая использование только двух отдельных справочных таблиц. Размер каждой из этих таблиц экспоиеициальио зависел от количества битов входного сигнала и линейно от количества битов выходного сигнала. Во время обучения для правильного вычисления коррекций (9.24) потребовалось большое количество битов для представления чисел, поэтому во время обучения справочные таблицы ие использовались. Однако после 610 Глава 9.
Карты самоорганизации УР ЕИ у л г У ' ' Ступень 2 / Ступень ) Ступень! Ступень 2 а) б) Восстановленное распределение Исходное распределение в) г) Рис. 9.16. Результаты двухступенчатого кодирования/декодирования для коррелированного гауссова шума, коэффициент корреляции р = о, Вв (перепечагпано из 16901) ° Вектор кодирования, вычисленный первой ступенью кодера. ° Вычисленный второй ступенью вектор восстановления, который минимизирует среднеквадратическое искажение при одновременном сохранении всех остальных переменных. завершения обучения количество битов могло быть уменьшено до обычного уровня, после чего потребовались записи справочных таблиц. Дпя кодера, показанного на рис.
9.15, б, входные образы аппроксимировались с использованием четырех битов на образ. Для всех ступеней кодера использовалось тьг = 17 векторов кодирования, так что количество выходных битов в каждой из справочных таблиц приблизительно равнялось четырем. Таким образом, размер адресного пространства для таблиц обеих ступеней составил 256 (=2а+е). Это говорит о том, что общие требования к памяти для представления таблиц бьии крайне скромными. На рис.
9.16 показаны результаты кодирования/декодирования элементов х(п). В нижней части рис. 9.16, а векторы кодирования для каждой из двух ступеней показаны как кривые, помещенные в двумерное входное пространство. В верхней части рис. 9.16, а показаны оценки соответствующих матриц соответствия (сооссшепсе) размером 1бх16, На рис. 9.16, б в виде фрагментов временного ряда представлены следующие элементы.
9.10. Контекстные карты 611 На рис. 9.16, в представлено 512 примеров из исходного временного ряда (верхняя кривая) совместно с реконструированными примерами (нижняя кривая). Эти данные взяты из выхода последней ступени кодировщика. Горизонтальная шкала на рис. 9.16, в равна половине шкалы на рис. 9.16, б. На рис.
9.16, г представлена матрица соответствия, составленная из пар примеров: исходных и соответствующих им восстановленных. Ширина полосы на рис. 9.16, г показывает степень искажения, произведенного иерархическим векторным квантованием. Исследуя графики на рис. 9.16, в, можно увидеть, что восстановленная информация является достаточно хорошим представлением исходного временного ряда, за исключением того, что отдельные положительные и отрицательные пики срезаны. Согласно [690), нормированное среднеквадратическое искажение составило 0,15, что практически не хуже (меиьше на 0,05 дБ), чем 8,8 дБ, полученные с использованием одноступенчатого блочного кодера с четырьмя входами, использующего по одному биту на пример [510).
9.10. Контекстные карты Существуют два фундаментально отличных метода визуализации самоорганизующихся карт признаков. Первый из этих методов состоит в построении гибкой сети, в которой векторы синаптических весов являются указателями, направленными от соответствующих нейронов во входное пространство. Этот метод визуализации особенно полезен для правильного отображения свойства топологического упорядочивания алгоритма КОМ.
Это было продемонстрировано на примере компьютерного моделирования, приведенного в разделе 9.6. Во втором методе визуализации нейронам в двумерной решетке (представляющим выходной слой сети) назначаются метки классов, в зависимости от того, как каждый из примеров (не встречавшихся ранее) возбудил конкретный нейрон в самоорганизующейся сети. В результате этой второй ступени моделирования нейроны в двумерной решетке разбиваются на некоторое количество когерентиых областей (соЬегепг ге81оп). Здесь под когерентностью понимается то, что каждая из групп нейронов представляет обособленное множество непрерывных символов или меток [888). Это подразумевает, что при восстановлении хорошо упорядоченной карты использовались правильные условия.
Для примера рассмотрим множество данных, представленных в табл. 9.3. В этой таблице приведены характеристики отдельных животных. На основании данных каждого из столбцов таблицы можно составить описание некоторого животного. При этом значение 1 подразумевает наличие, а 0 — отсутствие одного из 13 свойств, перечисленных в таблице слева. Отдельные атрибуты (например, "2 ноги" и ий ноги") коррелируют, в то время как остальные — нет. Для каждого из представленных животных можно составитьхарактеристический код (аппЬпге соде) х„состоящий из 13 элемен- 612 Глава 9.
Карты самоорганизации ТАБЛИЦА 9.3. Названия животных и их характеристики Животное Г К У Г С Я О Л С В К Т Л Л 3 К о е о иг б р а р о д а в т у о с к с в т р и о о о и е е с б л и г в а ь а р б л а а к к р ь а 1 1 1 1 1 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 Маленький Размер Средний Крупный Имеет 0 0 0 0 1 1 1 1 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 1 1 0 1 1 1 1 0 1 0 0 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 Охоту Бегать Летать Плавать Любит тов.
Само животное определяется символьным кодом (зушЬо!!с соде) х„по которому никак нельзя собрать информацию о сходствах и различиях между отдельными животными. Например, в данном примере х, представляет собой вектор, и-й элемент (соответствуюгций номеру животного в списке) которого имеет некоторое значение а; при этом все остальные элементы равны нулю. Параметр а определяет относительное влияние характеристического и символьного кодов друг на друга. Для того чтобы гарантировать, что данный характеристический код является доминантным, а выбирается равным 0,2.
Входной вектор для каждого из животных состоит из 29 элементов и представляет собой объединение характеристического х, и символьного х„кодов: Наконец, каждый из векторов данных нормируется к единичной длине. Примеры из таким образом созданного множества данных подаются на вход двумерной решетки нейронов размером 10 х 10, при этом синаптические веса нейронов настраиваются в соответствии с алгоритмом БОМ (см.
рис. 9.4). Обучение продолжалось в течение 2000 итераций, после чего карта признаков должна была достичь стабильного состояния. После этого самоорганизующейся сети подавались на вход векторы х=(х„б)~, 2 ноги 4 ноги Шерсть Копыта Гриву Перья о у л р у и б ц ь а 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 0 0 0 0 1 1 1 0 1 1 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 1 1 1 0 0 1 1 1 0 0 0 0 0 0 0 9.11. Резюме и обсуждение 913 собака кошка лиса орел сова тигр ястреб лев лошадь курина корова гусь зебра......
утка Рнс. 9.17. Карта признаков, содержащая маркированные нейроны, имеющие самый сильный отклик на определенный входной пример содержащие только символьные коды одного из животных, и определялся нейрон с самым сильным откликом. Эта процедура повторялась для всех 16 животных. В процессе выполнения описанного алгоритма была получена карта, показанная иа рис. 9.17.
В ией маркированные нейроны дали самый сильный отклик иа соответствуюшие примеры. Точками иа карте обозначены нейроны с более слабыми откликами. На рис. 9.18 показан результат моделирования для той же самооргаиизуюшейся сети. Однако иа этот раз каждый из нейронов сети был маркировал названием того животного, для которого его отклик был самым сильным. На этом рисунке видно, что карта признаков четко отслеживает "родственные взаимосвязи" между 16 различными животными.
На ием можно выделить три обособленных кластера, один из которых представляет птиц, второй — мирных животных, а третий — хищников. Карта признаков, показанная иа рис. 9.18, называется контекстной (соп1ехШа!) или семантической (зепипбс) [568], [888]. Эти карты напоминают вычислительные карты, формируемые в коре головного мозга (см. главу 2).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
