Хайкин С. - Нейронные сети (778923), страница 115
Текст из файла (страница 115)
872 Глава 8. Анализ главных компонентов Используйте 2000 примеров случайного входного сигнала х(г, з) для обучения однослойной сети прямого распространения с помощью обобщенного алгоритма Хебба. Данная сеть имеет 4096 входов, скомпонованных в ячейки пикселей размером 64 х 64, и 16 выходов. Полученные в результате обучения веса сети можно представить в виде матрицы размерности 64х64. Выполните описанные здесь вычисления и представьте 16 массивов синаптических весов в виде двумерных масок. Прокомментируйте результат.
8.7. Уравнение (8.113) представляет собой преобразованную версию уравнения коррекции (8.!06) для вычисления вектора весов обратных связей а,(п). Это преобразование основано на определении вектора синаптических весов ттг (и) в терминах т главных мод (шодез) сети, представленных уравнением (8.109). Выведите уравнение (8.1 13).
8.8. Рассмотрите матрицу системы (8.116), представленную графом передачи сигнала парис. 8.12, где 1 < 1с < 7 — 1. а) Выведите характеристическое уравнение для этой матрицы размером 2 х 2. б) Покажите, что зта матрица имеет двойное собственное значение. в) Докажите утверждение, что основные моды сети имеют одно и то же собственное значение. 8.9. Алгоритм ОНА использует только прямые связи, в то время как алгоритм АРЕХ использует как прямые, так и латеральные связи.
Несмотря на эти различия, сходимость алгоритма АРЕХ теоретически является такой же, как и для алгоритма ОНА. Докажите истинность этого утверждения. РСА на основе ядра 8.10. Пусть К, — центрированная составляющая 11чго элемента матрицы ядра К. Покажите, что 1945) К, =ʄ— — ~~> гр (х )е(х,) — — ~к Е" (х,)е(х„)+ т=1 и м + — ~к ~> гр~(х )гр(х„).
т=1 и=1 Запишите компактное представление этого соотношения в матричном виде. 8.11. Покажите, что нормировка собственного вектора гх матрицы ядра К эквивалентна удовлетворению требования (8.153). 8.! 2. Перечислите свойства РСА на основе ядра. Карты самоорганизации 9.1. Введение В этой главе мы продолжим изучение самоорганизующнхся систем и рассмотрим особый класс искусственных нейронных сетей, который носит название карт самоорганизации. Эти сети основаны на конкурентном обучении (сошрсййче (еапппй).
Отдельные нейроны выходного слоя такой сети соревнуются за право активации, в результате чего активным оказывается один нейрон в сети (или в группе). Выходной нейрон, который выиграл данное соревнование, называется победившим (чч1пп(пй пепгоп). Одним из способов организации такой конкуренции между нейронами является использование латеральных (т.е. отрицательных обратных) связей между ними. Эта идея была впервые предложена Розенблаттом (902]. В картах самоорганизации (зеИ-огдапнйпй шар) нейроны помещаются в узлах решетки (!ац1се), обычно одно- или двухмерной. Карты более высокой размерности также возможны, но используются достаточно редко. Нейроны в ходе конкурентного процесса избирательно настраиваются на различные входные образы (возбудители) или классы входных образов.
Положения таким образом настроенных нейронов (т.е. нейронов-победителей) упорядочиваются по отношению друг к другу так, что на решетке создается значимая система координат (573). Таким образом, самоорганизующиеся системы характеризуются формированием топографических карт (1оройгар)пс шар) входных образов, в которых пространственное местоположение (т.е. координаты) нейронов решетки является индикатором встроенных статистических признаков, содержащихся во входных примерах. Отсюда берет свое происхождение и само название "самоорганизующиеся карты". В качестве нейронных моделей самоорганизующиеся карты реализуют мост между двумя уровнями адаптации.
° Правилами адаптации, сформулированными на микроуровне одного нейрона. ° Объединениями экспериментально лучших и физически доступных моделей извлечения признаков микроуровней слоев нейронов. 574 Глава 9. Карты самоорганизации Так как карты самоорганизации по своей природе нелинейны, их можно рассматривать как нелинейное обобщение анализа главных компонентов [887]. Разработка карт самоорганизации в качестве нейронных моделей обусловлена следующим отличительным свойством человеческого мозга: он организован таким образом, что отдельные сенсорные входы представляются топологи чески упорядоченными вьгчислитвльными картами (горо!о81са11у оп)егед сошрцГабопа! шар) в определенных его областях. В частности, такие сенсорные входы, как нервные окончания тактильной системы [530],.зрения [489], [490] и слуха [1029], топологическн упорядоченно отображаются на различные контуры церебральной коры мозга.
Таким образом, вычислительное отображение является кирпичиком в инфраструктуре обработки информации нервной системой. Карта вычислений, в свою очередь, образована массивом нейронов, представляющих собой несколько по-разному настроенные процессоры или фильтры, параллельно принимающие информацию от различных сенсоров. Следовательно, нейроны преобразовывают входные сигналы в пространственно- кодированные [р1асе-содед) распределения вероятности, представляющие вычисленные значения параметров узлами относительных максимумов активности [564].
К таким образом организованной информации получают доступ процессоры более высокого уровня, которые используют относительно простые схемы соединений. Структура главы Материал, представленный в настоящей главе, посвященной картам самоорганизации, расположен в следующем порядке. В разделе 9.2 описываются две модели отображения признаков, которые, каждая своим способом, способны извлекать существенные признаки вычислительных карт в биологической структуре мозга.
Эти две модели отличаются друг от друга используемой формой представления входных сигналов. Оставшаяся часть главы посвящена детальному изложению одной из этих моделей, получившей в работе Кохонена [579] название самоорганизуюигвйся азарты. В разделе 9.3 рассматриваются нейробиологические предположения, участвуюгцие в математической формулировке модели Кохонена, Эта модель в сводном виде описывается в разделе 9.4.
Особо важные свойства модели будут представлены в разделе 9.5, а в разделе 9.6 будет проведено компьютерное моделирование. Производительность карт признаков может быть настроена с помощью одного из приемов обучения с учителем, получившего название квантования вектора обучения. Этот прием описывается в разделе 9.7. В следующем разделе 9.8 будет проведен компьютерный эксперимент по адаптивной классификации моделей, который комбинирует в себе использование квантования векторов обучения и самоорганизующихся карт сжатия данных. В разделе 9.10 будет описано еще одно приложение карт самоорганизации — построение контекстных карт, которые находят применение в задачах фонетической классификации текста, наблюдения Земли и исследования данных.
Как всегда, глава завершается разделом выводов и обсуждений (9.12). 9.2. Два основные модели отображения признаков 676 9.2. Две основные модели отображения признаков Любой исследователь человеческого мозга ие может ие поражаться доминирующей ролью его церебральиой коры. Деятельность мозга практически целиком сосредоточена в коре, обходя другие возможные пути. Своей исключительной сложностью кора головного мозга превосходит, пожалуй, любую другую известную в природе структуру [489). Равно поражает и упорядоченность отображения входов различных сеисоров (моторных, слуховых, зрительных и т.п.) в соответствующие области коры головного мозга.
Хорошей иллюстрацией этого момента может служить приведенная иа рис. 2.4 (см. главу 2) цитоархитектуриая карта коры головного мозга. Вычислительные карты обладают следую!цими свойствами [564]. ° На каждом этапе представления каждый поступаюший фрагмент информации сохраняется в своем контексте. ° Нейроны, работающие с близко расположенными областями информации, также расположены достаточно близко друг к другу, таким образом взаимодействуя друг с другом посредством коротких сииаптических связей. Областью нашего интереса является построение искусственных топографических карт, которые обучаются посредством самоорганизации.
Эта идея была навеяна исследованиями в области иейробиологии. В этом контексте, из приведенного краткого описания вычислительных карт, функционирующих в структуре мозга, вытекает одно очень важное заключение [573!. Пространственное положение выходных нейронов в топографической карте соответствует конкретной области признаков данных, выделенных из входного пространства.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
