Хайкин С. - Нейронные сети (778923), страница 117
Текст из файла (страница 117)
Уравнение (9.3) становится источником следующего наблюдения. Непрерывное входное пространство образов активации нейронов с помои(аю процесса конкуренции между отдельными нейронами сети отображается в дискретное выходное пространство. В зависимости от приложения данного метода откликом сети может быть либо индекс победившего нейрона (т.е. его позиция в решетке), либо вектор синаптических весов, являющийся самым близким к входному в Евклцдовом смысле. Процесс кооперации Нейрон-победитель находится в центре топологической окрестности сотрудничающих нейронов.
Возникает ключевой вопрос: как определить топологическую окрестность, которая будет корректна с нейробиологической точки зрения? Для того чтобы ответить на него, вспомним о нейробиологическом обосновании латерального взаимодействия (1а(ега! тп(егасйоп) среди множества возбужденных нейронов. В частности, возбужденный нейрон всегда пытается возбудить пространственно близкие к нему нейроны, и это интуитивно понятно. Это наблюдение приводит к определению топологической окрестности победившего нейрона 7', которая плавно сходит на нет с увеличением расстояния5 [668), (669), (891].
Для большей конкретизации обозначим 4 Правило конкурентного (сошрегй(те) обучения (9.3) в литершуре по нейронным сетям впервые было введено в работе Гроссберга [4001. т В своей исходной форме алгоритма БОМ, предложенной в работе Кохонена [5791, предполагалось, что топологическая окрестность имеет постоянную амплитуду. Пусть Итл — ллтерлльное б(агегл!) расстояние между победившим (т) и возбужденным (т) нейронами в функции окрестности.
В таком случае топологическая окрестность в одномерной решетке определяется следуюшнм обраюм: 1), -к <Вял <К ( О, в противном случае, 9.3. Карты самоорганизации 881 символом 6тд тонологическУю окРестность (гоРо[ой[са! пе[8ЬЬоигйоог[) с центРом в победившем нейроне т, состоящую из множества возбуждаемых (кооперирующихся) нейронов, типичный представитель которой имеет индекс у. Пусть Нтл — литеральное расстояние ([а!ега! гйз!апсе) между победившим (т) и вторично возбужденным (у) нейронами. Тогда можно предположить, что топологическая окрестность 6., является унимодальной функцией латерального расстояния г[з, и удовлетворяет двум следующим требованиям. ° Топологическая окрестность 6дп является симметричной относительно точки максимума, определяемой при г[тл = О.
Другими словами, максимум функции достигается в победившем нейроне. ° Амплитуда топологической окрестности 6 , монотонно уменьшается с увеличением латерального расстояния г[з „ достигая нуля при г[,л -ч оо. Это необходимое условие сходимости. Типичным примером 62 о удовлетворяющим зтим требованиям, является функция Гиусса: (9.4) 6,,ц,) =ехр Это выражение является инвариантным к расположению победившего нейрона.
Параметр гг называют эффеюнивной шириной (ейесг[ре та[6[6) топологической окрестности (рис. 9.3). Этот параметр определяет уровень, до которого нейроны из топологической окрестности победившего участвуют в процессе обучения. В качественном смысле гауссова топологическая окрестность (согласно (9.4)) является более подходящей с биологической точки зрения, чем прямоугольная. Она также приводит к более быстрой сходимости алгоритма БОМ, чем прямоугольная топологическая окрестность [284],[668],[669].
Для обеспечения кооперации между соседними нейронами необходимо, чтобы топологическая окрестность 6,, была зависимой от латерального расстояния между победившим (т) и возбуждаемым (у) нейроном в выходном пространстве, а не от какой-либо меры длины в исходном входном пространстве. Именно это свойство отражено в выражении (9.4). В случае одномерной решетки расстояние г[т, является где 2К вЂ” общий размер одномерной окрестности возбужденных нейронов.
В противовес соглашениям из нейробиологии, сущность модели [) ) состоит в том, что все нейроны, расповсженные в топологической окрестности, возбуждаютая на одном и том же уровне, а взаимодействие между ними не зависит от латеральиого расстояния до победившего нейрона з. ь В [285! быао показано, что метастабильиые состояния, представляющие топалогические дефекты в конфигурации карты признаков, возникают в тех случаях, когда алгоритм 80М использует невыпуклую функцию окрестности. Функция Гаусса является выпуклой, в то время как прямоугольная область — нет. Широкая, выпуклая функпия окрестности [такая как гауссова функция большого радиуса) приводит к более быстрому топологическому упорялочиванию, чем иевыпуклая, так как она не содержит метастабильных состояний.
$82 Глава 9. Карты самоорганизации Рис. 9.3. Гауссоае функция окрестности д~,. = '8гу — г;(! (9.5) где дискретный вектор г определяет позицию возбуждаемого нейрона 7', а г;— победившего нейрона г. Оба этих измерения проводятся в дискретном выходном пространстве. Еще одним уникальным свойством алгоритма БОМ является то, что размер топологической окрестности со временем уменьшается. Это требование удовлетворяется за счет постепенного уменьшения ширины и функции топологической окрестности Ьво Популярным вариантом зависимости величины и от дискретного времени и является экспоненциальное убывание, описываемое следующей формулой [792], 1891]: п 1 п(п) = псехр ~ — — ), п = 0,1,2,..., т1 ) (9.6) где пс — начальное значение величины и в алгоритме БОМ; т1 — некоторая временная константа.
Исходя из этого, топологическая окрестность имеет форму, зависящую от времени, т.е. (2 )тьц,)(п) = ехр — ", ~, п = 0,1,2..., (9.7) где п(п) определяется по формуле (9.6). Таким образом, при увеличении количества итераций п ширина гт(п) экспоненциально убывает, а вместе с ней соответственно сжимается и топологическая окрестность. Далее функцию 6ьц,)(п) будем называть функцией окрестности (пе18ЬЬопгйоод йпспоп). целым числом, равным модулю ~7' — т ~. В случае же двумерной решетки это расстояние определяется соотношением 9.3. Карты самоорганизации 583 Еще один неплохой способ рассмотрения динамики функции окрестности Ьхц,) (и) вокруг победившего нейрона ((х) был предложен в !690). В ией назначение функции Ь1,1,>(п) сводилось к корреляции иаправлеиий векторов весов большого количества возбужденных нейронов в решетке.
По мере уменьшения ширины Ь,,1,>(п) направления коррекции нейронов коррелировались. Это явление становилось особеиио очевидным, когда карта самоорганизации отображалась иа графическом экране монитора. С учетом ограниченных ресурсов компьютера было бы довольно расточительиым коррелироваиио изменять большое количество степеней свободы вокруг победившего нейрона, как происходит в обычном алгоритме БОМ. Вместо этого лучше использовать неренорированную (гепоппайгед) форму обучения БОМ, в соответствии с которой приходится работать с гораздо меньшим количеством нормированных степеней свободы (поппайяед дейгее ог Ггеедош).
Эту операцию легко выполнять в дискретной форме для функции окрестности Ь, цю (и) с постоянной шириной, постепенно увеличивая общее количество нейронов. Новые нейроны вставляются между старыми, а свойства гладкости алгоритма БОМ гарантируют, что эти новые нейроны грациозно вольются в процесс сииаптической адаптации 1690). Переиормироваииый алгоритм БОМ в сжатом виде будет описан в задаче 9.13. Процесс адаптации Теперь приступим к последнему процессу самооргаиизующегося формирования карты признаков — процессу сииаптической адаптации. Для того чтобы сеть могла самооргаиизоваться, вектор сииаптических весов», нейрона ) должен изменяться в соответствии с входным вектором х.
Вопрос сводится к тому, каким должно быть это изменение. В постулате обучения Хебба сииаптический вес усиливался при одновременном возникновении предсииаптической и постсииаптической активности. Это правило хорошо подходит к ассоциативному обучению. Однако для типа обучения без учителя, которое мы рассматриваем в этой главе, гипотеза Хебба в своей основной форме ие может удовлетворить требованиям задачи.
На это есть своя причина; изменения в связях происходят только в одном направлении, что в конечном счете приводит все веса к точке иасыщеиия. Для того чтобы обойти зту проблему, немного изменим гипотезУ Хебба и введем в иее слагаемое зобы ванна ((огйеП!п8 гепп) д(Уз )» г, где тт — вектор сииаптических весов нейрона 1; д(у,) — некоторая положительная скалярная функция отклика у,.
Единственным требованием, налагаемым иа функцию д(у,), является равенство нулю постоянного слагаемого разложения в ряд Тейлора функции д(у,), что, в свою очередь, влечет выполнение соотношения д(у,) = О при у, = О. (9.8) 684 Глава 9. Карты самоорганизации Значимость этого требования сразу же становится очевидной. Имея такую функцию, изменение вектора весов нейрона т в решетке можно выразить следующим образом: Ьтт, = т!У,х — д(у,)тт,, (9.9) где т1 — параметр скорости обучения (!еапип8-гате рагагпетег) алгоритма. Первое слагаемое в правой части (9.9) является слагаемым Хебба, а второе — слагаемым забывания.
Для того чтобы удовлетворялось соотношение (9.8), выберем следующую линейную функцию д(у,): д(Ут) = т!Ук Выражение (9.9) можно упростить, приняв (9. 10) Уэ = нлдм. (9.1 1) Подставляя (9.10) и (9.11) в (9.9), получим: Ьът, = т!Йлцю(х — тч,). (9.12) В заключение, учитывая формализацию дискретного времени, для данного вектора синаптических весов ну(п) в момент времени п обновленный вектор тт,(п + 1) в момент времени п + 1 можно определить в следующем виде (568), (579), (891): тт,(п+ 1) = тт,(п) + т((п)Ьлц,!(п)(х — тч,(п)). (9.13) Это выражение применяется ко всем нейронам решетки, которые лежат в топологической окрестности победившего нейрона т. Выражение (9.13) имеет эффект перемещения вектора синаптических весов тчт победившего нейрона т в сторону входного вектора х.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
