Хайкин С. - Нейронные сети (778923), страница 20
Текст из файла (страница 20)
Известно также, что механизм ьТР облалаег ассоциативными свойствами, под которыми подразумевается проявление эффекта взаимодействия тракюв, активизируемых совместно. Например, если слабое возбуждение, не вызывающее эффекта 1.ТР, применять в паре с сильным, то слабый сигнал также будет усиливаться, Этот эффект называют ассаннамнелым сеайпнеом, так он аналогичен ассоцнатнвным свойствам систем обучения. В экспериментах Павлова, посвященных изучению условною рефлекса, нейтраль.
ный звуковой возбудитель (слабый) применялся в паре с сильным (еда). Результатом стало появление условною рефаекса (санд!Болей гезропяе) — выделение алюны в ответ на данный звуковой сигнал. Большинство экспернментальных работ в этой области было сфокусировано на ассоциативных снойстаах ьТР.
В большинстве сннапсов, поддерживающих 1.ТР, в качестве нейропередатчнка используется глугамат (й!ищшые). В постсннжпнческнх нейронах существует множество различных рецепторов, реагирующих на глутамат. Все этн рецепторы имеют разные свойствц на мы остановимся только на двух нз ннх. Главный сннаптнческнй отклик инициируется возбуждением рецептора АМРА (этот рецептор бьш назван в честь наркотнка, на который реагирует наиболее явно). Когда в эксперименте с 1.ТР зацнсывался результат, он в первую очередь относился на счет возбуждения рецептора АМРА. После сннжггнческой актнваинн высвобшкдался глутамат, юторый связывался с рецепторами в постсннжтгнческой мембране. Каналы ионов, являющиеся частью рецепторов АМРА, открывались, передавая поток, являющийся основой сннаптнческого отклика, Второй тнп глутаматых рецепторов — НМОА — тоже имеет ряд интересных свойств.
Для открытия ассоциированного ионного канала в рецепторе НМОА не достаточно глутамагного связывания. Этот канал осгаегся заблокированным, пока в процессе сннаптнчесюй ыггнвностн (в том числе н рецепторами АМРА) не будет сгенернрован большой скачок напряжения. Следовательно, если рецепторы АМРА являются химически завнснмыми, то рецепторы НМОА являются как химически, так н злеатрн чески завнснмы ми. Канал, ассоциированный с рецептором АМРА, связан с движением ионов соды (ююрые вызыашот сннаптнческнй ток). Канал, связанный с рецептором НМОА„обеспечивает попадание кальция в клетку.
Хотя лвнженне кальция влияет также н на мембранный ток (шешьгале сипеаг), его главной ролью является порождение цепочки событий, увеличивающих продолжительность реакции, связанной с рецептором АМРА. Так действует механизм сннапса, описанный Хеббом. Рецептор НМОА требует как предсннаптнческой (высвобождение глутамага), так н постсннаптнческой шпнвностн. Как этого добиться? Наличием достаточно сильного входного сигнала. Когда слабый входной сигнал одного сннапса интегрируется с сильным сигналом другого, первый сннапс высвобождает свой глутамат, а второй обеспечивает достаточно большой скачок напряжения, достаточный для активации рецепторов НМОА, связанных со слабым сннапсом.
Несмотря нато что исходное утверждение Хебба относится к однонаправленному обучению, правило двунаправленного обучении обеспечивает более высокую степень гибкости нейронных сетей. Прн его нспользованнн сннаптнческне веса отдельных нейронов могут не толью увелнчнваться, но н уменьшаться. Следует знать, что существуют экспернментальные доказательства существования механизмов сннаптнчесюго ослаблении.
Если слабый входной сигнал шттнвнзнруется без сопутствующего ему сильною, сннаптнческнй аес, как правило, ослабляется. Этот результат можно наблюдать в анде реакции сннаптнческой системы на ннзючастогное воздействие. Такое явление ниывается долговременным морможелнгм (!опй-гепп аергезз!оп, нлн 1.ТО). Существует также подтверждение гетероснналтнческаго шормиження (йегегозупарйс дергезз!ол). Если ).ТΠ— это торможение, влияющее на ыттнвнзнрованный вход, то влияние гетеросннаптнческого торможения распроатраняется только на не активизированные входы.
2.5. Конкурентное обучение 101 2.5. Конкурентное обучение Как следует из самого названия, в конкурентном обучении (согпре|й|че ]еагшпд)5 выходные нейроны нейронной сети конкурируют между собой за право быть активизированными. Если в нейронной сети, основанной на обучении Хебба, одновременно в возбужденном состоянии может находиться несколько нейронов, то в конкурентной сети в каждый момент времени может быть активным только один нейрон. Благодаря этому свойству конкурентное обучение очень удобно использовать для изучения статистических свойств, используемых в задачах классификации входных образов. Правило конкурентного обучения основано на использовании трех основных элементов 19131. ° Множество одинаковых нейронов со случайно распределенными синаптическими весами, приводящими к различной реакции нейронов на один и тот же входной сигнал. ° Предельное значение (]ппй) "силы" каждого нейрона.
° Механизм, позволяющий нейронам конкурировать за право отклика на данное подмножество входных сигналов и определяющий единственный активный выходной нейрон (или по одному нейрону на группу). Нейрон, победивший в этом соревновании, называют нейроном-победителем, а принцип конкурентного обучения формулируют в виде лозунга "победитель забирает все" (млппег-га]гез-а]1). Таким образом, каждый отдельный нейрон сети соответствует группе близких образов. При этом нейроны становятся детекторами признаков (Геашге де|ес|ог) различных классов входных образов. Простейшая нейронная сеть с конкурентным обучением содержит единственный слой выходных нейронов, каждый из которых соединен с входными узлами.
В такой сети могут существовать обратные связи между нейронами (рис. 2.4). В подобной архитектуре обратная связь обеспечивает литеральное торможение (!а|ега! [пЫЪ|- боп), когда каждый нейрон стремится "затормозить" связанные с ним нейроны. з Идею конкурентного обучения можно проследить еще в ранних работах, в том числе в [1100], посвященной самоорганизации чувствительных к ориентации нервных клеток в извилинах коры головною мозга (я|лаге сопел); в [327], посвященной самоорганизующимся многоуровневым нейронным сетям, получившим название неоизгнимронаа; в [! 159], посвященной формированию образных нейронных связей (рацегпеб пента| соппесбоп) с помощью самоорганизации; и в [396-398], посвященных адаптивной классификации образов.
Впоследствии было доказано, что конкурентное обучение играет важную роль при формировании топографических отображений в структуре мозга [272], а нелавняя зкспериментаяьная рабата обеспечивает дальнейшую физиологическую верификацию конкурентною обучения [4! ]. Латеральное торможение (см. рис. 2.4) присуще также нейробиологическим системам. Множество сенсорных тканей (в частности, сетчатка глаза, ушная раковина и осязательные нервные окончания на коже) организовано таким образом, что воздействие на любой участок приводит к торможению соседних нервных клеток [66], [295].
В системе осязания человека латеральное торможение проявляется в виде явления, связанного с лаюсами Маха (Мась Ьапб), получившими свое название в чеать известного физика Эрнста Маха [694], 102 Глава 2. Процессы обучения х, 2 хз хз Слой узлов источника Рнс. 2.4. Структурный граф простой сети конкурентною обучения с прямыми (возбуждающими) связямн от входных узлов к нейронам н обратными (торыозящнми) связяын между нейронами (послед- ние обозначены на рисунке незаштрихованными стрелками) Один слой выходных нейронов Прямые синаптические связи в сети, показанной на рис. 2.4, являются возбудгсдаюи(ими (ехс!га(огу).
Для того чтобы нейрон к победил в конкурентной борьбе, его индуцированное локальное поле гь для заданного входного образа х должно быть максимальным среди всех нейронов сети. Тогда выходной сигнал ув нейрона-победителя гс принимается равным единице. Выходные сигналы остальных нейронов при этом устанавливаются в значение нуль. Таким образом, можно записать: 1 , если гь > оз дла всех !', 1' ф Й, О в остальных случаях, (2.1 1) где индуцированное локальное поле згл представляет сводное возбуждение нейрона ю от всех входных сигналов и сигналов обратной связи. Пусть иге.
— синаптический вес связи входного узла з с нейроном гс. Предположим, что синаптические веса всех нейронов фиксированы (т.е. положительны), при этом ей — — 1 для всех гс. (2.12) Например, если посмотреть на лист белой бумаги, наполовину закрашенный черным цвеюм, можно увидеть линии, параллельные границе разделенна, которые имеют цвет "белее белого" с белой стороны н "чернее черного" с черной, даже если заливка половинок абсолютно монотонна. Полосы Маха физически ие сушествуют— они дввлютсл всего лишь зрительной иллюзией, представлаюшей собой "завышение" и "занижение" сигнала, вызванные функцией дифференциации (<ИГегеп6азгпй) латерального тормсженив.
Тогда обучение этого нейрона состоит в смещении синаптических весов от неактивных к активным входным узлам. Если нейрон не формирует отклика на конкретный входной образ, то он и не обучается. Если некоторый нейрон выигрывает в конкурентной борьбе, то веса связей этого нейрона равномерно распределяются между его активными входными узлами, а связи с неактивными входными узлами 2.5. Конкурентное обучение 103 а) б) Рис. 2.6. Геометрическая интерпретация процесса конкурентного обучения.
Точками представлены входные векторы, а крестиками — векторы сннаптнческнх весов трех выходных нейронов в исходном (а) н конечном (б) состоянии сети ослабляются. Согласно правилу конкурентного обучения (сошре)1)(те 1еагпшя пз1е) изменение Ьтсю с~тнаптического весашю определяется следующим выражением: )' т)(х, — шьт), если нейрон й побеждает в соревновании, Ьтсь, —— О, если нейрон Й побеждает в соревновании, где т) — параметр скорости обучения. Это правило отражает смещение вектора синаптического веса и „победившего нейрона й в сторону входного образа х.
Для иллюстрации сущности конкурентного обучения можно использовать геометрическую аналогию (рис. 2.5) [9131. Предполагается, что все входные образы (векторы) х имеют некоторую постоянную Евклидову норму. Таким образом, их можно изобразить в виде точек на 1)г'-мерной единичной сфере, где ттг — количество входных узлов. )тг также является размерностью вектора синаптических весов и„. Предполагается, что все нейроны сети имеют ту же Евклидову длину (норму), т.е. )сь, = 1 для всех гс. Е~,= (2.14) Если синаптические веса правильно масштабированы, они формируют набор векторов, которые проецируются на ту же )тг-мерную единичную сферу. На рис. 2.5, а можно выделить три естественные группы (кластеры) точек, представляющие входные образы.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
