Хайкин С. - Нейронные сети (778923), страница 19
Текст из файла (страница 19)
3. Интерактивность (ппегасбче шесЬап!яш). Изменения в синапсе Хебба определяются сигналами на обоих его концах. Это значит, что форма обучения Хебба зависит от степени взаимодействия предсинаптического и постсинаптического сигналов (предсказание нельзя построить на основе только одного из этих сигналов). Заметим, что такая зависимость или интерактивность может носить детерминированный или статистический характер. 4. Корреляция (сопе!абопа! шесЬап!бш). Одна из интерпретаций постулата обучения Хебба состоит в том, что условием изменения эффективности синаптической связи является зависимость между предсинаптическим и постсинаптическим сигналами. В соответствии с этой интерпретацией для модификации синапса необходимо обеспечить одновременность предсинаптического и постсинаптического З Подробный обзор синапсов Хебба, вкдючающий и историческую справку, содержится в [161] и [316], а также в [207].
2.4. Обучение Хеббе 97 сигналов. Именно по этой причине синапс Хебба иногда называют коньюнктивным синансом (соп)цпсгюпа! зупарзе). Другая интерпретация постулата обучения Хебба использует характерные для синапса Хебба механизмы взаимодействия в статистических терминах. В частности, синаптические изменения определяются корреляцией предсинаптического и постсинаптического сигналов во времени. Учитывая это, синапс Хебба иногда называя)т корреляционным синапсом (соп'е1абопа1 зупарзе). Сама корреляция является основой обучения [279).
Усиление и ослабление синаптической связи Приведенное выше определение синапса Хебба не учитывает дополнительные процессы, которые могут привести к ослаблению синаптической связи между парой нейронов. Исходя из этого, можно несколько обобщить концепцию модификации связей Хебба, используя тот факт, что положительно коррелированное функционирование приводит к усилению синаптической связи, а отрицательная корреляция или ее отсутствие — к ее ослаблению [1016). Ослабление синаптической связи может также носить н не интерактивный характер. В частности, условие взаимодействия для ослабления синаптической связи может носить случайный характер и не зависеть от предсинаптического и постсинаптического сигналов. Систематизируя эти определения, можно выделить следующие модели модификации синаптических связей: хеббовскую (НеЬЪ[ап), анаихвббовскую (апб-НеЪЬ[ап) и нехеббовскую (поп-НеЬЬ)ап) [810).
Следуя этой схеме, можно сказать, что синаптическая связь по модели Хебба усиливается при положительной корреляции предсинаптических и постсинаптических сигналов и ослабляется в противном случае. И, наоборот, согласно антихеббовской модели, синаптическая связь ослабляется при положительной корреляции предсинаптического и постсинаптического сигналов и усиливается в противном случае. Однако в обеих моделях изменение синаптической эффективности основано на зависящем от времени в высшей степени локальном и интерактивном по своей природе механизме. В этом контексте антихеббовская модель все равно остается хеббовской по природе, но не по функциональности.
Не-хеббовская модель вообще не связана с механизмом модификации, предложенным Хеббом. Математические модели предложенного Хеббом механизма модификации синаптической связи Для того чтобы описать обучение Хебба в математических терминах, рассмотрим синаптический вес щл нейрона к с предсинаптическим и постсинаптическим сигналами х и уы Изменение синаптического веса лил, в момент времени и можно выразить следующим соотношением: Ьи~,„[п) = Р(ул[п),х,[п)), (2.8) 98 Глава 2. Процессы обучения где г'(ч ) — некоторая функция, зависящая от предсинаптического и постсинаптиче- ского сигналов. Сигналы х (и) и уь(п) часто рассматривают без учета размерности.
Формула (2.8) может быть записана в разных формах, каждая из которых все равно считается хеббовской. Рассмотрим только две следующие формы. Гипотеза Хебба Простейшая форма обучения Хебба имеет следующий вид: Ьи ьу(п) = !)Уь(п)х,(п), (2.9) Гипотеза ковариации Одним из способов преодоления ограничений гипотезы Хебба является использование гипотезы ковариации (сочапапсе Ьуро!11ез!з), предложенной в (956), (957]. Согласно этой гипотезе, предсинаптический и постсинаптический сигналы в формуле (2.9) заменяются отклонениями этих сигналов от их средних значений на данном отрезке времени. Обозначим символами х и у усредненные по времени значения лредсинаптического х.
и постсинаптического уь сигналов. Согласно гипотезе ковариации, изменение синаптического веса вь, вычисляется по формуле пшь~ = Ч(х~ х)(Ук — У), (2.10) где !) — параметр скорости обучения. Средние значения х и у содержат предсинап- тический и постсинаптический пороги, определяющие знак синаптической модифи- кации. В частности, гипотеза ковариацни обеспечивает следующее. где 1! — положительная константа, определяющая скорость обучения (гаге оГ !евш!ий). Выражение (2.9) ясно подчеркивает корреляционную природу синапса Хебба.
Ее иногда называют правилом умножения активности (асйчйу ргодпсг гп!е). Верхний график на рис. 2.3 графически иллюстрирует формулу (2.9). Он представляет зависимость изменения Ьтпь (и) от выходного сигнала (постсинаптической активности) уь(п). На рисунке видно, что регулярное приложение входного сигнала (предсинаптической активности) ху(п) ведет к увеличению уь(п) и экспоненциальному росту активности (ехропелйа! йготчг)э), приводящему к насыщению синаптической связи. В этой точке синапс уже не содержит никакой информации, и избирательность связей теряется. 2.4.
Обучение Хебба 99 ба за алаи ичсскаа ость у -П(х, -х)у Рис. 9.3. Иллюстрация гипотез Хебба и коаариации ° Сходимость к нетривиальному состоянию, которое достигается при ха = х и у,. =У. ° Прогнозирование усиления (рогепйабоп) и ослабления (т(ергезз(оп) синаптической связи. На рис. 2.3 показано отличие гипотезы Хебба от гипотезы ковариации. В обоих случаях зависимость величины глтль от уа является линейной, однако пересечение с осью уа для гипотезы Хебба происходит в начале координат, а для гипотезы ковариации — в точке у„= У. При внимательном исследовании выражения (2.10) можно сделать следующие выводы.
1. Синаптический вес связи усиливается при высоком уровне предсинаптического и постсинаптического сигналов, т.е. в том случае, когда одновременно удовлетворяются следующие условия: х, > х и уа > У. 2. Синаптический вес ослабляется в следующих ситуациях. ° Предсинаптическая активность (т.е. х, > х) не вызывает существенной пост- синаптической активности (уь ( У). ° Постсинаптическая активность (уа > У) возникает при отсутствии существен- ной предсинаптнческой активности (х,. ( х). Такое поведение можно рассматривать как форму временной конкуренции между входными моделями.
100 Глава 2. Процессы обучения Существует строгое физиологическое доказательство" реализации принципа обучения Хебба в области мозга, называемой гынокалглусоы ![з!рросазпрца). Эта область играет важную роль в некоторых аспектах обучения и запоминания. Физиологические результаты еще раз подтверждают правильность постулата обучения Хебба. 4 Долпшременное усиление — физиологическое доказательство модели сннанса Хебба. Хебб еше в !949 году нзлшкнл свое видение механизмов сннаптнчесюй памяти [445], но прошло еше около четверги столетия, пока были получены его экспериментальные даказательстжь В 1973 юду была опубликована работа, описывающая модификации сннаптнческнх связей, вызванные внешним возбуждением в области головного мозга, называемой гнлакамлусам (Мрросашриз) [! ЗЗ].
Авторы работы приложили импульсы электрического возбужденна к главному тракту, направленному в эту структуру, н записали сннаптнческне отклики. Пока эта структура функцноннровала автономно, она характеризовалась устойчивой морфологией базовых откликов — короткими высокочастотными сериями импульсов в том же трапе. После применения возбуждыошнх тестовых импульсов амплитуда отклика увеличилась. Внимание исследователей привлек тот фант, что это увеличение амплитуды довольно продолжительное время не затухало.
Это явление было названо даагаеремеллым уснленыем (!опй-гепл рогепйабоп — ьтр). В настоящее время ежегодно публикуется множество работ, посвященных явлению (ХР, н мноюе уже известно о механизмах его реализации. Напрнмер, известно, что эффект усиления ограничен толью еозбужденлымн шраюламн (раатнау).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
