Хайкин С. - Нейронные сети (778923), страница 34
Текст из файла (страница 34)
Он лежит в основе работы иммунной системы [276) — наиболее понятной биологичесюй системы распознавания. Модель селективного обучения Дарвина основана на теории отбора групп нейронов (йзеогу оТ пента! йгопр зе!есйоп). В ней предполагается, что нервная система работает по принципу естественного отбора, с тем отличием от эволюционного процесса, что все действие разворачивается в мозге и только на протяжении жизни организма. Согласно этой теории, основной операционной единицей нервной системы является отнюдь не отдельный нейрон, а локальная группа жестко связанных клеток. Принадлежность отдельных нейронов к различным группам определяется изменениями синаптических весов.
Локальная конкуренция и кооперация клеток обеспечивают локальный порядок сети. Коллекция групп нейронов называется полем или репертуараи (герег!о(ге). Ввиду случайной природы развития нейронной сети группы одного поля хорошо подходят для описания перекрывающихся, но подобных входных образов. За каждый входной образ отвечает одна или несколько групп неюторого поля. Тем самым обеспечивается отклик на неизвестные входные образы, который может оказаться очень важным.
Селекгивное обучение Дарвина отличается от всех других алгоритмов, обычно используемых в нейронных сетях, поскольку в структуре нейронной сети предполагается наличие множества подсетей, из которых в процессе обучения отбираются только те, выходной сигнал которых ближе всего к ожидаемому отклику.
Задачи 163 Это обсуждение можно завершить несколькими замечаниями, касающимися статистического и вероятностного аспектов обучения. ЧС-измерение зарекомендовало себя как основной параметр теории статистического обучения. На нем основаны принцип минимизации структурного риска и вероятностно-корректная в смысле аппроксимации модель обучения (РАС). ЧС-измерение является составной частью теории так называемых машин опорных векторов, которые рассматриваются в главе 6.
По мере ознакомления с материалом настоящей книги читателю еще не раз придется возвращаться к настоящей главе, посвященной основам процессов обучения. Задачи Правила обучения 2.1. Дельта-правило, описанное в формуле (2.3), и правило Хебба, описываемое соотношением (2,9), представляют собой два различных метода обучения.
Укажите различия между этими двумя правилами. 2.2. Правило обучения на основе коррекции ошибок можно реализовать с помощью запрета вычитания желаемого отклика (целевого значения) из фактического выходного сигнала с последующим применением антихеббовского правила ~748). Прокомментируйте зту интерпретацию обучения на основе коррекции ошибок. 2.3.
На рис. 2.27 показано двумерное множество точек. Часть этих точек принадлежит классу С,, остальные — классу Сз. Постройте границу решений, применив правило ближайшего соседа. 2.4. Рассмотрим группу людей, коллективное мнение которых по некоторому интересующему нас вопросу определяется как взвешенное среднее мнений отдельных членов группы. Предположим, что при изменении мнения члена группы в сторону коллективной точки зрения оно приобретает больший вес. С другой стороны, если отдельные члены группы встают в открытую оппозицию коллективной точке зрения, их мнение теряет вес. Эта форма взвешивания эквивалентна управлению с положительной обратной связью, конечным результатом которого является достижение общего консенсуса среди членов группы ~653]. Проведите аналогию между этой ситуацией и постулатом обучения Хебба.
164 Глава 2. Процессы обучения Рис. 2.27. Пример обучающею множества 2.5. Обобщенная форма правила Хебба описывается соотношением Ьшьт(п) = а Г(уь(п))С(х (и)) — ~5 шь;(п)Р(у„(п)), где х,(п) и уь(п) — предсииаптический и постсинаптический сигналы соответственно; г ( ) и С( ) — некоторые функции своих аргументов; Ьшь,(п) — изменение синаптического веса шьу в момент времени п, вызванное сигналамих (п) и уь(п). Найдите точку равновесия и максимальное значение спуска, определяемое этим правилом. 2.6.
Входной сигнал с единичной амплитудой многократно передается через синаптическую связь, начальное значение которой также равно единице. Вычислите изменение значений синаптического веса со временем с помощью следующих правил: а) простой формы правила Хебба (2.9), в предположении, что параметр ско- рости обучения т) = О, 1; б) правила ковариации (2.10) для значений предсинаптической х = 0 и пост- синаптической у = 1.0 активности. 2.7. Синапс Хебба, описываемый соотношением (2.9), предполагает использова- ние положительной обратной связи.
Докажите истинность этого утверждения. Задачи 166 2.8. Рассмотрим гипотезу коварнации для обучения на основе самоорганизации, описываемого выражением (2.10). В предположении эргодичности системы (когда среднее по времени может быть заменено средним по множеству) покажите, что ожидаемое значение Ьтоьз в (2.10) можно представить соотношением Е10аиь,~ = В (Е~уьх,1 — ух). Как можно интерпретировать этот результат? 2.9.
Согласно 1656), постулат Хебба формулируется следующим образом; Ьи ы = з1 (Уь — У,Кх; — х,) + а„ где х; и уь — предсинаптический и постсинаптический сигналы соответственно; а„з1, х, — константы. Предположим, что нейрон и — линейный, т.е. уь — — ~~~ шь х, +аз, где аз — еще одна константа. Предположим, что все входные сигналы имеют одинаковое распределение, т.е. Е 1х,'1 = Е[х ] = и. Пусть С вЂ” матрица коварнацин входного сигнала, элемент у' которой определяется соотношением с; = Е~(х, — цИхт — 1г)). Найдите Е[Ьюь,).
2.10. Напишите выражение для описания выходного сигнала у, нейрона т' в сети, показанной на рнс. 2.4. При этом можно использовать следующие переменные: х; — г-й входной сигнал; ш, — синаптический вес связи входа г с нейроном т; сь — вес латеральной связи нейрона Й с нейроном з; с, — индуцированное локальное поле нейрона з; ут = 'р(пз). Какому условию должен удовлетворять нейрон з, чтобы выйти победителем? 2.11. Решите задачу 2.10 при условии, что каждый выходной нейрон имеет обратную связь с самим собой. 166 Глава 2. Процессы обучения Рис. 2.26.
Блочная диаграмма адаптивной системы изучения естественного языка на уровне семантики 2.12. Принцип латерального торможения сводится к следующему: "близкие нейроны возбуждаются, а дальние — тормозятся". Его можно промоделировать с помощью разности между двумя гауссовыми кривыми. Эти две кривые имеют общую область определения, но положительная кривая возбуждения имеет более крутой и высокий пик, чем отрицательная кривая торможения. Это значит, что модель такого соединения можно описать соотношением И/г ) -а'/ за~ -в'/ за,' ~/2кгт, т/2пгт, где х — расстояние до нейрона, отвечающего за латеральное торможение. Шаблон Иг(х) используется для сканирования страницы, одна половина которой белая, а другая — черная.
Граница между двумя половинками перпендикулярна оси х. Постройте график изменения выхода процесса сканирования для гг, =5; гта =8 игг, = 1, гт, =2. Парадигмы обучения 2.13. На рис. 2.28 показана блочная диаграмма адаптивной системы изучения естественного языка (адарг)тге 1апйпайе-асс)шз)г)оп зузгеш) [371]. Синаптические связи в нейронной сети, входящей в состав этой системы, усиливаются и ослабляются в зависимости от значения обратной связи, полученной в результате реакции системы на входное возбуждение.
Этот принцип можно рассматривать как пример обучения с подкреплением. Обоснуйте правиль- ность этого утверждения. 2.14. К какой из двух парадигм (обучение с учителем и без него) можно отнести следующие алгоритмы: а) правило ближайшего соседа; б) правило /с ближайших соседей; Задачи 1Б7 в) обучение Хебба; г) правило обучения Больцмана. Обоснуйте свой ответ. 2.15. Обучение без учителя может быть реализовано в кумулятивном и интерак- тивном режимах. Опишите физический смысл этих двух возможностей. 2.16.
Рассмотрим сложности, с которыми сталкивается обучаемая машина при назначении коэффициентов доверия результату игры в шахматы (победа, поражение, ничья). Обьясните понятия временной и структурной задач присваивания коэффициентов доверия в контексте этой игры. 2.17. Задачу обучения с учителем можно рассматривать как задачу обучения с подкреплением, использующую в качестве подкрепления некоторую меру близости фактического отклика системы с желаемым. Опишите взаимосвязь между обучением с учителем и обучением с подкреплением. Память 2.18. Рассмотрим следующее ортонормальное множество ключевых образов, применяемых для построения корреляционной матрицы памяти: х, = [1, О, О, 0] т, хз = [О, 1, О, О] т, хз —— [0,0,1,0] н соответствующее множество запомненных образов: у, = [5,1 0]т = [ — 2,1,0]т, у, = [-2,4,8]т.
а) Вычислите матрицу памяти М. б) Покажите, что эта память обладает хорошими ассоциативными способностями. 2.19. Вернемся к предыдущей задаче построения корреляционной матрицы памяти. Предположим, что применяемый к этой памяти стимул представляет собой зашумленную версию ключевого образа х, вида х = [О, 8; — О, 15; О, 15; — О, 20] т. 168 Глава 2. Процессы обучения а) Вычислите отклик памяти у.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
