Хайкин С. - Нейронные сети (778923), страница 21
Текст из файла (страница 21)
На этом рисунке также показано вероятное начальное состояние сети (отмечено крестиками) до начала обучения. На рис. 2.5, б показано конечное состояние сети, полученное в результате конкурентного обучения, в котором синаптические веса каждого выходного нейрона смещены к центрам тяжести соответствующих кла- 104 Глава 2. Процессы обучения стеров [453], [913]. На этом примере продемонстрирована способность нейронной сети решать задачи кластеризации в процессе юикурентного обучения. Однако для "устойчивого" решения этой задачи входные образы должны формировать достаточно разрозненные группы векторов. В противном случае сеть может стать неустойчивой, поскольку в ответ на заданный входной образ будут формироваться отклики от различных выходных нейронов.
2.6. Обучение Больцмана 1 Е = — — ~~1,'э шьзхьхзз 2 з а1зма) (2.15) где х, — состояние нейрона у; птйз — синаптический вес связи нейронов з и ге. Условие 1 ф гс подчеркивает тот факт, что в этой сети нейроны не имеют обратных связей с самими собой. Работа этой машины заключается в случайном выборе некоторого нейрона (предположим, й-го) на определенном шаге процесса обучения и переводе этого нейрона из состояния хй в состояние — ха при некоторой температуре Т с вероятностью т Важность статистической термодинамики при изучении вычислительных машин была доказана еще Джоном фон Нейманом в третьей из пяти лекций по Теории и организации вычислительных автоматов, проведенных в университете штата Иллинойс в 1949 году. В сваей третьей лекции на тему "Статистические теории информации" фон Нейман сказал следующее.
"Понятия термодинамики обязательно войдут в новую теорию информации. Существуют признаки того, что информапия подобна энтропии и процессы энтропии подобны процессам в обработке информации. Чаще всего не удается определить функцию автомата или его эффективность, не охарактеризовав среду, в жпорой он работает, с помощью статистических свойств, подобных тем, которые характеризуют среду в термодинамике. Статистические свойства среды автомата, естественно, сложнее, чем стандартные термодинамические переменные температуры, однако по сути они очень близки". Правило обучения Больцмаиа, названное так в честь Людвига Больцмана, представляет собой стохастический алгоритм обучения, основанный на идеях сгохастичесюй механики". Нейронная сеть, созданная на основе обучения Больцмана, получила название машины Больцмана (Во1гхгпапп тасЬ)пе) [9], [464].
В машине Больцмана все нейроны представляются рекуррентными структурами, работающими с бинарными сигналами. Это значит, что они могут находиться во включенном (соответствующем значению +1) или выключенном (соответствующем значению — 1) состоянии. Такая машина характеризуется функцией энергии Е, значение которой определяется конкретными состояниями отдельных нейронов, составляющих эту машину. Это можно описать следующим выражением: 2.6. Обучение Больцмана 106 1 Р(яь — — хь) = 1 + ехр( — ЬЕь(Т) ' (2.16) где ЬЕь — изменение энергии машины (т.е.
изменение ее функции энергии), вызванное переходом состояний. Заметим, что под обозначением Т скрывается не физическая температура, а лсевдотемлерал!ура (рзепдогешрегашге), определение которой было приведено в главе 1. При многократном применении этого правила машина достигает термального равновесия (бзеппа! ецп!1!Ьппгп). Нейроны машины Больцмана можно разбить на две функциональные группы: видимые (ч!з!Ые) и скрытые (ЬкЫеп). Видимые нейроны реализуют интерфейс между сетью и средой ее функционирования, а скрытые работают независимо от внешней среды. Рассмотрим два режима функционирования такой сети. ° Скованное состояние (с!ашред сопйг!оп), в котором все видимые нейроны находятся в состояниях, предопределенных внешней средой. ° Свободное состояние (Тгее-гнпп!пд сопб!г!оп), в котором все нейроны (как видимые, так и скрытые) могут свободно функционировать.
Обозначим р~, корреляцию между состояниями нейронов з и !с в скованном состоянии. Аналогично, рь обозначим корреляцию (сопе1айоп) между состояниями нейронов 2 и !с, когда сеть находится в свободном состоянии. Обе эти корреляции усредняются по всем возможным состояниям машины, находящейся в условиях термального равновесии. Затем, согласно правилу обучения Больцмала (Войжпапп !еагп!пй ги)е), изменение Ьгс„т синаптического весашм связи между нейронами Й и т' определяется следующим выражением (464]: где !) — параметр скорости обучения. Заметим, что значения р" и р,„изменяются в диапазоне от — 1 до +1. Краткий обзор методов статистической механики будет представлен вниманию читателя в главе 11. Там же мы глубже рассмотрим машину Больцмана и некоторые другие стохастическне машины.
106 Глава 2. Процессы обучения 2.7. Задача присваивания коэффициентов доверия При изучении алгоритмов обучения распределенных систем полезно ознакомиться с концепцией присваивания коэффициентов доверия (сгедй азз!йшпеп!) (742). По существу это задача присваивания коэффициентов доверия или недоверия всем результатам, полученным некоторой обучаемой машиной. (Задачу присваивания коэффициентов доверия иногда называют задачей загрузки (1оад!пя ргоЫеш), т.е.
распределения множества обучающих данных по свободным параметрам сети.) Во многих случаях зависимость выходов от внутренних решений определяется последовательностью действий, выполняемых обучаемой машиной. Другими словами, внутренние решения влияют на выполнение конкретных действий, после чего именно эти действия, а не сами решения непосредственно определяют общие результаты.
В такой ситуации можно выполнить декомпозицию задачи присваивания коэффициентов доверия на две другие подзадачи (1035). 1. Присваивание коэффициентов доверия результатам действий. Эта задача называется временной задачей присваивания коэффициентов доверия (!ешрога! сгед!и азз!япгпеп! ргоЫегп). В ней определяется промежуток времени, в течение которого реально выполняются действия, которым отпущен кредит доверия.
2. Присваивание коэффициентов доверия действий внутренним решениям. Это называется структурной задачей присваивания коэффициентов доверии (а1гасшга! сгед!1-азз!йпшеп! ргоЫеш). В ней коэффициенты доверия назначаются внутренним структурам (!пгегпа! зипс!игез) действий, генерируемых системой. Структурная задача присваивания коэффициентов доверия имеет смысл в контексте многокомпонентных обучаемых машин, когда необходимо точно определить, поведение какого элемента системы нужно скорректировать и на какую величину, чтобы повысить общую производительность системы.
С другой стороны, временная задача присваивания коэффициентов доверия ставится в том случае, юэгда обучаемая машина выполняет достаточно много действий, приводящих к некоторому результату, и требуется определить, какие из этих действий несут ответственность за результат. Сочетание временной и структурной задач присваивания коэффициентов доверия требует усложнения поведения распределенной обучаемой машины (1153). Например, задача присваивания коэффициентов доверия возникает в том случае, когда обучение на основе коррекции ошибок применяется к многослойным нейронным сетям прямого распространения.
Действия каждого скрытого и выходного нейрона такой сети важны для формирования правильного результата в данной прикладной области. Это значит, что для решения поставленной задачи необходимо задать определенные формы поведения всех нейронов в процессе обучения на основе коррекции ошибок. В этом контексте вернемся к рис.
2.1, а. Поскольку выходной нейрон 2.8. Обучение с учителем 107 Й является видимым внешнему миру, желаемый выходной сигнал можно направить непосредственно на этот нейрон. Так как мы рассматриваем выходной нейрон, метод обучения на основе коррекции ошибок можно применить непосредственно к нему (см. раздел 2.2). Но как назначить коэффициенты доверия или недоверия действиям скрытых нейронов, если процесс обучения на основе коррекции ошибок применяется к их же синаптическим весам? Ответ на этот фундаментальный вопрос требует более детального описания, которое и будет приведено в главе 4, в которой детально рассматриваются алгоритмы построения многослойных нейронных сетей прямого распространения. 2.8.
Обучение с учителем Рассмотрим парадигмы обучения нейронных сетей. Начнем с парадигмы обучения с учителем (зпрегизед 1еапйпя). На рис. 2.6 показана блочная диаграмма, иллюстрирующая эту форму обучения. Концептуально участие учителя можно рассматривать как наличие знаний об окружающей среде, представленных в виде пар вход-выход. При этом сама среда неизвестна обучаемой нейронной сети.
Теперь предположим, что учителю и обучаемой сети подается обучающий вектор из окружающей среды. На основе встроенных знаний учитель может сформировать и передать обучаемой нейронной сети желаемый отклик, соответствующий данному входному вектору. Этот желаемый результат представляет собой оптимальные действия, которые должна выполнить нейронная сеть. Параметры сети корректируются с учетом обучающего вектора и сигнала ошибки. Сигнал ошибки (епог з(япа!) — это разность между желаемым сигналом и текущим откликом нейронной сети.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
