Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 56
Текст из файла (страница 56)
Дпя обучения без учителя не нужно знания требуемых ответов на каждый пример обучающей выборки. В этом случае происходит распределение образцов по категориям (кпастерам) в соответствии с внутренней структурой данных ипи степенью корреляции между образцами. При смешанном обучении весовые коэффициенты одной группы нейронов настраиваются посредством обучения с учителем, а другой группы — на основе самообучения. В процессе обучения учитываются следующие свойства нейронных сетей: емкость сети, сложность образцов и вычислительная спожнасть.
Под емкостью сети понимается число запоминаемых образцов, с учетом сформированных функций и границ принятия решений. Сложность образцов определяет число обу- 353 чающих примеров, необходимых для достижения способности сети к обобщению Известны четыре основных правила обучения, обусловленные связанными с ними архитектурами сетей (табл. П 2 1) коррекция ошибки, правило Больцмана, правило Хебба и меглод соревнования Коррекция ошибки Для каждого входного примера задан требуемый выход д, который может не совпадать с реальным у Правило обучения при коррекции по ошибке состоит в использовании разницы (б — у) для изменения весов, с целью уменьшения ошибки рассогласования Обучение производится только в случае ошибочного результата Известны многочисленные модификации этого правила обучения Правило Больцмвнв Правило Больцмана является стохастическим правилом обучения, обусловленным аналогией с термодинамическими принципами.
В результате его выполнения осуществляется настройка весовых коэффициентов нейронов в соответствии с требуемым распределением вероятностей Обучение правилу Больцмана может рассматриваться как отдельный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах Правило Хеббв Правило Хебба является самым известным алгоритмом обучения нейронных сетей, суть которого заключается в следующем если нейроны с обеих сторон синапса возбуждаются одновременно и регулярно, то сила синаптической связи возрастает Важной особенностью является то, что изменение синаптического веса зависит только от активности связанных этим синапсом нейронов Предложено большое количество разновидностей этого правила, различающихся особенностями модификации синаптических весов.
Метод соревнования В отличие от правила Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, здесь выходные нейроны соревнуются между собой И выходной нейрон с максимальным значением взвешенной суммы является «победителем» («победитель забирает все>). Выходы же остальных выходных нейронов устанавливаются в неактивное состояние При обучении модифицируются только веса нейрона — «победителя» в сторону увеличения близости к данному входному примеру 354 Таблица П 2 1 Известные алто итмы об чения Задачи Пара- дигма Обучающее правило Архитектура нейроннои сети С учо- телем Коррекция ошибки Классификация образов Больцман Рекуррентная Хебб Соревнова- ние Соревнование Категоризация внутри класса, сжатие данных Сеть АЙТ Классификация образов АВТ Мар Без гчителя Коррекция ошибки Категоризация внутри класса, анализ данных Хебб Анализ данных, сжатие данных Сеть Хопфилда Ассоциативная память Соревнова- ние Соревнование Категоризация, сжатие данных ВОМ Кохонена ЗОМ Кохонена Категоризация, анализ данных Категоризация Сме- шанная 355 Коррекция ошибки и соревнова- ние Однаслойныи и многослойный персептрон Многослойная прямого распро- странения Многослойная прямого распро- странения Прямого распространения или соревнование Сети Айт Сеть ВВГГЧ Алгоритм обучения Алгоритмы обучения персептрона Обратное распро- странение, Асайпе и Мабайпе Алгоритм обучения Больцмана Линейный дискрим- инантн анализ Векторное квантова- ние Проекция Саммона Метод главных ком- понентов Обучение ассоциа- тивной памяти Векторное квантова- ние АВТ1, АВТ2 Алгоритм обучения ВВГ1ч' Классификация образов, Аппроксимация функций предсказание, управление Анализ данных, классификация образов Классификация образов, аппроксимация функций, предсказание, управление Это правило позволяет группировать входные данные на категории (кластеры) и представлять их отдельными выходными нейронами Нейронная сеть считается устойчивой, если после конечного числа итераций обучения ни один из примеров обучающей выборки не изменяет своей принадлежности в кластерах.
Однако сеть не перестанет обучаться, если параметр скорости обучения не равен нулю. Но зта искусственная остановка обучения вызывает другую проблему, называемую пластичностью и связанную со способностью сети к адаптации к новым данным. Возникает дилемма стабильности-пластичности Гроссберга. Список представленных в табл П.2.1 алгоритмов обучения нейронных сетей не является исчерпывающим. В последней колонке перечислены задачи, для которых может быть применены зти алгоритмы. Каждый алгоритм обучения ориентирован на сеть определенной архитектуры и предназначен для ограниченного класса задач.
Кроме рассмотренных, следует упомянуть некоторые другие алгоритмы: Аба((пе и Маба((пе, линейный дискриминантный анализ, проекции Саммона, метод главных компонентов П.З. Глоссарий АОА(.1МŠ— Адалина — одно из наименований для линейного нейрона: АВАр1пе Ь(Меаг Е)егпеп1. вовр11хе 1ввгп(пд гв1е — адаптивный параметр обучения — параметр процедуры обучения, который изменяется по определенному алгоритму так, чтобы минимизировать время обучения.
агсЬ11ес1иге — архитектура — описание числа слоев в нейронной сети, передаточных функций каждого слоя, числа нейронов в каждом слое и связей между слоями. агИ)с(а! перга) певиогвв (АММ) — искусственные нейронные сети (инс). ачегаде еггог — средняя ошибка сети по всему набору обучающих векторов. Ьвскргорада11оп Ьа1сЬ вЂ” разновидность алгоритма обучения с обратным распространением ошибки, когда коррекция весов и смещений производится один рвз за период обучения — после предъявления всех векторов обучающей последовательности («пачкия векторов, Ьа1сл). Ьасхргорадабоп !еагпгпд гц1е — обратного распространения правило — обучающее правило, в котором веса и смещения регулируются (подстраиваются) по производной ошибки от выхода сети через промежуточные слои к первому, в соответствии с выражением: дЕ Лик(() =-д — (1)+аЛиг(( — 1), дш„ 356 где е(г) — квадрат ошибки сети на 1-м шаге обучения, л — коэффициент скорости обучения (!еагп!пд га!е), а — коэффициент импульса (гпогпеп!цгп) или коэффициент инерционности Обычно применяется для обучения многослойных сетей прямого распространения Иногда называется обобщенным дельта-правилом (депега!!гег) г)е!!а го!е).
Ьас)гргорадат!оп опдпе — обратное распространение в режиме реального времени — модификация алгоритма обучения по методу обратного распространения ошибки, когда веса и смещения сети корректируются после предъявления каждого нового образа (вектора) обучающей последовательности. Ьас)гтгас)г!пд ввагсп — поиск с возвратом — одномерный поисковый алгоритм, который начинает поиск с единичным шагом и возвращается в исходную точку с уменьшением шага до тех пор, пока не будет получено приемлемое уменьшение целевой функции Ьатсп — пачка — матрица входных или целевых векторов, приложенных к сети одновременно, изменение (подстройка) весов и смещений сети происходит после просмотра (обработки) всех векторов входной матрицы. Ьа(сЬ!пд — процесс представления матрицы (пачки) входных векторов для одновременного вычисления матрицы выходных векторов и/или новых весов и смещений.
Вауев!ап тгагпввгог)г — байесовский подход — допущение, что веса и смещения сети являются случайными переменными с определенными распределениями. Вг68 ццав)-Мевгтоп а!дог!(Ьгп — разновидность оптимизационного алгоритма Ньютона, в котором аппроксимация матрицы Гессе (матрицы вторых производных) получается из градиентов, вычисленных на каждой итерации алгоритма. Ь!ав — смещение — параметр нейрона, который суммируется со взвешенными входами нейрона, образуя входную величину (аргумент) для функции активации нейрона Ь!ав уестог — вектор смещения — вектор-столбец величин смещений для слоя нейронов. Вгепбв веагсЬ вЂ” одномерный поисковый метод оптимизации, который является комбинацией метода золотого сечения и квадратичной интерполяции.
СЬага!агпЬоцв' веагсп — одномерный гибридный поисковый метод, использующий кубическую интерполяцию с!авв!Всабоп — классификация — ассоциация входного вектора с некоторым выходным (целевым) согпре(!(пге !ауег — конкурирующий спой — слой нейронов в которых только нейрон с максимальным входом имеет активизированный выход (например, выход 1), а все другие нейроны — выход О. Нейроны конкурируют друг с другом за возможность реагировать на данный входной вектор. 357 со«яре(йгче 1еагп(пд — конкурирующее обучение — обучение беэ учителя в слое конкурирующих нейронов После обучения слой распределяет входные векторы среди своих нейронов. согпребдче !гала(ег гипс!!оп — конкурирующая передаточная (активационная) функция — преобразует входной (для слоя конкурирующих нейронов) вектор в нулевой для всех нейронов за исключением нейрона- «победителя», для которого выход будет равен единице.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
