Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 52
Текст из файла (страница 52)
Линейное увеличение изменения скорости позволяет избежать быстрого роста скорости. Геометрическое уменьшение позволяет проследить, что скорость обучения всегда положительная. Более того, скорость может уменьшаться более быстро на сильно нелинейных участках. 4) Области применения. Распознавание образов, классификация. 5) Недостатки. Стандартный алгоритм ОВО не использует эвристики, основанные на моменте.
Даже небольшое линейное увеличение коэффициента может привести к значительному росту скорости обучения, что вызовет скачки в пространстве весов. Геометрическое уменьшение коэффициента иногда оказывается недостаточно быстрым. 330 б) Преимущесглва. Парадигма Ое((а Ваг Ое((а является попыткой ускорить процесс конвергенции алгоритма обратного распространения за счет использования дополнительной информации об изменении параметров и весов во время обучения.
П.1.7. Расширенная ОВО сеть (Ех1епбеб Ое!1а Ваг Ое(1а МеЕууог(с) 1) Название. Ех1епбеб Ое(1а Ваг Ое(1а Мевногх (ЕОВО). 2) История создания. Сеть Ехсепбес( Оейа Ваг Ое!1а разработана М(па( и ВИ((атз. Ими был использован параметр момента связи (тотеп1ит), представляющий собой некоторое число, пропорциональное пре- дыдущему изменению веса. Они использовали значения момента для ускорения обучения с помощью ряда эвристических правил.
3) Модель. Изменение веса на последующем шаге. бис(Е с- 1) = а(е)д(е) + т(Е)бис(Е), в(Е+1) = ис(Е)+бск(Е ~-1). Расчет среднего изменения градиента на шаге Е д,„(Е) = (1 — солиех)д(Е) + д(Š— 1) солиех. Расчет изменения скорости обучения на шаге Е: Ес„ехр( — у,/д,„(Е)!) если д,„(Š— 1)д,(1) > О, ба(Е) = -Ес, а(Е), если д,„(1-1)д„(Е) < О, О, если д,„(Š— 1) д„(Е) = О. Расчет изменения момента на шаге Е Ес„, ехр(- у )д„(Е))) если д„(Š— 1)д„(Е) бт(Е) = Ес„, т(Е), если д„(Š— 1) д„(Е) < О, О, если д„(1-1)д„(Е) = О, где е(Е) — ошибка обучения на шаге Е; и(Е) — значение веса; бис(Е)— изменение веса; а(Е) — коэффициент скорости обучения; ба(Е) — изменение скорости обучения; д(1) — градиент изменения веса; д,(Е)— взвешенное среднее изменение градиента; солкех — фактор выпуклости весов; т(Е) — значение момента; бт(Е) — изменение значения момента; Есм — фактор масштабирования скорости обучения; Ес„, — фактор масштабирования момента; у, — экспоненциальный фактор скорости обучения, у„— экспоненциальный фактор момен- 331 та, (г„— фактор масштабирования скорости обучения; )г, — фактор масштабирования момента; а,„— верхняя граница скорости обучения; т,„— верхняя граница момента.
Коэффициенты скорости обучения и скорости изменения момента имеют различные константы, контролирующие их увеличение и уменьшение. Для всех связей принимаются следующие ограничения а(г) < а,„, т(1) < т Если текущая ошибка превышает минимальную предыдущую ошибку с учетом максимального отклонения, то все связи восстанавливаются для наилучшего варианта и коэффициенты обучения и момента уменьшаются. 4) Области применения.
Распознавание образов, классификация. П.1.8. Сеть поиска максимума с прямыми связями (Еееб-Еогууагб МАХИЕТ) 1) Название. Еееб-Еопиагб МАХНЕТ (сеть поиска максимума с прямыми связями). Другое название. Сеть поиска максимума, основанная на двоичном дереве и нейросетевых компараторах.
2) Авторы и история создания. Сеть предложена в качестве дополнения к сети Хзмминга. 3) Модель. Многослойная сеть с прямыми связями. Входные сигналы попарно сравниваются друг с другом. Наибольший сигнал в каждой паре передается на следующий слой для дальнейших сравнений. На выходе сети лишь один сигнал имеет ненулевое значение Он соответствует максимальному сигналу на входе сети.
Основу сети составляет показанный на рис П.1.2 нейросетевой компаратор, который выполняет сравнение двух аналоговых сигналов (х, и х,). На выходе г — значение максимального сигнала (х, или х,). Выходы у, и у, показывают, какой именно входной сигнал имеет максимальное значение. На рисунке проставлены значения синаптических весов.
Смещения всех нейронов сети — нулевые. Нейроны, помеченные темным цветом, имеют жесткие пороговые передаточные функции, передаточные функции у остальных нейронов — линейные с насыщением. 332 У1 уг х, хг Рес П 1 2 Нейросетевой компаратор На рис. П.1.3 показан пример построения нейронной сети для поиска максимума с прямыми связями, которая дает возможность определять максимальный сигнал из восьми входных сигналов.
Сеть состоит из нескольких компараторов и дополнительных нейронов и синаптических связей. Синаптические веса компараторов такие же, как и на рис. П.1.2. Веса других связей — единичные. Зачерненные нейроны имеют жесткие пороговые функции с нулевым смещением, активационные (передаточные) функции белых нейронов — линейные с насыщением.
Активационные функции нейронов последнего слоя представляют собой пороговые функции со смещением 2,5. Характеристики сети. Типы входных сигналов — аналоговые (целые или действительные числа), тип выходных сигналов — целые, размерности входных и выходных сигналов совпадают и ограничены только возможностями реализуемой вычислительной системы. Число слоев в сети приблизительно равно (од,(п), где и — размерность входного сигнала. 4) Области применения. Совместно с сетью Хэмминга, в составе нейросетевых систем распознавания образов.
5) Недостатки Число слоев сети растет с увеличением размерности входного сигнала. 333 хт хз х, х хх х хв Рис П т 3 Сеть поиска максимума с прямыми связями 6) Преимущества. В отличие от сети МАХИЕТ циклического функционирования, в рассматриваемой модели заранее известен объем вычислений, который требуется для получения решения. 7) Модификации.
Для решения задачи выделения сигнала с максимальныи значением из некоторою множества сигналов наиболее часто используется сеть МАХНЕТ циклического функционирования. П.1.9. Гауссов классификатор (г(ецга! Оаавв(ап С(аавйег] 1) Название. Нейросетевой гауссов классификатор. Другое название. баивв)ап С(авв)йег !гор)етеп1ед 0в1п9 1(те Регсер1гоп 81гис(ил (гауссов классификатор, реализованный на персептроне) 2) Авлторы и история создания. Модель предложена Липпманом в 1987 г. 3) Модель. Персептрон может быть использован для реализации гауссова классификатора по максимуму вероятности (Оаивв)ап Маки тит Ысе1! !тоод С1авв)йег).
334 В классическом алгоритме обучения персептрона не используются предположения относительно распределений примеров обучающих выборок, а рассматривается функция ошибки. Этот алгоритм работает более устойчиво, если входные сигналы формируются в результате нелинейных процессов и распределены несимметрично и не по гауссову закону В основе построения гауссова классификатора лежат предположения о распределениях входных сигналов Считается, что зти распределения известны и соответствует закону Гаусса Формулы для расчета параметров нейросетевого гауссова классификатора определяются следующим образом.
Пусть Мд, и я„' — среднее значение и отклонение (математическое ожидание и дисперсия) входного сигнала х„когда входной сигнал принадлежит классу А, Мв, и яв,' — среднее значение и отклонение входного сигнала х„когда входной сигнал принадлежит классу В, и яв = яв, = 2 2 я,'. Тогда значения вероятности, используемые классификатором по максимуму вероятности пропорциональны следующим величинам. в (х,— Мд,) в х, в Мд,х, д! Мд, 2 г ~д = -Е ' д' = -~ — '+2~ 1=1 Я г г г г !=1 Я, 1=1 Я ~=! Я (х! Мв!) вх, д1Мвх, вМЯ, ).в=-г.— '' =-г.— '1-22. ~=1 Я 2 2 2 2 ' ~=! Я ~=1 Я !=1 Классификатор по максимуму вероятности должен вычис- лять (.д (.в и выбирать класс с наибольшей вероятностью.
Первые слагаемые в формулах идентичны. Поэтому их можно опустить. Вторые слагаемые могут быть вычислены путем умножения вход- ных сигналов на синаптические веса. Третьи слагаемые являются константами, значения которых можно присвоить смещению ней- рона. Значения синаптических весов и смещения: 2(Мд,-Мв )2 5 ~ Мд, - Мв, и/! = Харакпгеристики сети. Тип входных сигналов — бинарные ипи аналоговые (действи- тельные).
Размерности входа и выхода ограничены при программ- ной реализации только возможностями вычислительной системы, на которой моделируется нейронная сеть, при аппаратной реали- зации — технологическими возможностями. 4) Области применения Распознавание образов, классификация. 335 5) Недостатки. Примитивные разделяющие поверхности (гиперплоскости) дают возможность решать лишь самые простые задачи распознавания.
Считаются априорно известными распределения входных сигналов, соответствующие разным классам. 6) Преимущества. Программные или аппаратные реализации модели очень просты. Простой и быстрый алгоритм формирования синаптических весов и смещений. 7) Модификации. Адаптивный гауссов классификатор. П.1.10. Генетический алгоритм (Оеле((с А10ог11(згл) т) Название.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
