Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 50
Текст из файла (страница 50)
318 ))Х(( = ~ „, ())г Х)! = Х К „, „, если > г, то переход к шагу 7, ())г х() ~~х~~ иначе — к шагу 6 Если значение отношения больше порога, то входной сигнал считается похожим на эталон с наибольшим значением соответствия. В этом случае эталон модифицируется путем выполнения операции «Логического И» на входной сигнал Если значение отношения меньше порога, то считается, что входной сигнал отличается от всех эталонов и рассматривается как новый эталон.
В сеть вводится нейрон, соответствующий новому эталону, и рассчитываются значения синаптических весов ШАГ 6 Исключение нейрона с наибольшим значением соответствия: Выход нейрона с наибольшим значением соответствия временно устанавливается равным нулю и более не принимает участие в шаге 4 ШАГ 7. Адаптация нейрона с наибольшим значением соответствия: и„() ж 1) = у, (Г) х„и~„() <-1) = у„Я х, 0,5 -~ ~ и, ()) х, ~=1 ШАГ 8 Включение всех исключенных на шаге 6 эталонов. Возвращение к шагу 2 Характеристики сети. Тип входных сигналов — бинарные Размерность входных и выходных сигналов ограничена при программной реализации только возможностями вычислительной системы, на которой мо- делируется нейронная сеть, при аппаратной реализации — техно- логическими возможностями. Емкость сети совпадает с числом нейронов второго слоя и может увеличиваться в процессе функ- ционирования сети.
4) Области применения Распознавание образов, кластерный анализ. 5) Недостатки. Неограниченное увеличение числа нейронов в процессе функционирования сети. При наличии шума возникают значительные проблемы, свя- занные с неконтролируемым ростом числа эталонов 319 6) Преимущесгпеа. Обучение беэ учителя. 7) Модификации. Модель АКТ-2 с непрерывными значениями входных сигна- лов. П.1.2.
Двунаправленная ассоциативная память. В(-О!гесг)опа! Аввос(аг(че Мегпогу (ВАМ). 1) Название Вр0(гесбопа! Аввос(а((че Мегпогу ВАМ (двунаправленная ассоциативная память ДАП). 2) Авглоры и исглория создания. Совокупность моделей двунаправленной ассоциативной памяти разработана под руководством Б. Коско (Университет Южной Калифорнии).
Большая часть публикаций, посвященных этим моделям, датирована второй половиной 1980-х годов. 3) Модель. Двунаправленная ассоциативная память является гетероассоциативной. Входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Входные образы ассоциируются с выходными. Для сравнения: сеть Хопфилда является автоассоциативной. Входной образ может быть восстановлен или исправлен сетью, но не может быть ассоциирован с другим образом. В сети Хопфилда используется одноуровневая структура ассоциативной памяти, в которой выходной вектор появляется на выходе тех же нейронов, на которые поступает входной вектор.
Двунаправленная ассоциативная память, как и сеть Хопфилда, способна к обобщению, вырабатывая правильные выходные сигналы, несмотря на искаженные входы. На рис. 2 10 приведена схема двунаправленной ассоциативной памяти. В результате обработки входного вектора Х матрицей уу весов (нейронами первого слоя) вырабатывается выходной вектор У = Р(ХИг), который затем обрабатывается транспонированной матрицей уу весов (нейронами второго слоя) и преобразуется в новый входной вектор Х = Г(Ууу').
Этот процесс повторяется до достижения сетью стабильного состояния. В качестве функции активации используется экспоненциальная сигмоида. формула для вычисления значений синаптических весов: Иг = 2.)Г, у ! 320 где Х, и У, — входные и выходные сигналы обучающей выборки Весовая матрица вычисляется как сумма произведений всех векторных пар обучающей выборки.
Системы с обратной связью имеют тенденцию к колебаниям. Они мокнут переходить от состояния к состоянию, никогда не достигая стабильности. Доказано, что ДРП беэусловно стабильна при любых значениях весов сети. 4) Области применения Ассоциативная память, распознавание образов. 5) Недостатки. Емкость ДАП жестко ограничена. Если и — количество нейронов в меньшем слое, то число векторов, которые могут быть запомнены в сети, не превышает: и 2)о9г л Так, если и = 1024, то сеть способна запомнить не более 25 образов. Кроме того, ДАП обладает некоторой непредсказуемостью в процессе функционирования.
Возможны ложные ответы. б) Преимущества. По сравнению с автоассоциативной памятью (например, с сетью Хопфилда), двунаправленная ассоциативная память дает воэможность строить ассоциации между векторами Х и У, которые в общем случае имеют разные размерности. За счет таких возможностей гетероассоциативная память используется для более широкого класса приложений, чем автоассоциативная память. Процесс формирования синаптических весов является простым и достаточно быстрым Сеть быстро сходится в процессе функционирования Двунаправленная ассоциативная память — простая сеть, которая может быть реализована в виде отдельной СВИС или оптоэлектронным способом.
7) Модификации. Предложена негомогенная двунаправленная ассоциативная память, в которой пороговые значения подбираются индивидуально для каждого нейрона (в исходной модели ДАП все нейроны имеют нулевые пороговые значения). Емкость негомогенной сети выше, чем исходной модели.
Сигналы в сети могут быть как дискретными, так и непрерывными. Для обоих случаев доказана стабильность сети. Предложены модели двунаправленной ассоциативной памяти с обучением без учителя (адаптивная ДАП). 321 Введение латеральных связей внутри слоя дает возможность реализовать конкурирующую тип ДАП. Веса связей формируют матрицу с положительными значениями элементов главной диагонали и отрицательными значениями остальных элементов.
Теорема Кохонена-Гроссберга доказывает, что такая сеть является стабильной. П.1.3. Машина Больцмана (ВоИагпапп МасЫпе) 1) Название. Войггпапп Мас)1)пе (машина Больцмана). Другое название. Больцмановское обучение. 2) Авторы и история создания. Машина Больцмана была предложена и исследовалась во второй половине 1980-х годов. 3) Модель. Алгоритм больцмановского обучения: ШАГ 1. Определить переменную Т, представляющую искусственную температуру. ШАГ 2. Предъявить сети множество входов и вычислить выходы и целевую функцию. ШАГ 3. Дать случайное изменение весу и пересчитать выход сети и изменение целевой функции в соответствии со сделанным изменением веса.
ШАГ 4. Если целевая функция улучшилась (уменьшилась), то сохранить изменение веса. Если изменение веса приводит к увеличению целевой функции, то вероятность сохранения этого изменения вычисляется с помощью распределения Больцмана: Р(с) = ехр —— где Р(с) — вероятность изменения параметра с в целевой функции; )г — константа, аналогичная константе Больцмана, выбираемая в зависимости от задачи.
Выбирается случайное число г из равномерного распределения от нуля до единицы. Если Р(с) больше, чем г, то изменение сохраняется, в противном случае величина веса возвращается к предыдущему значению. Эта процедура дает возможность системе делать случайный шаг в направлении, «портящем» целевую функцию, позволяя ей тем самым выходить из локальных минимумов.
322 Шаги 3 и 4 повторяются для каждого из весов сети, постепенно уменьшая температуру Т, пока не будет достигнуто допустимо низкое значение целевой функции. В этот момент предъявляется другой входной вектор и процесс обучения повторяется. Сеть обучается на всех векторах обучающего множества, пока целевая функция не станет допустимой для всех из них. Скорость уменьшения температуры должна быть обратно пропорциональна логарифму времени. При этом сеть сходится к глобальному минимуму.
4) Области применения. Распознавание образов, классификация. 5) Недостатки Медленный алгоритм обучения 6) Преимущества. Алгоритм дает возможность сети выбираться иэ локальных минимумов адаптивного рельефа. 7) Модификации. Случайные изменения могут проводиться не только для отдельных весов, но и для всех нейронов слоя в многослойных сетях или даже для всех нейронов сети одновременно.
Эти модификации алгоритма дают возможность сократить общее число итераций обучения. П.1.4. Обратное распространение (Мента! Меокгог)г ук)1)з Вас)1 Ргорадабоп Тга)п)пд А)дог)Фгп) 1) Название. Нейронная сеть с обучением по методу обратного распространения ошибки. Другие названия. Васкргор. Васх Ргорадайоп ((чеига!) Йе(хкогк. Сеть обратного распространения (ошибки). Ми!19(.ауег Регсер1гоп иг!(и Вас)г Ргорадайоп Тга!п(пд А!допгпгп (многослойный персептрон с обучением по методу обратного распространения ошибки).
2) Авторы и история создания. Многослойные персептроны были предложены и исследованы в 1960-х годах Розенблаттом, Минским, Пейпертом и др. Лишь в середине 1980-х годов был предложен эффективный алгоритм обучения многослойных персептронов, основанный на вычислении градиента функции ошибки и названный обратным распространением ошибки.
323 3) Модель. Алгоритм обратного распространения — зто итеративный градиентный алгоритм, который используется с целью минимизации среднеквадратического отклонения текущего выхода многослойного персептрона и требуемого выхода. Он используется для обучения многослойных нейронных сетей с последовательными связями. Нейроны в таких сетях делятся на группы с общим входным сигналом — слои На каждый нейрон первого слоя подаются все элементы внешнего входного сигнала. Все выходы нейронов г(-го слоя подаются на каждый нейрон слоя (г)+1). Нейроны выполняют взвешенное суммирование входных сигналов. К сумме элементов входных сигналов, помноженных на соответствующие синаптические веса, прибавляется смещение нейрона.
Над результатом суммирования выполняется нелинейное преобразование — функция активации (передаточная функция) Значение функции активации есть выход нейрона. Характеристики сети. Тип входных сигналов — целые или действительные Тип выходных сигналов — действительные иэ интервала, заданного передаточной функцией нейронов. Тип передаточной функции — сигмоидальная. В нейронных сетях применяются несколько вариантов сигмоидальных передаточных функций. Функция Ферми (экспоненциальная сигмоида) 1(з) = 1 1, е-2аа ' где з- выход сумматора нейрона, а — некоторый параметр. Рациональная сигмоида: г(з) = 1 )з! + а Гиперболический тангенс: „3 е,-е, е +е,.
Перечисленные функции относятся к однопараметрическим. Значение функции зависит от аргумента и одного параметра. Используются также и многопараметрические передаточные функции, например: г(з) = Р1 + рз. ИаР2 324 Сигмоидальные функции являются монотонно возрастающими и имеют отличные от нуля производные на всей области определения. Эти характеристики обеспечивают правильное функционирование и обучение сети. Наиболее эффективной передаточной функцией является рациональная сигмоида. Для вычисления гиперболического тангенса требуются большие вычислительные затраты. Функционирование многослойной нейронной сети осуществляется в соответствии с формулами.
вк ~ ч-~ у =Г(з,), ),--1,...,к), гл=1... / где з — выход сумматора, иг — вес связи, у — выход нейрона, Ь— смещение, ) — номер нейрона, й) — число нейронов в слое, гп — номер слоя, (. — число слоев, à — функция активации. Обучение сети разбивается на следующие этапы: ШАГ 1 Инициализация сети. Весовым коэффициентам и смещениям сети присваиваются малые случайные значения из установленных диапазонов. ШАГ 2. Определение элемента обучающей выборки: (<Текущий вход>, <требуемый выход>). Текущие входы (хь ..., хв), должны различаться для всех элементов обучающей выборки.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
