1626434812-e667f6b6e7e69d3a0798830a58e9075b (844135), страница 34
Текст из файла (страница 34)
В случае покрытия гипершарами каждый нейрон задает значениями весов своих входов координаты центра гипершара, а также запоминает радиус этого гиперкуба. Эти сети называются сетями с радиусными базисными функциями, другое их название — вероятностные нейронные сети. Как видно, в обоих случаях, как при использовании гиперплоскостей и гипершаров, имеет место реализация распределенного коллективного запоминания нейронами при обучении предъявленных сети примеров. Естественно, что этими двумя случаями разнообразие нейронных сетей не должно исчерпываться, и существуют другие виды функций состояния и активации нейронов. 181 Глава 7. Нейросетевые системы 7.2.3.
Организация функционирования нейросети В ходе функционирования сеть относит предъявленный на ее входы набор значений к той или иной области, что и является искомым результатом. Заметим, что предъявляемый сети набор входных значений мог не подаваться на входы сети при обучении. Но в силу сформированных посредством других наборов входных значений совокупности областей этот набор попадет в одну из них Если результат правильный, то имеет место правильно функционирующая сеть, иначе сеть обучена или сконструирована с ошибкой. Поэтому смысл процедуры обучения или конструирования — отделение множеств точек, каждой области без включения посторонних точек и потери своих.
7.2.4. Алгоритмы обучения многоуровневых персептронных сетей Большинство алгоритмов обучения использует эвристические приемы формирования графов ссгей и весов ребер, При использовании многоуровневых персептронных сетей обучение начинается с выбора начальной сети с задаваемым в постановке задачи числом входов и выходов и эвристически выбираемом графе нейронной сети, связывающей входы с выходами. Например, в 1391 рекомендуется взять трехслойную сеть с числом нейронов внутреннего слоя, равным полу- сумме числа входов и выходов сети. Каждый нейрон внутреннего слоя должен быть связан с выходами всех входных нейронов сети. Каждый выходной нейрон должен быть связан с выходами всех нейронов внутреннего слоя.
Далее предпринимается попьпка подобрать веса входов нейронов сети так, чтобы сеть решала поставленную задачу Если это не удается для выбранного графа сети, то по некоторой эвристике, например, с использованием генетических алгоритмов 14Ц, перебираются графы сетей, для каждой из которых предпринимается попьгпа обучения. Эгот процесс продолжается до получения устраивающего результата. Практически важным алгоритмом определения весов сети при наблюдаемом обучении персептронных сетей, для которого доказана сходимость процесса, является алгоритм обратного распространения [37 — 39].
При обучении сигнал ошибки распространяется обратно по сети. Производится коррекция весов входов нейронов, предотвращающая повторное появление этой ошибки. В одноуровневых сетях коррекция выполняется достаточно просто. Одноуровневая сеть — обучаемый персептрон, состоит из одного нейрона с весами ~ч,, 1 = 1,, п, и порогом и. Выход У нейрона равен 1, если,> и» х по всем значениям 1 не меньше величины порога ц, и равен 0 в противном случае, Заметим, что порог может задаваться как и+1 вход нейрона с весом и и значением входа, равным -1.
Базы данных Интеллектуальная обработка информации Розенблаттом был предложен следующий сходящийся алгоритм настройки весов персептрона. Пусть имеется обучающий набор примеров <Х,, Р >=<~х„, ...,х,„), Р>, <Х, Р >= <1х „..., х ), Р >, Х = (х,„„.,х. ) — входные значения 1-го примера, а Р. — выходное значение этого примера. Считается, что персептрон правильно обучен, если для всех ) шах!Р~ — Ц < Ь, где Ь вЂ” заданная величина ошибки. Собственно алгоритм состоит в следующем, 1. Присвоить весам и порогу нейрона случайные малые значения. 2.
Начиная с первого примера, подать на входы нейрона очередной пример <Х., Р,> и определить значение выхода нейрона Ъ'1, 1=1, ..., а. 3. Изменить веса согласно выражению ж(1+1) = иф) + а(Р.-У.)х,, 1=1,2, ..., и, а — коэффициент, 0<а<1. 4. Производить шаги 2 $ до тех пор, пока ошибка на всех обучающих примерах не будет превышать наперед заданного значения Ь. Одноуровневые сети могут применяться для решения задач, в которых об- ласти разделяются только одной гиперплоскостью. В многоуровневых сетях коррекция внутренних уровней представляет собой более сложную процедуру.
Собственно алгоритм настройки весов остается тем же самым за исключением шага 3, который значительно усложняется, Итак, рассмотрим шаг 3 для многоуровневой сети, состоящей из нейронов с сигмоидной функцией активации. Он состоит из коррекции весов выходного слоя и коррекции весов остальных слоев. Коррекция весов выходного слоя Для каждого нейрона ц выходного слоя Е вычисляется величина ОШц1с ошибки: ОШф = Г,'~Рц - Уф), где Й1' — значение производной функции активации, вычисленное на состоянии нейрона с1, полученном на поданном входном наборе, Рц — требуемое значение на выходе нейрона о, УцŠ— выход нейрона с1 на поданном входном наборе.
Затем для каждого нейрона ц выходного слоя Е и каждого соседнего с иим нейрона р внутреннего слоями вычисляются величины Ь%рц,М коррекции весов %рс1, К для всех значений р, с1: Л%рц,К = а ОШс11< Ур1, где Ур1 — выход нейрона р слоями на поданном входном наборе. Затем выполняется собственно коррекция весов выходного слоя: %рс1,Ц1+1) =%рс1Щ) + Л%рц,Е. Глава 7.
Нейросетевые системы Коррекция весов внутренншс слоев Процедура выполняется послойно для всех слоев, начиная со следующего за выходным. Рассмотрим нейрон р следующего за выходным внутреннего слоя 1. Этот нейрон связан с ЬЖ нейронами выходного слоя ребрами с весами %р(1, 1, 1= 1,...,111. ! Величина ошибки ОШр~ для нейрона р определяется следующим образом: ОШр~ = ~~ ~ Ось вру,а д-1 Затем вычисляются величины Л%зр1: ЛВяр1 = а ° ОШр1 . Уяе, гле е — слой, следующий за слоем 1, а в — нейрон слоя е. Затем выполняется коррекция весов слоя 1: Фариас+1) = %ар41) + Л%ярД. Этим способом корректируются веса всех нейронов сети, что завершает шаг 3 алгоритма настройки весов сети.
7.2.5. Алгоритмы обучения сетей с радиусными базисными функциями Рассматриваемые сети состоят из трех уровней 1421. Первый уровень — входной. Каждому входу х, соответствует один нейрон, связанный своим выходом со входами всех нейронов второго уровня, 1=1,..., и, и — размерность пространства, в котором формулируется задача. Второй уровень составляют нейроны, функция состояния которых вычисляет расстояние ф между вектором весов входов %1 = (ъ.„..., ю, 1 нейрона 1 и вектором входов Х = (х,,..., х 1. В зависимости от постановки задачи расстояние может вычисляться: м(у) ф = «„~~Ф вЂ” В~1, либо ф = , либо как-то иначе.
Нейроны второго слоя могут использовать различные функции активации: пороговую и экспоненциальную. Сети с нороговой функцией активации нейронов второго уровня В этих сетях нейроны второго уровня используют пороговую функцию активации с порогом Ц, возможно разным для разных нейронов. Обозначая выход нейрона 1 через Р1, имеем: Р1 = 1, если ф < К 1, Р1 = О, если ф,е К1. Базы данных.
Интеллектуальная обработка информации Нейроны третьего уровня, выходного слоя, выполняют сбор выходов нейронов второго слоя, образующих покрытие одной области. Если есть сигнал "1" только от одного нейрона второго слоя, то он признается как результат принадлежности входного вектора к рассматриваемой области. Если есть сигнал "1" от нескольких нейронов, входящих в покрытие разных областей, то функционирование сети признается противоречивым. Сети с зксноненциальной функцией активации нейронов второго слоя В этих сетях нейроны второго уровня используют функцию активации: где а1 — множитель, управляющий скоростью изменения значения вероятности от расстояния ф. Каждый выходной нейрон затем вычисляет взвешенную сумму значений активационных функций, соединенных с ним нейронов второго уровня.
В качестве весов используются счетчики К1 представительности нейронов второго уровня: О1Л 1с= ~~' ~" Р', ыМ» где ММ вЂ” множество нейронов второго уровня, образующих область 1с Условная вероятность Р~ СМ/Х ) принадлежности входного вектора Х области С1с вычисляется путем нормировки: ЦСЬХ)=ОСт1~ Х ОЛ'К, А=1 где Н вЂ” число разных областей. Процедура обучения сетей с радиусными базисными функциями включает три механизма: - формирование нейронов второго и третьего уровней, задание их функций активации и настройки весов; - модификация значений порогов нейронов; - модификация счетчиков представительности нейронов.
Ниже приведем схематичное описание процедуры обучения нейросети на множестве Х = 1Х1, Х2,...,Хт) входных векторов, принадлежащих различным областям С1с, Е = 1,...,я, Глава 7. Нейросетевые системы При поступлении на входы сети вектора Х1, 1~ (1,...,ш), принадлежащего ранее не встречавшейся при обучении области С, формируется выходной нейрон этой области и связанный с ним нейрон 1 второго уровня. Формирование нейрона1 второго уровня заключается в следующем: - порождение нейрона 1 с весами входов, равными компонентам входного вектора Х1: %11:= Х11, 1=1,..., и, и — размерность пространства, в котором формулируется задача; - задание значения порога К1 нейрона 1, равного некоторому наперед выбранному значению Крах„К1:= Вшах; - задание значения счетчика представительности К1 нейрона 1, К1:=1. Будем в дальнейшем называть полем влияния нейрона 1 все точки многомерного пространства, входящие в гипершар с центром %~ и радиусом К1.
При поступлении на входы сети входного вектора Х1, принадлежащего уже встречавшейся области С, но не попадающего в поле влияния других нейронов, формируется соответствукнций этому вектору нейрон второго уровня. Если очередной поступивший входной вектор принадлежит уже ранее встречавшейся области С и попадает в поле влияния другого нейрона, то возможны два варианта в зависимости от типа строящейся нейросети. При построении полной вероятностной нейронной сети (РМЧ) выполняется формирование соответствующего нейрона второго уровня. При построении сокращенной вероятностной нейронной сети новый нейрон не формируется, а увеличивается на единицу значение счетчика представительности К1 нейрона 1, в поле влияния которого попал входной вектор. Заметим, что при подсчете условных вероятностей вместо учета вклада двух нейронов будет учтен двойной вклад одного нейрона. Полные вероятностные нейронные сети точнее сохраняют свойства обучающего множества Е, но требуют больших ресурсов.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
