Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 3
Текст из файла (страница 3)
Характеристики синапсов могут перестраиваться проходящими через них сигналами так, что синапсы обучаются в зависимости от типов протекающих в них процессов. Упрощенно процесс функционирования биологического нейрона можно описать следующим образом. Сома получает сигналы от других нейронов через синаптические соединения и преобразует его в последовательность нервных импульсов. Преобразование сигнала в соме в общем случае имеет существенно нелинейный характер, хотя нейрофизиологи обнаружили 127], что в определенных режимах выходной сигнал пропорционален линейной комбинации входных, т.е.
нейрон в некотором узком диапазоне может быть описан линейной передаточной функцией. Выходной сигнал передается вдоль разветвляющегося аксона к синапсам других нейронов. Интенсивность выходного сигнала зависит как от уровня входных сигналов, так и проводимости соответствующих синаптических связей.
Информация между нейронами передается посредством короткой серии импульсов, как правило, продолжительностью несколько мсек. Сообщение передается с помощью частотно-импульсной модуляции, при этом частота может меняться от единиц до тысяч импульсов в секунду. Как видно, по скорости обработки информации нейрон существенно уступает современным электронным схемам, однако, как 12 1 ИСКУССТВЕННЫЕ НЕЙРОНЫ мы уже отмечали, высокая скорость обработки информации в мозге обеспечивается распараллеливанием протекающих в нем процессов, 1.2 Нейрон Маккалоха-Питтса у! тг х„ Аксонные Сома Аксон терминалы Входы Синапсы Дендриты Рис.
1.2 — Нейрон Маккалоха-Питтса На входы ~'- го нейрона поступает л сигналов х„х,,...,х„, которые взвешиваются усилителями, реализующими синаптические веса, после чего взвешенные значения ь„х,,ь,,х.„...„и,.„х„вместе с пороговым значением О, именуемым также сигналом смещения, подаются на сумматор ~, в результате чего формируется внутренний сигнал и,. Сома биологического нейрона моделируется с помощью некоторой нелинейной функции у1и,.), называемой в теории ИНС либо активационной,либо передаточной функцией формального нейрона. Таким образом, математическая модель Маккалоха-Питтса может быть записана в виде 13 В 1943 году У.
Маккалох и У. Питтс предложили 110~ в качестве искусственного нейрона использовать бинарный (релейный) элемент. Этот формальный нейрон вычислял взвешенную сумму п входных сигналов х,. и формировал на выходе единичный сигнал если эта сумма превышала некоторый порог О и нуль в противном случае. Этими же авторами было показано, что при определенном выборе весов, система параллельно функционирующих нейронов способна производить достаточно универсальные вычисления. В дальнейшем эта модель совершенствовалась и в настоящее время под нейроном Маккалоха-Питтса понимают миоговходовой нелинейный преобразователь со взвешенными входными сигналами, показанный на рис. 1.2.
П у, =~/ ~~Г и,,х, +О, к=1 (1.1) или у,=у~ и,,х,. (1.2) где и,, =О, х, =1. Вводя вектор синаптических весов 1-го нейрона и,. = (и,„и л,...,и,.„)' и вектор входов х =11,х,,х„...,х„)', можно переписать (1.2) в векторной форме у, =~(и,х), более компактной и удобной для анализа поведения как нейронов, так и сформированных из них сетей. Функциональные характеристики отдельных нейронов и сетей в целом определяются видом используемых активационных функций. Так, если первоначальная модель Маккалоха-Питтса использовала бинарный ограничитель 1релейную функцию), то в настоящее время используется множество иных преобразований, некоторые из которых приведены на рис. 1.3.
О и б) порогово-релейная функция а) релейная функция если и > О, в противном случае О, О„и в) линейно-пороговая функция г) функция-выпрямитель 1 ИСКУССТВЕННЫЕ НЕЙРОНЫ д) квадратичная функция е) модульная функция 1 ж) сигмоидальная функция у(и) = 1+е ~ Рис. 1.3 — Активационные функции нейронов По причинам, которые будут изложены ниже, в нейронных сетях наибольшее распространение получила сигмоидальная функция 1 1+е (1.4) (1.5) у, =и, и функция гиперболического тангенса 15 характеристики, которой в значительной мере зависят от параметра крутизны у (с ростом значения параметра функция (1.4) приближается к релейной, не претерпевая при этом разрыва в точке О). Наряду с функциями, приведенными на рис.
1.3, широкое распространение получили биполярные актив ационные функции, некоторые из которых показаны на рис. 1.4. Среди биполярных активационных функций наибольшее распространение получили линейная а) линейный ассоциатор в) ограничитель с насыщением д) ограничитель с зоной нечувствительности б) сигнум-функция г) ограничитель с гистерезисом е) сигнум-функция с зоной нечувствительности 1 ИСКУССТВЕННЫЕ НЕЙРОНЫ у=1 у<1 — 2еи ж) функция гиперболического тангенса у<и) = 1+е Рис.
1.4 — Биполярные активационные функции — 2~ м у,. = 1апй1уи,.) = +е (1.б) 1.3 Квадратичный нейрон В ряде случаев нелинейное преобразование можно обеспечить и с помощью линейного ассоциатора путем специальной предварительной обработки входных сигналов. На рис.
1.5 показан квадратичный нейрон, вычисляющий функцию О Г! й у,. = О,. + ~ и,,х, + ~~1 ~ и,„,х„х, ~=1 р=1 1=1 (1.7) с помощью набора элементарных блоков — умножителей и сумматоров 2 2 сигналов О, „и их,, и,.„х,, и,„х,х„..., и,.„х х,,..., и,„„х,, Естественно, что количество синаптических весов в данном случае существенно увеличивается, однако простота реализации зачастую обеспечивает преимущество именно таким моделям, с помощью которых можно обеспечить полиномиальное преобразование любой требуемой степени. 1.4 Обобщенный формальный нейрон Одним из наиболее привлекательных свойств искусственных нейронных сетей являются их универсальные аппроксимирующие возможности, обеспечивающие широкое использование ИНС в разнообразных задачах Первая из них используется в модели простейшего нейрона, называемого линейным ассоциатором, а вторая применяется в так называемых аппроксимирующих нейронных сетях.
обработки информации. О, х, хг Рис. 1.5 — Квадратичный нейрон Исследования в этом направлении были предприняты Хехт-Нильсеном 157, 58~, который на основе теоремы Колмогорова-Арнольда о представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одной переменной доказал, что функция многих переменных достаточно общего вида может быть представлена с помощью двухслойной нейронной сети, содержащей фиксированное число нейронов с заранее известными ограниченными функциями активации.
Позже Цыбенко и Хорник показали ~59-б11, что конечная линейная комбинация фиксированных одномерных функций может однозначно аппроксимировать любую непрерывную функцию л действительных переменных на заданном гиперкубе. В качестве таких функций были предложены так называемые сигмоидальные функции, являющиеся непрерывными, монотонными, возрастающими, 18 1 ИСКУССТВЕННЫЕ НЕЙРОНЫ ограниченными и имеющими отличные от нуля производные на всей области определения. Рассмотрим формальный нейрон, приведенный на рис.
1.6 и являющийся обобщением нейрона Маккаллоха-Питтса [62), с тем отличием, что в него введены дополнительные настраиваемые блоки усиления у,. и Г, х, х, х„ Рис. 1.6 — Обобщенный формальный нейрон у, =Г,у(у,и,х). (1.8) Исторически первой в качестве сигмоидальной функции Цыбенко была предложена конструкция вида (1.4) (1.9) определенная на множестве всех действительных чисел и принимающая только положительные значения. В практических приложениях более удобной оказалась кривая гиперболического тангенса (1.6) (1.10) связанная с сигмоидой соотношением 19 Здесь параметр у,. управляет крутизной функции активации, а Г,. коэффициент усиления, определяющий максимальные и минимальные значения выходного сигнала у, Несложно видеть, что выходной сигнал такого нейрона может быть записан в виде о(уи) = — 1апй — +1 (1 11) Задав ограничения на квадрате — 1 < и,.
< 1, — 1 < у,. < 1, в качестве возможных актив ационных функций нейрона (1.8) можно использовать следующие: — т!1 1 ~1~, (уи) = 1апЬ()а) =, „, Г, < 1+ е '" 1апй у 9~~(уи) =, Г, < уи,~~+у-' 1+ у'и" У вЂ” T 1 у,(уи) = яп( — уи), Г, < 2, л' яп у 2 2 т ьу,(уи) = — агс1д(уи), Г, < 2агсфу у'- 3 ~1/~(уи) =Уи — и, Г, < 3 ' зу-у" (1.12) (1.13) (1.14) (1,15) (1.16) Графики данных зависимостей приведены на рис. 1.7. Рис. 1.7 — Активационные функции обобщенного нейрона 20 Видно, что все эти функции отвечают предъявляемым требованиям.
Так как при обучении нейронных сетей приходится иметь дело как с самими активационными функциями, так и с их производными, целесообразным у (е) является такое представление функций 1 ~, которое упрощало бы вычисление производных, обеспечивая тем самым и упрощение процесса настройки нейронов сети. Одним из возможных подходов к получению такого удобного описания 1 ИСКУССТВЕННЫЕ НЕЙРОНЫ является представление функций зР,(е) в виде степенного ряда. Так, разложив (1.12)-(1.15) в ряд Маклорена, можно получить 1 з 2, 17 зР,(уи) =уи — — (уи). + — (Уи).
— — (Уи) +...., 3 15 315 з 3 з 39 а|го(Уи) = Уи — — (Уи) + — (Уи) — — (Уи) +...., 2 8 336 3 зг 5 ~Рз(Уи) = — Уи — — (Уи) + (Уи) — (Уи) +.... 2 24 1920 322560 з у,(уи) = — уи — — (уи) + — (уи) — — (уи) +.... к~ 3 5 7 1 Ч~ (уи) =уи — (уи) 3 (1.17) (1,18) (1.19) (1.20) (1.21) зР (Уи) =гР~)и+гР,(уи)'+гРз()а)'+гР,(уи)'+...=~гР,(У™)з"', (1.22) коэффициенты д, которого удовлетворяют уравнению авторегрессии первого порядка[641 гР =И~Рз+1 з ° 1<И<О Юо =1 (1.23) в котором параметр а и дисперсия случайной компоненты ~ могут быть оценены с помощью известных соотношений метода наименьших квадратов: ~ ЙР~,~ — а~Р~ ) ~'.„~Рз- з~Р~ ~=о ~яР; ~=о з.— 1 (1.24) Результаты расчетов с использованием тех же четырех членов разложения показали [631, что параметр а, обеспечивающий требуемые свойства активационной функции, для всех рассмотренных кривых (1.12) — (1.16) лежит в интервале — 0.5 < а < — 0.3, а о' < 10 '.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
