Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение, страница 4

На рис. 1.8 в качестве примера показана активационная функция, представленная рядом (1.22), с а= — 0.3 (сплошная линия) и а = — 0.5 (пунктирная линия) и коэффициентом усиления 21 при этом первые четыре члена разложения (1.17) — (1.20) обеспечивают точность аппроксимации не хуже 10 ' [631. Характер изменения коэффициентов рядов позволяет предположить, что выражения (1,17) — (1.20) в общем виде можно представить в виде ряда (1.25) Рис. 1,8 — Активационная функция в виде степенного ряда Очевидно, что данная функция обладает всеми указанными выше свойствами сигмоидальных функций, при этом дифференцирование полинома в вычислительном смысле проще дифференцирования, например, функций (1.12) - (1.15). 1.5 Нейрон Фукушимы В середине 70-х годов К.Фукушима разработал искусственную нейронную сеть, получившую название «когнитрон» и являющуюся формальной моделью биологической системы восприятия и распознавания, инвариантную к поворотам, сдвигам, изменениям масштабов образов ~19, 481.

В основе когнитрона лежит нейрон Фукушимы [27~, отличающийся от нейрона Маккаллоха-Питтса тем, что если у последнего синаптические веса могут быть положительными, отрицательными или нулевыми, то в модели Фукушимы все веса полагаются неотрицательными, а входы разбиты на две группы: возбуждающие и тормозящие. На рис. 1.9 приведена схема нейрона Фукушимы. Сигнал е, являющийся взвешенной суммой возбуждающих входов, компенсируется сигналом Ь,, представляющим собой взвешенную комбинацию тормозящих сигналов. Выходной сигнал нейрона описывается соотношением (1.2б) 1+~ Ьр, 22 1 ИСКУССТВЕННЫЕ НЕЙРОНЫ х, х, Рис. 1.9 — Нейрон Фукушимы где (1.27) активационная функция типа «выпрямитель» (рис.

1.3 г). При выполнении условия (1.28) на выходе нейрона появляется сигнал >! Р (1.29) Р Если ~ Ь,,ю,. «1, нейрон Фукушимы работает как линейный ассоциатор !=1 (1.5), т.е. 23 Я т, !о о И ИО м !=! о о ~С о Ф о и, если и,. >О, Ч(и,)= О в противном случае ~ а,,х,. — ~ Ь,,и,. !=1 1=1 у Р 1+ ~~ 'Ь,.,л,. 1.6 Стохастическая модель нейрона Рассмотренные выше модели нейронов являются детерминированными, поскольку реализуют однозначные отображения входных сигналов в выходной. В ряде приложений более эффективным является использование так называемых стохастических нейронов 191, в качестве которых могут быть использованы нейроны Маккаллоха-Питтса с активационной сигнум-функцией (рис. 1.46).

Отличие состоит в том, что выходной сигнал такого нейрона определяется не только значениями входных сигналов и синаптических весов, но и некоторой функцией распределения вероятностей состояний Р(т). При этом +1 с вероятвостьго РЯ, у — 1 с вероятностьк) 1 — Р(и). (1.31) В качестве такой функции чаще всего используется сигмоида Р(~) = 1 1+е т (1.32) 1.7 Динамические нейроны Все введенные ранее искусственные нейроны описываются алгебраическими уравнениями и являются статическими моделями.

Это означает, что фактор времени явно не влияет на поведение нейрона: выходная реакция в текущий гг -тый момент времени у,. (1г) определяется только входными сигналами в этот же момент времени х,(1г),х,(/г),...,х.(й) и никак не зависит от прошлых состояний. В задачах оптимизации и цифровой обработки сигналов широкое распространение получили динамические нейроны, описываемые разностными или дифференциальными уравнениями, поведение которых существенным образом определяется их предысторией. К ним относятся нейроны Хопфилда, Гроссберга, нейроны-осцилляторы и другие модели 126, 27, 32, 35), Простейшим динамическим нейроном является нейрон Хопфилда, где Т - переменная, называемая в теории ИНС псевдотемпературой и определяющая уровень неопределенности состояний; г — параметр, описывающий эффект синаптического шума в биологических системах. При уменьшении псевдотемпературы 1Т вЂ” > 0) стохастический нейрон превращается в детерминированный.

1 ИСКУССТВЕННЫЕ НЕЙРОНЫ описываемый рекуррентным уравнением х,.(1+1) =у(~ ь,,х,(/с)+О,), ~=1 (1.33) й = 0,1,2,...; 1 = 1, 2,..., и и представленный на рис. 1.10. х,(Й) х,(1+1) х,®) х,® Рис. 1.10 — Нейрон Хопфилда В цепь обратной связи включен элемент чистой задержки, реализующий операцию сдвига назад (~ 'х(й+1) = х(й)) и обеспечивающий обычному нейрону требуемые динамические свойства. Заметим, что с точки зрения современной теории управления этот нейрон есть не что иное, как модель нелинейной динамической системы в пространстве состояний. С другой стороны, уравнение (1.33) описывает нелинейную марковскую последовательность первого порядка [65~, поведение которой определяется только предыдущим состоянием.

Несложно ввести модификацию стандартного нейрона Хопфилда, состояние которой будут определятся более отдаленной предысторией. На рис, 1.11 приведен динамический нейрон, описываемый нелинейным уравнением авторегрессии с экзогенными входами (МАЯХ) вида Р и х,.(/с+1) =у ~ а,,х,.(И вЂ” 1)+~ к,,х,.Я)+В, /с =01,2,...; у'=1,2,...,п. (1.34) /=1 г'=1 25 Более сложной конструкцией является нейрон Гроссберга, в котором в обратную связь поступают не только выходное состояние х, но и внутренний сигнал и, На рис.

1.12 приведены возможные реализации этой динамической модели. х,(1с+1) ,ж+~) =,( )+~ '„;ж)+в„ 1=! х,.(Ус+1) =~1~(и,(/с+1)), й =0,1,2„...; 1=1,2,....,и, ('! 35) а) Рис. 1.1 1 — Модифицированный нейрон Хопфилда 1 ИСКУССТВЕННЫЕ НЕЙРОНЫ х,(1) х,(/с+1) х, (к) х.(й) и,(/с+1) =Ь,.и,.Я)+~1 и„х,(7с)+О,, б) х,. (й + 1) = у(и,. (7с +1)), й = 0,1,2,...; у = 1,2,...., л. (136) Рис. 1.12 — Нейрон Гроссберга Используя аппарат теории цифровой фильтрации ~54-561, можно ввести и более сложные конструкции динамических нейронов, одна из которых приведена на рис.

1.13. Этот нейрон описывается нелинейным разностным уравнением ц Е+ 1) = ~ Ь,, ц (и — К + 1) + ~ а,, х,. ж — 1) +~ в, хЮ+ В, (1.37) х,(/с+1) = ~(и,(/с+1)), Ус = 0,1,2,...; у =1,2,....,п. Естественно, что рассмотренными здесь нейронами не исчерпывается все их возможное разнообразие. Выбор известного или создание нового типа нейрона определяется прежде всего конкретной проблемой, решаемой с помощью нейросетевых технологий. 2 ПЕРСЕПТРОНЫ 2 ПЕРСЕПТРОНЫ Основной особенностью искусственных нейронных сетей и, естественно, образующих их нейронов является способность к обучению, в процессе которого синаптические веса настраиваются с помощью того или иного адаптивного алгоритма с целью наиболее эффективного решения поставленной проблемы.

2.1 Адалинв Одним из простейших обучающихся нейронов является АДаптивный ЛИНейный Элемент (А1.УА1.1ХЕ), предложенный Б. Уидроу [бб,б7~ и приведенный на рис. 2.1. х, Рис. 2.1 — Адалина Структурно адалина весьма напоминает нейрон Маккаллоха-Питтса с активационной сигнум-функцией и состоит из двух основных частей: адаптивного линейного ассоциатора и нелинейной активационной функции. Адалина имеет и+1 входов — х„х„...,х„и два выхода — аналоговый и, и бинарный у, Кроме того, имеется дополнительный вход, на который подается обучающий сигнал д, показывающий какой должна быть желаемая реакция нейрона на каждый конкретный набор входных сигналов.

Аналоговый выход и,. представляет собой взвешенную сумму входов х, 29 а бинарный выход у,. может принимать значения +1 или — 1 в зависимости от полярности аналогового сигнала и,. Выходной сигнал и, сравнивается с внешним обучающим сигналом д, и возникающий при этом сигнал ошибки е, = д, — и, поступает в алгоритм обучения, который перестраивает синаптические веса так, чтобы минимизировать некоторую функцию ошибки е,, называемую критерием обучения. В качестве такой функции чаще всего используют квадратичную, что позволяет применять для обучения не только «родной» алгоритм, синтезированный Б. Уидроу и М. Хоффом специально для адалины ~27~, но и множество рекуррентных процедур адаптивной идентификации ~461.

Адалина может использоваться как в качестве элементарного нейрона в составе ИНС, так и самостоятельно в задачах распознавания образов, обработки сигналов, реализации логических функций ~6, 26, 32, 33, 47, 55, 68]. 2.2 Персептрон Розенблатта Элементарный персептрон Ф. Розенблатта структурно подобен адалине, что видно из его схемы, приведенной на рис. 2.2.

х, х„ Рис. 2.2 — Персептрон Розенблатта Основное отличие состоит в алгоритме обучения, поскольку в адалине 30 2 ПЕРСЕПТРОНЫ 2.3 Многослойный персептрон Новый всплеск интереса к персептронам приходится на конец 80-х годов. Именно к этому периоду относится появление многослойных искусственных нейронных сетей и алгоритмов их обучения. Как уже отмечалось, свойства ИНС в значительной мере определяются их топологией (архитектурой). На сегодня большинство существующих нейронных сетей в зависимости от архитектуры может быть разбито на три большие категории[271: многослойные с прямой передачей информации, в которых отдельные нейроны объединены в слои, между которыми информация передается в одном направлении от входа к выходу (рис.

2.3а), рекуррентные (с обратной связью), в которых сигналы с выхода могут подаваться на вход или внутренние слои сети (рис. 2.3б), и клеточные, в которых каждый нейрон связан только со своими соседями (рис. 2.3в). Третий (выходной) слой Второй (скрытый) слой Первый (скрытый) слой а) 31 ошибка е,. = д,. — и,. является линейной функцией от векторов входов х, в то время как ошибка обучения персептрона е,. = д,. — у,. от входов зависит нелинейно, причем характер этой нелинейности определяется активационной функцией у(~), которая в общем случае может быть недифференцируемой (например, сигнум-функция).