Хайкин С. - Нейронные сети, страница 8

В математическом представлении функционирование нейрона гс можно описать следующей парой уравнений; 44 Глава 1, Введение Рис. 1.6. Афинное преобразование, вызванное на- личием порога. Обратите внимание, что в точке, где ик = О, сг, = Ьк на рис. 1.6. Здесь и далее мы будем использовать термин "индуцнрованное локальное поле". Обратите внимание на результат этого афинного преобразования.

График оь уже не проходит через начало координат, как график иы Порог (гь является внешним параметром искусственного нейрона к. Его присутствие мы видим в выражении (1.2). Принимая во внимание выражение (1.3), формулы (1.1), (1.2) можно преобразовать к следующему виду: т тсь, ж„ э=а уь = гр(оь) (1.4) (1.5) В выражении (1.4) добавился новый синапс. Его входной сигнал равен; (1.6) *а —— +1, а его вес: (1.7) =ь. Это позволило трансформировать модель нейрона к виду, показанному на рис. 1.7. На этом рисунке видно, что в результате введения порога добавляется новый входной сигнал фиксированной величины +1, а также появляется новый синаптический вес, равный пороговому значению Ьы Хотя модели, показанные на рис. 1.5 и 1.7, внешне совершенно не схожи, математически они эквивалентны.

1.3. Модели нейронов 46 Фиксированный входной сигнал хв = ч) х, хг Выходной сигнал Уг Входы Сннаптнчесхнс васа (вюхючая порог) Рыс. 1.7. Еще одна нелнней- нан модель нейрона Типы функций активации Функции активации, представленные в формулах как хр(и), определяют выходной сиг- нал нейрона в зависимости от индуцированного локального поля и. Можно выделить три основных типа функций активации. 1. Функции единичного скачка, или пороговая функция (1ЬгезЬо!д бгпс1!оп). Этот тип функции показан на рис.

1.8, а и описывается следующим образом: ! 1, если и > 0; (1.8) В технической литературе эта форма функции единичного скачка обычно назы- вается функцией Хэвисайда (Неач!й!де бгпс!!оп), Соответственно выходной сигнал нейрона )с такой функции можно представить как 1, если иа > 0: Уа = О, если иа (0; (1.9) где га — это индуцированное локальное поле нейрона, т.е. гв — ) узах хг + Ьа. г=г (1.!0) Эту модель в литературе называют моделью Мак-Каллока-Питца (МсСа(!осЬ-Р!пз люде!), отдавая дань пионерской работе 1714). В этой модели выходной сигнал нейрона принимает значение 1, если индуцированное локальное поле этого нейрона не отрицательно, и 0 — в противном случае. Это выражение описывает свойство "все или ничего" модели Мак-Каляева — Нитца. 46 Глава 1. Введение 0 0,5 ! 1,5 2 з) 0 0,5 1 1,5 2 6) 1,2 0,8 0,6 0,4 0,2 0 0 -8 -6 -4 -2 0 2 4 6 8 в) 2.

Кусочно-линейная функция (ргесету)зе-1)пеаг бзпст)оп). Кусочно-линейная функция, показанная иа рис. 1.8, б, описывается следующим выражением: — +2' +->о> —— 1 1, 2 2' с( —— 1 — г' (!.1 1) где коэффициент усиления в линейной области оператора предполагается рав- ным единице. Эту функцию активации можно рассматривать как аллроксихгацию (арргохппабоп) нелинейного усилителя. Следующие два варианта можно считать особой формой кусочно-линейной функции.

1,2 1 0,8 0,6 0,4 0,2 0 -2 -1,5 -1 -0,5 1,2 1 0,8 0,6 0,4 0,2 -2 -1,5 -1 -0,5 Рис. 1.8. Виды активационных функций: 0 функция единичного скачка (а); кусочно- линейная функция (б) и сигмоидальная функция для различных значений параметра а (в) 1.3. Модели нейронов 47 ° Если линейная область оператора не достигает порога насыщения, он превращается в линейный сумматор (11пеаг сошЬ!пег).

° Если коэффициент усиления линейной области принять бесконечно большим, то кусочно-линейная функция вырождается в яароговую (ЙгезЬо!4 бзпс11оп). 3. Сигмоидальмая функция (з(8шо!4 Ганс!топ). Сигмоидальная функция, график которой напоминает букву 8, является, пожалуй, самой распространенной функцией, используемой для создания искусственных нейронных сетей. Это быстро возрастающая функция, которая поддерживает баланс между линейным и нелинейным поведениемэ. Примером сигмоидальной функции может служить логистическая фуякциял (!о8!з1!с Гппс1(оп), задаваемая следующим выражением: 1 1!)(е) = 1+ ехр( — атз) (1.12) где а — иараметр наклона (з!оре рагаше1ег) сигмоидальной функции.

Изменяя этот параметр, можно построить функции с различной крутизной (см. рис. 1.8, в). Первый график соответствует величине параметра, равной а)г4. В пределе, когда параметр наклона достигает бесконечности, сигмоидачьная функция вырождается в пороговую. Если пороговая функция может принимать только значения 0 и 1, то сигмоидальная функция принимает бесконечное множество значений в диапазоне от О до 1. При этом следует заметить, что сигмоидальная функция является дифференцируемой, в то время как пороговая — нет. (Как мы увидим в главе 4, дифференцируемость акгивационной функции играет важную роль в теории нейронных сетей.) 1, если и)0; тр(с) = О, если с = 0; — 1, если и<0, (1.13) з Полное описание сигмоидальной функции и связанных с ней вопросов содержится в 17271.

Логистическая функция, или, бояее точно, функция логистического распределения, описывает широко представленный в литературе закон логистического роста. Все пропессы роста могут быть представлены функцией логистического распределения р(1) = 1г(14ехр(а1 — р)), тле 1 — переменная времени; пи )) — константы. Следует отметить, что с таким же или даже с большим успехом к тем же данным можно применить и другие распределения, например распределение Гаусса [294]. Область значений функций активации, определенных формулами (1.8), (1.11) и (1.12), представляет собой отрезок от 0 до +1. Однако иногда требуется функция активации, имеющая область значений от — 1 до +1.

В этом случае функция активации должна быть симметричной относительно начала координат. Это значит, что функция активации является нечетной функцией индуцированного локального поля. В частности, пороговую функцию в данном случае можно определить следующим образом: 48 Глава 1. Введение Эта функция обычно называется сигнум.

В данном случае сигмоидальная функция будет иметь форму гинерболическога тангенса; фИ = 1Ь1п) (1.14) Такой вид сигмоидальной функции обеспечивает ряд преимуществ, о которых речь пойдет в главе 4. Стохастическая модель нейрона Модель нейрона, показанная на рис. 1.7, является детерминистской. Это значит, что преобразование входного сигнала в выходной точно определено для всех значений входного сигнала.

Однако в некоторых приложениях лучше использовать стохастические нейросетевые модели, в которых функция активации имеет вероятностную интерпретацию. В подобных моделях нейрон может находиться в одном из двух состояний: -~-1 или — 1. Решение о переключении состояния нейрона принимается с учетом вероятности этого события. Обозначим состояние нейрона символом х, а вероятность активации нейрона (ргоЬаЬВ11у оГ бг)пя) — функцией Р(и), где ив индуцированное локальное поле нейрона.

Тогда +1, с вероятностью Р(п); х= — 1, с вероятностью 1 — РЯ). Вероятность Р( с) описывается сигмоидальной функцией следующего вида 1660): Р(с) = 1 1+ ехр( — и(Т) (1.15) где Т вЂ” это аналог темлературы 11ешрегавпе), используемый для управления уровнем шума, и, таким образом, степенью неопределенности переключения.

При этом важно заметить, что Т не оиисывает физическую температуру нейронной сети, будь то биологической или искусственной. Параметр Т управляет термальными флуктуациями, представляющими эффект синаптического шума. Заметим, что если параметр Т стремится к нулю, то стохастический нейрон, описанный выражением (1.15), принимает детерминированную форму (без включения шума) нейрона Мак-Каллока — Питца.

1.4. Представление нейронных сетей с помощью ориентированных графов 49 1.4. Представление нейронных сетей с помощью ориентированных графов Блочные диаграммы (Ыоск 6!алтаю), представленные на рис. 1.5 и 1.7, обеспечивают функциональное описание различных элементов, из которых состоит модель искусственного нейрона. Внешний вид модели можно в значительной мере упростить, применив идею графов прохождения сигнала. Графы передачи сигнала (з(япа1-()ои') с наборами правил были введены Мейсоном (Мазоп) в 1953 году для описания линейных сетей [706), 1707). Поэтому наличие нелинейности в модели нейрона ограничивает область применения этой парадигмы в нейронных сетях.

Тем не менее графы прохождения сигнала дают хорошее представление о передаче сигнала по нейронным сетям. Именно этот вопрос и будет рассматриваться в данном разделе. Граф передачи (или прохождения) сигнала (з|япа1-йотч ягарЬ) — это сеть направленных связей (!шкз) (или ветвей (ЬгапсЬез)), соединяющих отдельные точки (узлы). С каждым узлом 7' связан сигнал х,. Обычная направленная связь начинается в некотором узле 7' и заканчивается в другом узле к'.