Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение, страница 5

Данное обстоятельство существенно затрудняет процесс обучения персептрон а и требует использования специальных процедур. Всплеск исследований, связанных с элементарными персептронами пришелся на 60-е годы. В дальнейшем эти работы практически прекратились после публикации монографии М. Минского и С. Пейперта [б9~, которые показали весьма ограниченные возможности элементарного персептрона при решении задач классификации или реализации логических функций (проблема «исключающего ИЛИ» [141).

в) Рис.2.3 — Архитектуры нейронных сетей Наиболее ярким представителем ИНС с прямой передачей информации являются многослойные персептроны. В общем случае каждый нейрон данного слоя однонаправленно связан со всеми нейронами последующего слоя. Эти связи организованы через синаптические веса, которые действуют как усилители в соответствующих каналах. Например, в трехслойном персептроне, схема которого приведена на рис. 2.4а (сигналы смещения О,.

для простоты изображения опущены), нейроны сгруппированы в последовательные слои: нулевой, первый, второй и третий. Нейроны нулевого слоя, иногда называемого входным, не производят никаких вычислений, а служат лишь для передачи вектора входных сигналов х=(х,,х„...,х„)' на нейроны слоя, называемого первым скрытым слоем. Сигналы с первого слоя поступают на второй скрытый слой и далее на третий. Последний третий слой является выходным и в нем формируется вектор выходных сигналов у ИНС в целом. Теоретически количество слоев может быть произвольно большим, однако рядом авторов было доказано [58, 60, 61, 701, что для решения сколь угодно сложных задач аппроксимации и распознавания образов достаточно лишь трех слоев, т.е. трехслойный персептрон является универсальным аппроксиматором.

Заметим, что в многослойных персептронах связи между нейронами внутри слоя или от высшего к низшему слою запрещены, при этом количество нейронов, а соответственно и синаптических весов в каждом слое различно. Каждый нейрон (а это, как правило, элементарный персептрон Розенблатта) имеет один выход и множество входов, которые в свою очередь являются выходами всех нейронов предыдущего слоя.

Обозначив внутренний сигнал 1'-го нейрона ь-го слоя, содержащего и, нейронов, как и" (к=1,2,3;1=1,2,...,л,), несложно представить его в виде взвешенной суммы выходов предыдущего слоя 32 2 ПЕРСЕПТРОНЫ П л ! (2.2) где ~',," .- синаптические веса, связывающие каждый нейрон .~--го слоя со всеми нейронами предыдущего слоя так, что о," л = х,",о,'~' = х,,оп' = у, Тогда выход каждого нейрона есть нелинейное преобразование вида О „и „и1„~и) и~т~ с ~ ~'-и) (2.3) г' — 0 где для сокращения записи величена смещения 0~.' обозначается как синаптический вес ь~.;~ = 0~.', а о~,' " — = 1.

Используя векторно-матричную форму, можно записать преобразование, осуществляемое каждым слоем, в компактном виде ! и фп~ (11Гп~ и) ) фи~ (1)Г~и и и ) (2.4) где о"' = (о„", о,",о,",...,о„")' — ((л, +1) х 1) — выходной вектор сигналов; .т" =(.тп',х,"',...,.т„"' )' =0' л -Ил,, +1)х1)- входной вектор; П И~" — Яп, + 1) х (в,, +!)) — матрица синаптических весов; Ф" (е) - диагональный нелинейный оператор, образованный активационными функциями всех нейронов у~.'. С учетом введенных обозначений уравнение трехслойного персептрона принимает вид = Ч/1 ) = Ч/'3)ж'лЧ [2~(И1~2!ЧУ'цж~л ))) (2.5) а сама ИНС может быть представлена в компактной форме, приведенной на рис.

2.4 б. На сегодня многослойный пер септрон, пожалуй, наиболее распространенная нейросеть, нашедшая применение во многих областях. Однако для того, чтобы обеспечить требуемое поведение ИНС в процессе преобразования входных сигналов в выходные, необходимо соответствующим образом организовать процедуру обучения.

Процессы обучения искусственных нейронных сетей подробно будут рассмотрены в последующих разделах. Ч"]' = Жал ~у~]~] ) ~]з] ~ ]з] ) ]Р]з] ~,~ сз] ) (, ]]] ) ]з] о, = у, х, о] ' = у, х, х„ а) ]з] о] ]з] „]л ]з] о" =у утШ ]Р]з] ц~] з] б) Рис. 2.4 — Трехслойный персептрон Нулевой слой— и = и нейронов Первый скрытый слой - из нейронов Второй скрытый слой - и, нейронов Выходной слой— из = из нейронов ]3] >в - "э 3 РАДИАЛЬНО-БАЗИСНЫЕ НЕЙРОННЫЕ СЕТИ 3 РАДИАЛЬНО-БАЗИСНЫЕ НЕЙРОННЫЕ СЕТИ В нервных системах биологических организмов существуют нейроны, чей выходной сигнал «локален» или «настроен» на некоторую узкую ограниченную область входного пространства 161.

Сеть, построенная на искусственных нейронах, обладающих выраженными локальными характеристиками, была предложена в 1988 г. [7Ц в качестве альтернативы многослойным персептронам и получила название радиально-базисной нейронной сети (Кайа1 Вая1з Рцпс11оп Хеига1 ХеМ~ог1~ — КВГХ). Основные идеи радиально-базисных нейронных сетей восходят к методу потенциальных функций Г721, оценкам Парзена Г73, 74~, ядерной 19~ и непараметрической 175— 791 регрессиям. Подобно многослойным структурам с прямой передачей информации эти сети также являются универсальными аппроксиматорами 180- 84~.

На рис. 3.1 приведена стандартная схема радиально-базисной сети с и- входами и т-выходами, осуществляющая нелинейное преобразование вида у,. = Г, (х) = и,. + ~ и,, ~~, (х), ~' = 1,2... и, (3.1) где д,. (х) — радиально-базисные функции, определяющие характер отображения из и -мерного пространства входов в т — мерное пространство выходов 1~>г 1~т 1 у Рис. 3.1 — Радиально-базисная нейронная сеть 35 Входной слой такой сети — это сенсоры, которые связывают ИНС с окружающей средой. Единственный скрытый слой, образованный нейронами Ф, осуществляет нелинейное преобразование входного пространства Я" в скрытое пространство Я", как правило, высокой размерности (Ь» п). И, наконец, выходной слой, образованный адаптивными линейными ассоциаторами, формирует отклик сети у=(у,,у„...,у )' на входной сигнал сети х=(х„х.„...,х„) .

Радиально-базисные сети реализуют идею, сформулированную Т. Кавером [851 и состоящую в том, что линейно неразделимая задача распознавания образов в пространстве А" может стать линейно разделимой в пространстве более высокой размерности Я'. Свойства такой сети полностью определяются радиально-базисными функциями Ф, используемыми в нейронах скрытого слоя и формирующими некоторый базис для входных векторов-образов х. Радиально-базисная функция гр(х) = Ф~)х — с)(,о) = Ф(г,а) (3.2) — это многомерная функция, зависящая от расстояния г = ~х — с ~ между входным вектором х и собственным центром с и параметра ширины (масштаба) о., определяющей локальную область входного пространства, на которую «реагирует» данная функция.

Таким образом, каждый нейрон скрытого слоя вычисляет расстояние между входным вектором и своим центром и осуществляет над ним некоторое нелинейное преобразование Ф(г,а) . Важно заметить, что в отличие от монотонных активационных функций многослойных сетей, радиально-базисные функции, как правило, симметричны и «накрывают» узкую область входного пространства. Достаточно часто радиально-базисные функции имеют колоколообразную форму и могут быть представлены в виде производных функций активации стандартных нейронов.

Наибольшее распространение получили гауссовские функции, имеющие пик в центре с и монотонно убывающие по мере удаления от центра. В связи с этим в теории и практике ИНС кроме схемы 3.1 достаточно широко распространено представление, приведенное на рис. 3.2, при этом без потери общности рассматривается структура с одним выходом, осуществляющая отображение А" — ~ Я'. В большинстве случаев, связанных с практическими приложениями, центры узлов с,. и параметры ширины о,.

фиксированы, а настраиваются только синаптические веса и,. При решении более сложных задач (распознавание образов, классификация и кластеризация и т.п.) во внимание принимаются все три множества параметров с, е Я", а',, и, я Я', ~' =0,1,2,...,6. Однако при этом следует учитывать, что число базисных функций экспоненциально растет с размерностью входного пространства в.

Таким образом, в радиально-базисных сетях на первый план выступает так называемое «проклятие размерности», ограничивающее эффективность этих ИНС в задачах с большим числом входных признаков. 3 РАДИАЛЬНО-БАЗИСНЫЕ НЕЙРОННЫЕ СЕТИ х, х2 у = Г(х) х„ Рис. 3.2 — Радиально-базисная сеть, реализующая 6 отображение у = Г(х) = и„+~~ !«,.«р,.(х) «=1 Кроме наиболее популярного гауссиана г2 г1!(х) = Ф«(1х — с(),сг) = Ф«(«,«т) = ехр( — — „), о (З.З) ! 2( "«т) ( «'~ ) (3.4) )! обратная мультиквадратичная Фз(~ о) (! +~ ) (3.5) )~ сплайновая Ф (г,о') = — 1од— (3.6) а также в радиально-базисных сетях используются и иные функции 17, 9, 27, 42, 86-89~, например, ~ мультиквадратичная Ф,(г,а) = — 1од — а > О, (3.7) У Ф (г,ст) =ехр —— (3.8) 7( ' ) — ! 8(~ ~о) 1+ 2 Ф,(г,о) = — +а, — +а„ (3.1 1) (г'! Ф!!,(г,сг) = соя— (3.12) Г Ф!!(!,о) =1 — —, (7 гр(х) = Ф((х — с1,Е) = ехр( — (х — с) Е '(х — с)) = ехр( — ()х — с)(~, ), (3.14) где ковариационная матрица Х определяет форму, размер и ориентацию так называемого рецепторного поля радиально-базисной функции.