Хайкин С. - Нейронные сети, страница 9

С ней связана некоторая передаточная функция (1гапзгег бзпсйоп), определяющая зависимость сигнала уь узла к от сигнала х узла ). Прохождение сигнала по различным частям графа подчиняется трем основным правилам. Правило 1. Направление прохождения сигнала вдоль каждой связи определяется направлением стрелки. При этом можно выделить два типа связей. ° Синоптические связи (зупарбс йпК). Их поведение определяется линейным (йпеаг) соотношением вход-выход.

А именно, как показано на рис. 1.9, а, сигнал узла х, умножается на синаптический вес тегм в результате чего получается сигнал узла ры ° Активационные связи (асбчабоп 1пй). Их поведение определяется нелинейным (поп!(пеаг) соотношением вход-выход. Этот вид связи показан на рис. 1.9, б, где у( ) — нелинейная функция активации. Правило 2. Сигнал узла равен алгебраической сумме сигналов, поступающих на его вход. На рис. 1.9, в это правило проиллюстрировано для случая синаптической сходимости (зупарбс сопчегяепсе). Правило 3. Сигнал данного узла передается по каждой исходящей связи без учета передаточных функций исходящих связей. Это правило проиллюстрировано на рис.

1.9, г для синаптической дивергенции (зупарбс 61чегяспсе) или расходимости. 50 Глава 1. Введение а) ер) ,=в*) 6) У, Ух =Уг~Уг г х Рис. 1.9. Основные правила построения графов передачи сигналов На рис. 1.10 показан пример графа передачи сигнала. Это модель нейрона, соответствующая блочной диаграмме, приведенной на рис.

1.7. По своему внешнему виду граф на рис. 1.10 значительно проще диаграммы на рис. 1.7, хотя и содержит все функциональные детали. Обратите внимание, что на обоих рисунках входной сигнал принимает значение хс — — +1, а соответствующий синаптический вес шш — — бю где Оь — порог нейрона Й. Принимая в качестве модели нейрона граф прохождения сигнала, показанный на рис. 1.10, можно сформулировать еще одно определение нейронной сети. Нейронная сеть — это ориентированный граф, состоящий из узлов, соединенных синоптическими и активационными связями, который характеризуется следующими четырьмя свойствами. 1, Каждый нейрон представляется множеством линейных синоптических связей, внешним порогом и, возможно, нелинейной связью активации.

Порог, представляемый входной синаптической связью, считается равным +1. 2. Синоптические связи нейрона используются для взвешивания соответствующих входньп сигналов. 3. Взвешенная сумма входных сигналов определяет индуцированное локальное поле каждого конкретного нейрона. 4. Активационные связи модифицируют индуцированное локальное поле нейрона, создавая выходной сигнал. 1.4. Представление нейронных сетей с помощью ориентированных графов 51 г =ч! ь Рис. 1.10. Граф передачи сигнала для одного нейрона Состояние нейрона может быть определено в терминах индуцированного локального поля или его выходного сигнала. Ориентированный граф, определенный указанным выше способом, является полным (сошр(еге).

Это значит, что он описывает не только прохождение сигнала между нейронами, но и передачу сигнала в самом нейроне. Если необходимо описать только прохождение сигнала между нейронами, то можно использовать сокращенную форму этого графа, опускающую детали передачи сигнала внутри нейронов. Такой ориентированный граф называется частично полным (рагба1(у сошр!е1е) и характеризуется следующими свойствами. 1.

Входные сигналы графа формируются узлами источника (зоогсе поде) или вход- ными элементами. 2. Каждый нейрон представляется одним узлом, который называется вычислитель- ным (сошрпгабоп поде). 3. Линии передачи сигнала (соппппшса1юп !!п(гз), соединяющие узлы-источники и вычислительные узлы графа, не имеют веса. Они просто определяют направление прохождения сигнала на графе. Частично полный ориентированный граф, определенный указанным выше способом, называется структурным (агсййесшга1 егерей. Он описывает структуру нейронной сети. Простейший случай графа, состоящего из одного нейрона с т входами и фиксированный порогом, равным +1, показан иа рис.

1.11. Обратите внимание, что на этом графе вычислительный узел обозначен заштрихованным кружком, а узлы источника — маленькими квадратиками. Это соглашение будет использоваться на протяжении всей книги. Более сложные примеры нейросетевой архитектуры приводятся в разделе !.б. Подводя итог сказанному, можно выделить три графических представления нейронных сетей. 52 Глава 1. Введение ха=+! х, Выходной сигнал Уг х„ Рис. 1.11. Структурный граф нейрона х (л) А х(л) Уа(л) В Рис. 1.12. Граф передачи сигнала в системе с одной обратной связью ° Блочная диаграмма, описывающая функции нейронной сети. ° Граф прохождения сигнала, обеспечивающий полное описание передачи сигнала по нейронной сети.

° Структурный граф, описывающий структуру нейронной сети. 1.5. Обратная связь уь(п) = А(х',(п)), х',(п) = х,(п) + В(у„(п)1 (!.1б) (1.17) где квадратные скобки обозначают операторы А и В. Понятие обратной связи (Теег(Ьас)с) характерно для динамических систем„в которых выходной сигнал некоторого элемента системы оказывает влияние на входной сигнала этого элемента. Таким образом, некоторые внешние сигналы усиливаются сигналами, циркулирующими внутри системы. На самом деле обратная связь присутствует в нервной системе практически любого животного (315]. Более того, она играет важную роль в изучении особого класса нейронных сетей, называемых рекуррентными (геспггеп( пе(окот)г).

На рис. 1.12 показан граф прохождения сигнала в системе с одной обратной связью (з)пя!е-1оор ГеедЬас)г зуа(еш). В ней входной сигнал хз(п), внутренний сигнал х,'(п) и выходной сигнал у,(п) являются функциями дискретной переменной п. Предполагается, что эта система линейна и содержит прямую и обратную связи, которые характеризуются операторами А и В соответственно. В частности, выходной сигнал прямого канала частично определяет значение канала обратной связи. Из рис. 1.12 прослеживается следующая зависимость: 1.5.

Обратная связь 63 Исключая переменную х,'(п) в выражениях (1.1б) и (1.! 7), получим; А р„(п) = [х,(п)]. (1.18) 1 — АВ 1 — юг ' , = ю(1 — юг ') Используя биномиальное представление выражения (1 — юг ') ', оператор замкнутого контура можно записать в виде А 1 — АВ АВ (1.19) Подставляя выражение (1.19) в (1.18), получим: уь(п) = ю ~~~ ю г ~~[х,(п)]. ь=а (1.20) Здесь квадратные скобки снова обозначают тот факт, что г ' является оператором. Из определения этого оператора имеем г ~[х,(п)] = х,(п — !), (1.21) где х, (п — !) — это входной сигнал, задержанный на ! единиц дискретизации.

Следо- вательно, выходной сигнал рь(п) можно представить как бесконечную взвешенную сумму текущего и предыдущих значений входного сигнала х (п); уь(п) = ~~~ ю~~~'х,(п — !). ~=а (1.22) На рис. 1.14 ясно видно, что динамика реакции системы определяется весом ю. Здесь можно выделить два случая. Выражение А/(1 — АВ) называют оператором замкнутого контура (с!озед-!сор орега1ог) системы, а выражение А — онеритором разомкнутого контура (орел-1оор орега1ог). В общем случае оператор разомкнутого контура не обладает свойством коммутативности, т.е.

ВА ф АВ. Для примера рассмотрим систему с одной обратной связью, показанную на рис. 1.13. В ней предполагается, что оператор А — это фиксированный вес ю, а В является оператором единичной задержки (ппй-де!ау орега!ог) г ', который задерживает выходной сигнал по отношению к входному на один шаг дискретизации. Исходя из этого, оператор замкнутого контура можно представить следующим образом: 64 Глава 1. Введение х'(к) в х(к) гх(в) I Рис. 1.13. Граф прохождения сигнала для фильтра с бесконечной импульсной характеристикой ()(й-й)(ег — (пйп)!е-г)цга((оп кпрц(зе гевропзе й)(ег) первого порядка у„(к) вх(0) 0 2 3 4 а) гг(в) вх (0) 2 3 б) ) (к) вх (0) Рис.

1.14. Реакция системы, показанной на рис. 1.13, для трех различных значений веса вх устойчивая си- стема (а), случай линейной (б) и зкспоненциальной расходимости (в) 2 3 в) 1. )ю/ ( 1. В данном случае выходной сигнал рь(п) экспоненциально сходив!ел (сопчегяепг). Это значит, что системаустойчива (з(аЫе). Для положительного значения ю такая реакция показана на рис. 1.14, а.

2. (ю~ > 1. В данном случае выходной сигнал р;:,(и) расходится ((()вегяеп(). Это значит, что система неустойчива (ипз(аЫе). Если (ю~ = 1, расходимость является линейной (рис. 1.14, б); если (ю( > 1 — экспоненциальной (рис, 1.14, в). 1.6.

Архитектура сетей 55 Устойчивость — одна из основных характеристик, которой уделяется большое внимание при изучении систем с обратной связью. Случай ~сл~ < 1 соответствует системам с бесконечной памятью, в том смысле, что выход системы зависит от состояния системы в бесконечно далеком прошлом. Это влияние вьсрождается (сас!!пд), т.е. экспоненциально уменьшается с тече- нием времени.

Анализ динамики поведения нейронных сетей с обратной связью усложняется тем, что процессорные элементы сети обычно нели>сейньс (поп!спеаг). Такие нейронные сети будут рассматриваться в последней части данной книги. 1.6. Архитектура сетей Структура нейронных сетей тесно связана с используемыми алгоритмами обучения.

Классификация алгоритмов обучения будет приведена в следующей главе, а вопросы их построения будут изучены в последующих главах. В данном разделе мы сосредоточим внимание на архитектурах сетей (структурах). В общем случае можно выделить три фундаментальных класса нейросетевых архитектур. Однослойные сети прямого распространения В многослойной нейронной сети нейроны располагаются по слоям. В простейшем случае в такой сети существует входной слой (!прп! !ауег) узлов источника, информация от которою передается на выходной слой (опгрп! !ауег) нейронов (вычислительные узлы), но не наоборот. Такая сеть называется сетью прямого распространения (1седГогзвагд) или ассикличной сетью (асус!сс). На рис.

1.15 показана структура такой сети для случая четырех узлов в каждом из слоев (входном и выходном). Такая нейронная сеть называется однослойной (гйп51е-1ауег пепчог(г), при этом под единственным слоем подразумевается слой вычислительных элементов (нейронов). При подсчете числа слоев мы не принимаем во внимание узлы источника, так как они не выполняют никаких вычислений. Многослойные сети прямого распространения Другой класс нейронных сетей прямого распространения характеризуется наличием одного или нескольких скрытых слоев (ЫсЫеп!ауег), узлы которых называются скрытььии нейронами (ЬнЫеп пепгоп), или скрьстыми элементами (Ь!гЫеп пп!!). Функция последних заключается в посредничестве между внешним входным сигналом и выходом нейронной сети. Добавляя один или несколько скрытых слоев, мы можем выделить статистики высокого порядка.