Хайкин С. - Нейронные сети (778923), страница 170
Текст из файла (страница 170)
Нейродинамические модели Формализован поведение нелинейных динамических систем, можно приступать к обсуждению отдельных важных вопросов нейродинамики, что и будет сделано в этом и следующем разделах. Следует подчеркнуть, что не существует универсально согласованного определения того, что понимается под нейродинамикой. Вместо этого определим наиболее общие свойства нейродинамических систем, которые будем рассматривать в настоящей главе. В частности, ограничим рассмотрение теми нейродинамическими системами, которые имеют непрерывные переменные состояний и 860 Глава 14.
Нейродинамика уравнения движения которых имеют дифференциальные или разностные формы. Рас- сматриваемые системы обладают четырьмя общими характеристиками [826), [838). 1. Большое количество степеней свободы. Кора головного мозга человека представляет собой в высшей мере параллельную и распределенную систему, которая, по некоторым оценкам, содержит более 10 миллиардов нейронов, а каждый нейрон моделируется одной или несколькими переменными состояний.
Общепринято считать, что вычислительная мощность и отказоустойчивость такой нейродннамической системы обусловлена ее коллективной динамикой. Эта система характеризуется большим количеством связывающих констант, представленных силой (эффективностью) отдельных синаптических соединений. 2. Нелинейность.
Нейродинамическая система является нелинейной. Фактически нелинейность существенна при создании универсальных вычислительных машин. 3. Диссилативносгль. Нейродинамическая система является диссипативной (о1зярабяе). Таким образом, она характеризуется сходимостью с течением времени объема пространства состояний к некоторому множеству меньшей размерности.
4. Шум. Является существенной характеристикой нейродинамических систем. В реальном нейроне мембранный шум генерируется в синаптических соединениях [545). Наличие шума обусловливает использование вероятностного толкования деятельности нейрона, что выводит анализ нейродинамических систем на более высокий уровень сложности. Подробное изучение стохастической нейродинамики выходит за рамки настоящей книги, и в дальнейшем мы будем игнорировать влияние шума. Аддитивная модель Рассмотрим динамическую модель нейрона без учета шума, показанную на рис.
14.7, математические основы которой рассматривались в главе 13. В физических терминах синаптические веса и~з„ю,з, ...,и~,ч представляют собой емкости, а соответствующие входные сигналы х,(г), хз(1),..., хр~(1) — потенциалы, где Х вЂ” количество входов. Эти входы подаются на суммирующие соединения, которые характеризуются следующими свойствами. ° Низкое входное сопротивление. ° Единичный ток в цепи. ° Высокое выходное сопротивление. Таким образом, этн соединения играют роль узлов суммирования входных токов.
Общий ток, протекающий в направлении от входного узла нелинейного элемента (см. рис. 14.7), можно выразить следующей формулой: 14.5. Нейродинамические модели 861 Л нд«(! «>(!) «х(!) Нейронный «(!) выход ! Сннвп- тнчеехпе входы «х(й «(!) Рис. 14.7. Аддитианая модель нейрона (л,,х,(() + 1,, е=! сс««(1) дх!,(1) где первое слагаемое вызвано сопротивлением утечки (1еа)гаке гез(з(апсе) Вхэ а второе — емкостью утечки (!еа1(аяе сарасйапсе) (, Из закона Кирхгофа известно, что общий ток, протекающий в сторону любого узла электрической цепи, равен нулю.
Применив этот закон к входному узлу нелинейности на рис. 14.7, получим следующее; С ' + й = ,'т и;хе(1) + 1,. ((с, (х) оф) е=! (14.14) Емкостное слагаемое Сй((сх(г)/Ж в левой части формулы (14.14) является самым простым способом добавления в модель нейрона динамики (памяти). Для заданного индуцированного локального поля с,(е) можно определить выход нейрона 7 с где первое слагаемое (суммирование) отражает возбуждения хх((), хз((),..., хн(1), действующие на синаптические веса (емкости) (л«х, ш з,...,ю,)о соответственно; а второе слагаемое — это источник тока 1, представляющий внешнее смещение. Пусть т!«(х) — индуцированное локальное поле на входе нелинейной функции активации (р( ).
Тогда общий ток, вытекающий из входного узла нелинейного элемента, можно выразить следующим образом: 862 Глава 14. Нейродинамика помощью следующего нелинейного выражения: хэ(с) = ср(сз(с)). (14.15) сьС-модель, описываемую выражением (14.14), обычно называют аддитивиой (ас[- сй(!уе тоде!).
Эта терминология используется для отличия этой модели от мультипликативиой (или шуитирующей) модели, в которой щ с зависит от хс [391). Характерным признаком аддитивиой модели, описываемой выражением (14.14), является то, что сигнал хс(1), применяемый к нейрону у связанным нейроном с, является медленно изменяющейся функцией времени 1. Описанная модель составляет основу классической иейродииамики (с[аасйса! пепхосйпаппсв)4. Теперь рассмотрим рекурреитиую сеть, состоящую из )зс взаимосвязанных нейронов, каждый из которых имеет одну и ту же математическую модель, описываемую выражениями (14.14) и (14.15).
Тогда, игнорируя запаздывания, связанные с распростраиеиием сигнала между нейронами, можно определить динамику такой сети следующей системой дифференциальных уравнений первого порядка: С, = — э + ~ пгэ,хс(1) + 1э, у = 1,2,..., )зс. (14.16) с[77.(1) сэ(~) (й - Вэ Эта система имеет ту же математическую форму, что и уравнения состояний (14.1), и получается простой перестановкой слагаемых в равенстве (14.14). Здесь предполагается, что функция активации ср( ), определяющая отношение выхода х, (1) (2) " Интегральный яенрен Аядитивная модель (14.!4) не в шиной мере отражает сущность биологического нейрона, В частности, она игнорирует временную информацию, нцюдированную в потенциале действия (потенциалы действия кратко описаны в качественных терминах в главе 1). В [4761 описывается динамическая модель, которая учитывает потенциалы действия, при этом рассматривалась интегральная модель нейрона.
Работа такого нейрона описы- вается дифференциальным уравнением первого порядка: С вЂ” н(с) = — — (и(й — но) -~- с(с), 4 1 41 Я (1) где и(С) — внутренний потенциал нейрона; — емкость мембранного окружения нейрона; К вЂ” сопротивление утечки в мембране; з(С) — электрический ток, протекаюший в нейрон из другого нейрона; ио — потенциал, к которому приходит нейрон, когда С(С) исчезает.
Потенциал действия генерируется шждый раз, когда внутренний потенциал и(С) достигает значения порога. Потенциал действия рассматривается как дсльта-функция Дирака: д„(с) = 2 Ь(с — с„ „), где Сь „,и = 1, 2,... — моменты времени, в которые нейрон й "выстреливает" потенциал действия. Эти моменты времени определяются уравнением (1), Общий ток [ь (С), атекаюший в нейрон й, моделируется следующим обриом: 4 1 — сь(с) = --с,(с)+~ юьзд,(с), (3) где юь — синаптический вес, идуший от нейрона 1 к нейрону й, а функция дз (с) определяется по формуле (2).
Адцитивную модель в выражении (14. 14) можно рассматривать как частный случай модели (3). В частности, игольчатую природу д (С) можно игнорировать, заменив эту функцию ее же сверткой с некоторой глаасюй функцией. Такая замена вполне обоснована если в течение разумнопг интервала времени в связи с высокой связностью вклад в сумму в праной части выражения(3) велик, и все, что нас интересует — это краткосрочное поведение уровня выходного "выстрела" нейрона сс.
14.6. Нейродинамические модели 853 нейрона ) к его же индуцированному локальному полю ит(т), является непрерывной и, следовательно, дифференцируемой. Чаще всего в качестве функции активации используют логистическую функцию 1 тр(с,) = 7' = 1,2,...,Х. 1+ ехр( — о,) (14.17) Необходимым условием для существования алгоритмов, описываемых в разделах 14.6-14.11, является наличие в рекуррентных сетях, описываемых уравнениями (14.15) и (14.16), фиксированных точек (т.е. точечных апракторов). Связанная модель й~, (1) = — и,(1) + т то,,Е(с;(1)) + 1,, т' = 1, 2,..., Л, Ж (14.18) где учитывается уравнение (14.15). Структура аттрактора системы нелинейных диф- ференциальных уравнений первого порядка (14.18) является в сущности такой же, как и в тесно связанной модели, описываемой следующим образом (840): г(х,(1) г(1 = — хт(1) + Е ~> тс,;хЯ + К,, у = 1,2,...,Х, (14,19) В аддитивной модели (14.18) индуцированные локальные поля ид(1), сз(г),..., и,ч(т) отдельных нейронов образуют вектор состояний.
С другой стороны, в связанной модели (14.19) вектор состояний образуют выходы нейронов х, (1), хз(1),..., х,ч(1). Эти две нейродинамические модели связаны друг с другом линейным обратимым преобразованием. В частности, умножив обе стороны уравнения (14.19) на тоь,з выполнив суммирование по т' и подставив преобразование Для упрощения выкладок предположим, что константа времени тт = тт С, нейрона 7' в (14.16) является одинаковой для всех 7'. Тогда, нормируя время 1 по отношению к общему значению этой константы и нормируя и~,, и 1, по отношению к В„модель (14.16) можно переписать в виде 864 Глава 14. Нейродиивмика получим модель, описываемую выражением (14.18), и, таким образом, установим, что слагаемые смещения в этих двух моделях связаны соотношением 1ь — — ~~~ вь К,.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
