Хайкин С. - Нейронные сети (778923), страница 173

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 173)

Удовлетворяющий ему вектор состояния у называют устойчивым состоянием (з[аЫе бга[е), или фиксированной точкой (йхег[ ро[п[) пространства состояний системы. Таким образом, можно сформулировать утверждение о том, что сеть Хопфилда всегда сходится к некоторому устойчивому состоянию, если операция извлечения информации выполняется асинхронно . з Модель Литтла [6601, [6621 использует те же синалтические веса, что и модель Хопфилда.

Однако их отличие состоит в том, что модель Хопфилда использует асинхронную динамику, в та время как модель Литтла— синхронную. В результате зти модели показывают различные характеристики сходнмости [1621, [3671; сеть Хопфилда всетла сходится к устойчивому состоянию, а модель Литтла — либо к устойчивому состоянию, либо к предельному циклу длины не больше двух [зто значит, что зти циклы в пространстве состояний сети имеют длину меньшую или равную двум). 2. Фаза извлечениЯ.

Во вРемЯ фазы извлечениЯ п-меРный вектоР ~проб называемый зондом (ргоЬе), подается сети Хопфилда в качестве ее начального состояния. Элементы этого вектора имеют значения ~1. Этот вектор обычно представляет собой неполную или зашумленную версию фундаментальной памяти сети. После этого извлечение информации проходит в соответствии с некоторым динамическим правилом, в котором все нейроны 7' сети случайно, но на некотором фиксированном уровне, проверяют ицдуцированное локальное поле оз (включающее в себя некоторое внешнее смещение Ь,), примененное к ним.

Если в некоторый момент времени оз окажетсЯ больше нУлЯ, то нейРон 7' бУдет пеРеведеи в состокние -ь1 (если он Уже не находится в этом состоянии). Аналогично, если в некоторый момент времени и окажется меньше нуля, то нейрон переключится в состояние — 1 (если он уже не находится в этом состоянии). Если же оу будет равно нулю, нейрон 7' останется в своем текущем состоянии, независимо от того, включенное оно или отключенное. Таким образом, коррекция состояний на каждом шаге будет детерминированной, однако при этом выбор нейрона для осуществления коррекции будет производиться случайным образом. Описанная здесь асинхронная (последовательная) процедура коррекции продолжает выполняться до тех пор, пока изменения не перестанут происходить.

Это значит, что, начиная с произвольного пробного вектора х, сеть в конце концов создаст инвариантный во времени вектор состояний у, отдельные элементы которого будут удовлетворять условию устойчивости: 888 Глава 14. Нейродинамика ТАБЛИЦА 14.2. Модель Хопфилда 1. Обучение. Пусть ~г, гьа, ..., гам — известное множество Аг-мерных ячеек фундаментальной памяти. Используя правило векторного произведения (т.е. постулат обучения Хебба), вычислим синаптические веса сети: 4 М ф 2 Р»,~» о ) ф г', гпгг = »=г О, ) =г, где ш,; — синаптический вес, направленный от нейрона 1 к нейрону у. Элементы вектора га» равны ~1.

После того как веса вычислены, они сохраняются в этих фиксированных значениях 2. Инициализация. Пусть гьпроб — неизвестный М-мерный входной вектор, представленный сети. Алгоритм инициализируется следующими значениями: х, (0) = ~, „,,,) = 1, г,..., Аг, где х,(0) — состояние нейрона т' в момент времени п = 0; с, п б — т-й элемент вектоРа испытаний Рпроб 3. Итерации до полной сходимости. Выполним корректировку элементов вектора состояний х(п) в асинхронном режиме (т.е.

случайно и по одному элементу за итерацию) в соответствии с правилом х,(п + 1) = вяп ~~г ш„х,(п) , у' = 1,2,..., Аг. г=г Повторяем итерации до тех пор, пока вектор состояний х не перестанет изменяться 4. Формирование выхода. Пусть хфн„— фиксированная точка (устойчивое состояние), вычисленная в результате завершения шага 3.

Тогда результирующий выходной вектор будет следующим: У = *фикс. Шаг 1 является фазой запоминания, а шаги 2-4 — фазой извлечения В табл. 14.2 подытожены действия, составляющие фазы сохранения и извлечения в работе сети Хопфилда. Пример 14.2 Длв тото чтобы проиллюстрировать змерджентиое поведение модели Хопфилда, рассмотрим сеть, состоящую из трех нейронов (рис. 14.14, а). Эта сеть имеет следующую матрицу весов: 0 — 2+2 — 2 0-2 +2 — 2 0 14.7. Модель Хопфилде 669 Данная матрица является допустимой, так как она удовлетворяет условиям (!4.42) и (14А4). Предполагается, что внешнее смешение, применяемое ко всем нейронам, равно нулю. Учитывал, что в нашей сети имеются три нейрона, следует рассмотреть 2 = 8 возможных состояний.

Из этих восьми состояний толью два ((1, — 1, 1) и ( — 1, 1, — 1)) являются устойчивыми; все оставшиеся шесть состояний неустойчивы. Речь идет об устойчивости именно этих двух состояний по причине того, что они удовлетворяют условию выравнивания (!4.46).

Для вектора состояний (1, -1, 1) имеем: 3 Π— 2+2 — 2 Π— 2 -Ь2 — 2 О Жестко ограничив этот результат, получим Б1 вкл !'!Уу] = Аналогично, для вектора состояний ( — 1, 1, — 1 ) имеем О -2+2 — 2 Π— 2 +2 — 2 О +1 — 1 Жестко ограничив этот результат, получим Б1 вкп (%У) = Π— 2+2 1 — -2 Π— 2 3 +2 — 2 О ото~ 2 :1 которая проверяется синаптическнми весами, показанными на рис.

14.14, а. Способность к коррекции ошибок этой сетью Хапфилда можно ясно увцдеть на карте потоков парис. !4.!4, б. 1. Если вектор испытания Рп б равен (1,1,1), ( — 1,— 1,1) или (1,— 1,— 1), результирующим выходом будет фундаментальная память (1, — 1, 1). Каждый из этих пробных векторов, по сравнению с сохраненным образом, содержит по одной ошибке. Таким образом, оба вектора состояний удовлетворшот условию выравнивания. Более того, следуя процедуре асинхронной коррекции (см. табл. 14.2), получим поток, показанный на рис.

!4.14, б. Эта карта погонов демонстрирует симметрию по отношению к двум устойчивым состояниям сети, что интуитивно понятно. Симметрия является результатом того, что при нулевом индуцированном локальном поле нейрон остается в своем текущем состоянии. На рис. 14.14, б также показано, что если сеть, показанная на рис. 14.14, л, находится в начальном состоянии (1, 1, 1), ( — 1, — 1, 1) или (1, — 1, — 1), то она будет сходиться к устойчивому состоянию (1, — 1,1) за одну итерацию. Если же начальным состоянием будет ( — 1, — 1, — 1), ( — 1,1, 1) или (1,1, -1), она будет сходиться к устойчивому состоянию (-1,1, -1).

Таким образом, эта сеть содержит две ячейки фундаментальной памяти — (1, -1,1) и ( — 1, 1, — 1), — представляющие два устойчивых состояния. Применяя вырюкение (14АЗ), получим следующую матрицу сннаптических весов: 870 Глава 14. Нейродинамика а) гз Усюйчнв состояни ! — !,!,— и Рис. 14.14.

Структурный граф сети Хопфнлда, состоящей нз !у = з нейронов (а); диаграмма, иллюстрирующая два устойчивых состояния н патоки этой сети (б) и,— 3,— и б) 2. Если вектор спроб равен ( — 1, — 1, -1), (-1,1,1) или (1,1, — 1), результирующим выходом будет фундаментальная память ( — 1, 1, — 1). Каждый из этих пробных векторов, по сравнению с сохраненным образом, содержит по одной ошибке. Ложные состояния Матрица весов % дискретной сети Хопфилда является симметричной (см. выражение (14.44)). Поэтому собственные значения этой матрицы будут действительными 14.7.

Модель Хопфипда 871 числами. Однако при больших М собственные значения будут вырождаться (оейепега!е), Это значит, что будут сушествовать собственные векторы, имеющие одно и то же собственное значение. Собственные векторы, ассоциированные с вырожденными собственными значениями, формируют некоторое подпространство. Более того, если матрица весов Ж имеет вырожденное собственное значение, равное нулю, такое подпространство называют нулевым пространством (пп!1 зрасе). Нулевое пространство существует исходя из того факта, что количество ячеек фундаментальной памяти М меньше количества нейронов А! сети, Наличие нулевого пространства является встроенной характеристикой сети Хопфилда. Анализ собственных чисел (е!яепапа!уз!з) матрицы весов Ж приводит к следующей точке зрения на сеть Хопфилда, используемой в качестве ассоциативной памяти !10].

1. Дискретная сеть Хопфилда выступает в качестве векторного проектора (чес!ог рго]есгог) — она проектирует пробный вектор в подпространство М, натянутое иа векторы фундаментальной памяти. 2. Рассматриваемая динамика сети направляет результируюший вектор проекции к одному из углов единичного гиперкуба, в котором функция энергии минимальна. Единичный куб имеет Х измерений.

М векторов фундаментальной памяти, на которые натянуто подпространство М, образуют множество фиксированных точек (устойчивых состояний), находящихся в некоторых углах единичного гиперкуба. Остальные углы единичного гиперкуба, лежащего в подпространстве М, являются потенциальными местоположениями ложных (зрппопз) состояний, также называемых ложными аттракторами (зршюпя апгас1ог) (42].

Характеристики

Список файлов книги