IskusstvennyeNeironnyeSeti.TeoriyaIPraktika (В. В. Круглов, В. В. Борисов - Искуственные нейронные сети), страница 14

где К, - выход /-го нейрона Кохонена, yt-j-v\ компонент требуемого выходного вектора Первоначально rj равен 0,1 и уменьшается в процессе обучения

Отличие нейронной сети встречного распространения от других заключается также в особенностях функционирования В соответствии с приведенной на рис 2 7 структурой на вход сети подаются нормализованные единичные векторы x и У, а на выходе формируются их нормализованные аппроксимации x' и У

При обучении векторы x и У подаются одновременно и как входные, и как требуемые выходные При этом вектор x является входным для вектора x', а вектор У- для вектора У В результате

62

такого обучения получается однозначное отображение векторов x и Уна их копии

После обучения в нейронной сети встречного распространения реализуется свойство ассоциативной памяти, заключающееся в том, что предъявление на вход только вектора x (или У) при отсутствии другого приводит к порождению на выходе как вектора x' так и Г

2.4. Оптимизирующие нейронные сети

2.4.1. Нейронные сети Хопфилда

Нейронная сеть Хопфилда реализует существенное свойство автоассоциативной памяти - восстановление по искаженному (зашумленному) образу ближайшего к нему эталонного В этом случае входной вектор используется как начальное состояние сети, и далее сеть эволюционирует согласно своей динамике Причем любой пример, находящийся в области притяжения хранимого образца, может быть использован как указатель для его восстановления Выходной (восстановленный) образец устанавливается, когда сеть достигает равновесия

Структура сети Хопфилда приведена на рис 2 8 Она состоит из одного слоя нейронов, число которых определяет число входов и выходов сети Выход каждого нейрона соединен с входами всех остальных нейронов Подача входных векторов осуществляется через отдельные входы нейронов

Сети Хопфилда отличаются от ранее рассмотренных типов нейронных сетей следующими существенными признаками

• наличие обратных связей, идущих с выходов сетей на их входы по принципу «со всех на все»,

• расчет весовых коэффициентов нейронов проводится на основе исходной информации лишь перед началом функционирования сети, и все обучение сети сводится именно к этому расчету без обучающих итераций,

• при предъявлении входного вектора, сеть «сходится» к одному из запомненных в сети эталонов, представляющих множество равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети

Проблема устойчивости сети Хопфилда была решена после того, как Кохеном и Гроссбергом была доказана теорема, определяющая достаточное условие устойчивости сетей с обратными связями, а именно, сеть с обратными связями является устойчи-

63

Рис. 2.8 Структура нейронной сети Хопфилда

вой, если матрица ее весов симметрична (и/,у = w,,) и имеет нули на главной диагонали (w„ = 0).

Динамическое изменение состояний сети может быть выполнено, по крайней мере, двумя способами: синхронно и асинхронно. В первом случае все элементы модифицируются одновременно на каждом временном шаге, во втором - в каждый момент времени выбирается и подвергается обработке один элемент. Этот элемент может выбираться случайно.

Рассмотрим синхронную бинарную сеть Хопфилда, представляющую собой пример сети с дискретными состояниями и дискретным временем, и сформулируем решаемую ею задачу следующим образом.

В качестве нейронов сети рассмотрим нейроны с пороговой функцией активации, выходы которых принимают значение либо «0», либо «1» при превышении взвешенной суммой значений входов некоторого порогового уровня.

Предварительно в сети матрицей весовых коэффициентов задан набор эталонов. Каждый эталон при этом является точкой из конечного множества равновесных точек, характеризующих минимум энергии сети (функции Ляпунова):

64

1 л л л л

? = -r-z2>fy,yy-zx/y;+z0yyy.

^ 1=1У=1 у=1 У=1

где Е - искусственная энергия сети; щ - вес от выхода /'-го ко входу у-го нейрона; ху, уу - вход и выход у-го нейрона; Ц - порог у-го нейрона.

Главное свойство энергетической функции состоит в том, что в процессе эволюции состояний нейронной сети согласно уравнению она уменьшается и достигает локального минимума (аттрактора), в котором сохраняет постоянную энергию. Это позволяет решать задачи комбинаторной оптимизации, если они могут быть сформулированы как задачи минимизации энергии.

Обозначим вектор, описывающий /с-й эталон, через У* = {х*}, к - 1... К, К- число эталонов.

На вход сети подается произвольный вектор Х= {х,}.

В результате серии итераций сеть должна выделить эталон, соответствующий входному вектору, или дать заключение о том, что входные данные не соответствуют ни одному из эталонов.

После отдельной итерации общее изменение энергии сети, вызванное изменением состояний всех нейронов, составит:

л ЛЕ = -Х

7=1

kwijyj + xj-ej

Ду,

где Ду,- изменение выходау'-го нейрона после итерации.

Анализ этого выражения показывает, что любое изменение состояния нейронов либо уменьшит значение Е, либо оставит его без изменения. Второй случай указывает на достижение сетью устойчивого состояния и выделение ею эталона, наилучшим образом сочетающимся с входным вектором.

При распознании входного вектора (частично представленного или искаженного) выходы сети будут содержать соответствующий эталон, т. е. У = Хк, где У = {у,} - выходной вектор. В противном случае, выходной вектор не совпадет ни с одним эталоном.

Для безошибочной работы сети Хопфилда число запоминаемых эталонов n не должно превышать 0,15л.

Кроме того, в случае высокой степени корреляции нескольких эталонов возможно возникновение перекрестных ассоциаций при их предъявлении на входах сети. Требование достаточного (но не необходимого) условия слабой коррелируемости образов можно представить как выполнение следующего неравенства:

i |(х*,ху)|<л, У=1...л, или в виде более сильного условия:

65

|(х\х7)|<-^-, к= 1...n, k*j.

Нейронные сети Хопфилда с непрерывными состояниями отличается от вышерассмотренной сети непрерывной активацион-ной функцией нейронов, в качестве которой наиболее часто выбирают сигмоидальную или логистическую функцию. Концептуально вопросы организации и функционирования этих сетей схожи

Недостатком классического варианта сетей Хопфилда является их тенденция к стабилизации в локальных, а не глобальных минимумах сети. Предложены статистические сети Хопфилда в которых этот недостаток преодолевается за счет задания статистических, а не детерминистских правил изменения состояний нейронов.

Для этого для каждого /-го нейрона вводится вероятность изменения его состояния pt как функция от величины, на которую выход нейрона s7 превышает его порог Ц (для бинарной сети Хопфилда):

1

Л Ф )

где aej = sj- Ц, ф - параметр, изменяемый в процессе стабилизации сети.

Тогда после начального задания весовых коэффициентов нейронов процедура поиска минимума энергии сети для установленного входного вектора выглядит следующим образом.

ШАГ 1 Задать большое значение параметра ф.

ШАГ 2 Установить на выходе у'-го нейрона значение «1» с вероятностью pj и значение «О» с вероятностью 1-/?у.

ШАГ 3. Постепенно уменьшать значение параметра ф, пока не будет достигнуто равновесие.

2.4.2. Нейронные сети Хэмминга

В случае, если необходимо определить номер эталона, ближайший к предъявленному входному вектору, может быть использована сеть Хэмминга. Преимуществами этой сети по сравнению с сетью Хопфилда являются меньшие затраты на память и объем вычислений.

Нейронная сеть Хэмминга (рис. 2.9) состоит из входного, скрытого и выходного слоев нейронов. Скрытый и выходной слои содержат по К нейронов, где К - число эталонов. Нейроны скрыто-

66

Входной слой Скрытый слой Выходной слой

Рис 2 9. Структура нейронной сети Хэмминга

го слоя п синапсами соединены с выходами нейронов входного слоя сети. Выходы нейронов выходного слоя связаны со входами остальных нейронов этого слоя отрицательными обратными (инги-биторными) связями. Единственная положительная обратная связь подается с выхода для каждого нейрона выходного слоя на его же вход.

Сеть выбирает эталон с минимальным хэмминговым расстоянием от предъявленного входного вектора путем активизации только одного выхода сети (нейрона выходного слоя), соответствующего этому эталону.

Хэммингово расстояние представляет собой пример меры сходства или, вернее, различия, первоначально введенной для бинарных функций в диадном пространстве. Она применима для сравнения любых упорядоченных наборов, принимающих дискретные значения и, вероятно, является наилучшей из известных мер сходства между цифровыми кодами. Для бинарных последовательностей х = (хь ..., х„) и х' = (х'ч, ..., х'п) хэммингово расстояние можно определить: