Хайкин С. - Нейронные сети (778923), страница 174
Текст из файла (страница 174)
Ложные состояния представляют те устойчивые состояния сети Хопфилда, которые отличаются от ячеек фундаментальной памяти этой сети. В конструкции сети Хопфилда, выступающей в качестве ассоциативной памяти, приходится сталкиваться с необходимостью удовлетворения двух противоречивых требований: необходимостью сохранения векторов фундаментальной памяти как фиксированных точек пространства состояний и желанием иметь как можно меньше ложных состояний. Емкость сети Хопфилда К сожалению, ячейки фундаментальной памяти сети Хопфилда не всегда являются устойчивыми.
Более того, при этом могут появляться ложные состояния, являющиеся устойчивыми состояниями, отличными от ячеек фундаментальной памяти. Эти два явления понижают эффективность сети Хопфилда, выступающей в качестве ассоциативной памяти. В этом подразделе остановимся на первом из этих явлений. 872 Глава 14. Нейродинамика Применим пробный вектор, равный одной из ячеек фундаментальной памяти с„к нашей сети. Тогда, разрешив использование собственных обратных связей и предполагая нулевое внешнее смещение, с помощью выражения (14.41) можно определить индуцированное локальное поле нейрона з следующим образом: и и и и и пк —— ~~) ш Д„,.
= — ~~) Р„. у ~ Д„, =Г„+ — ~ ~», ~~ ~»,Р,„,. (14.47) з=з »=1 в=1 »=и»». Первое слагаемое в правой части (14.47) является зхм элементом ячейки фундаментальной памяти ~„; теперь ясно, для чего в определении синаптического веса ш, (14.41) был введен масштабирующий множитель 1Пк'. Таким образом, это слагаемое можно рассматривать как желаемый "сигнал" компонента о,.
Второе слагаемое в правой части (14.47) является результатом "переговоров" между элементами фундаментальной памяти с„, подвергакнцихся тестированию, и элементами других ячеек фундаментальной памяти Р». Это значит, что второе слагаемое можно рассматривать как "шумовой" компонент индуцированного локального поля г,. Следовательно, приходим к ситуации, аналогичной классической задаче "извлечения сигнала из шума" из теории связи [437). Предположим, что ячейки фундаментальной памяти являются случайными и генерируются как последовательность МлГ попыток Бернулли (Вегпои1й 1г)а1). Тогда слагаемое шума в выражении (14.47) состоит из суммы Х(М вЂ” 1) независимых случайных переменных, принимающих значения ~1/)к'. Это — ситуация, в которой применима центральная предельная теорема теории вероятностей. Эта теорема гласит следующее 12941.
Пусть (Хь) — последовательность взаимно независимых случайных переменных, имеющих общее распределение. Предположим, что Хь имеет среднее значение р и дисперсию пз и что У = Х, + Ха+... +Х„. Тогда при устремлении п к бесконечности случайная переменная суммы У достигнет гауссова распределения. Тогда, применяя центральную предельную теорему к слагаемому шума в (14.47), получим, что шум является асимптотически распределенным по Гауссу. Каждая из )к'(М вЂ” 1) случайных переменных, составляющих слагаемое шума в этом равенстве, имеет нулевое среднее значение и дисперсию, равную 1/)к'з.
Отсюда следует, что статистика полученного гауссова распределения будет следующей. ° Среднее значение будет равно нулю. ° Дисперсия будет равна (М вЂ” 1) /)т'. 14.7. Модель Холфилда 873 Компонент сигнала г,„, с равной вероятностью может принимать значения +1 и -1 и, следовательно, имеет нулевое среднее и единичную дисперсию. Исходя из этого, отношение снгнал/шум можно определить следующим образом: дисперсия сигнала 1 Ю Р— — = — для больших М. (14.48) дисперсия шума (М вЂ” 1)/!1/ М Компоненты фундаментальной памяти ~„будут устойчивыми тогда и только тогда, когда отношение сигнал/шум будет высоким.
Количество М ячеек фундаментальной памяти является прямой мерой емкости памяти (згогайе сарасйу) сети. Таким образом, из (14.48) следует, что, до тех пор, пока емкость памяти сети не будет превышена (т.е. количество М ячеек фундаментальной памяти будет оставаться малым по сравнению с количеством /1/ нейронов сети), фундаментальная память будет устойчивой в вероятностном смысле. Величина, обратная к отношению сигнал/шум, т.е.
М а= —, /1/ ' (14.49) называется параметром загрузки (! оад рагаше!ег). Соглашения статистической физики утверждают, что качество извлечения из памяти сети Хопфидда ухудшается при увеличении параметра загрузки а и преломляется (Ьгеа)сз дозчп) при критичном значении а. = О, 14 (42], (760].
Эта оценка критичного значения была получена в (480] в результате компьютерного моделирования, в котором одновременно могло извлекаться О, 15% состояний до появления ошибок. При а, = О, 14 из выражения (14.48) можно получить, что критичное значение отношения сигнал/шум приблизительно равно р, =7, или 8,45 дБ. Если соотношение сигнал/шум находится ниже этой критической отметки, восстановление данных из памяти становится невозможным. Критическое значение М, = а,/1/ = О, 14/1/ (14.50) определяет емкость памяти с ошибками (зщгайе сарасйу зч!Оз епогя) при вспоминании. Для определения емкости памяти без ошибок следует использовать более строгий критерий, определяемый в терминах вероятности ошибок, который будет описан ниже.
Пусть 7'-й бит испытания ~лроб = ф„будет символом 1 (те. ~„1 = 1). Тогда условная вероятность ошибки в бите при вспоминании (сопгййопа! ргоЬаЬй!!у оГ Ьй епог ол гесай) будет определяться областью, которая закрашена на рис. 14.15.
Оставшаяся часть области под кривой является условной вероятностью того, что бит з этого ис- 874 Глава 14. Нейродинамика Рис. 14дб. Условная вероятность ошибки в бите в предположении гауссова распределения индуцированного локальною поля зу нейрона у, (Нижний индекс ц в обозначении функции плотности вероятности Ь (к,) г~ обозначает случайную переменную, реалйзацией которой является з,.) пытания будет вспомнен корректно.
Используя хорошо известную формулу гауссова распределения, последняя условная вероятность будет равна Р(и, > О~~„, =+1) = / ехр ( — ' )до,. (14.5!) ту2ксг .(о (, 2о' ) Если г,„у = +1 и среднее значение слагаемого шума в (14.47) равно нулю, то среднее ц случайной переменной $' будет равно единице, а ее дисперсия пз = (М вЂ” 1)/М. Из определения функции ошибки, как правило, использующейся в вычислениях, связанных с гауссовыми распределениями, имеем: 2 Гз,т егТ(д) = — / е ' дз, Л с (14.52) где у — переменная, определяющая верхний предел интегрирования. Теперь можно упростить выражения для условной вероятности корректного вспоминания 7-го бита фундаментальной памяти ~„, переписав (14.51) в терминах функции ошибки: Р(иу > ОД„. = +1) = — 1 + егг (14.53) Рстзб.
(Р(оу > О~%,у +1)) (14.54) где р — отношение сигнал/шум, определяемое выражением (14.48). Каждая ячейка фундаментальной памяти состоит из и бит. Ячейки фундаментальной памяти так- же всегда равновероятны. Отсюда следует, что вероятность устойчивости образов определяется соотношением 14.7. Модель Хопфилда 676 !40 120 100 х 00 20 0 0 200 800 3000 Ример сети, 24 Рне. 14.16. Графики емкости памяти сети Хопфнлда по отношению к ее размеру для двух случаев: вспоминания с ошибками н вспоминания практически без ошибок Эту вероятность можно использовать для вывода выражения емкости сети Хопфилда.
В частности, емкость памяти с вспоминанием практически без ошибок (згогайе сарасйу а)пюзг ту!Йонг епогз) определяем как наибольшее количество ячеек фундаментальной памяти, которые могут сохраняться в сети при требовании, чтобы подавляющее большинство из них вспоминалось корректно. В задаче 14.8 показано, что из такого определения вытекает следующая формула: )у' 2 1и 1'тг ' (14.55) где 1п = 1оя, — натуральный логарифм. На рис. 14.16 показаны графики емкости памяти без ошибок, определяемой соотношением (! 4.50), и емкости памяти, практически не содержащей ошибок, определяемой выражением (14.55).
Оба графика построены относительно размера сети 1т'. На этом рисунке можно заметить следующее. 878 Глава 14. Нвйродмнамика ° Емкость нам!пи сети Хопфидла растет линейно по отношению к размеру сети Ю. ° Главное ограничение сети Хопфилда состоит в том, что для восстанавливаемости фундаментальной памяти ее емкость памяти должна поддерживаться на относительно низком уровнео. 14.8. Компьютерное моделирование 1 В этом разделе проведем компьютерное моделирование для иллюстрации поведения дискретной сети Хопфилда, выступаюшей в качестве ассоциативной памяти. В эксперименте будет использоваться сеть, состоящая из гт! = 120 нейронов и, следовательно, имеющая ]т[з — ]т[ = 12280 синаптических весов. Эта сеть обучалась для извлечения восьми цифроподобных черно-белых образов, приведенных на рис.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
