Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 13
Текст из файла (страница 13)
Невысокая емкость сетей (число запоминаемых образов) объясняется тем, что сети не просто запоминают образы, а позволяют проводить их обобщение, например, с помощью сети Хэмминга возможна классификация по критерию максимального правдоподобия. Вместе с тем, легкость построения программных и аппаратных моделей делают зти сети привлекательными для многих практических применений. В случае, если необходимо определить эталон, ближайший к предъявленному входному вектору (например, на основе хэммингова расстояния), часто возникают проблемы, связанные с различием длин или с ограничениями на длину последовательностей или количество компонентов в наборах.
Отметим один важный аспект проблемы сравнения векторов различной длины. Так, последовательность большей длины может представлять собой функцию в пространстве с числом измерений большим, чем число измерений другой функции на разницу числа параметров в длинах последовательностей. Это определяет возможность перехода к оценке не только количественного, но и качественного сходства векторов, к оперированию в терминах вероятности, нечетких оценок, отнесению вектора к какому-либо классу. Эти различия и ограничения сравнения векторов различной длины можно устранить различными способами, например, с помощью меры сходсгпеа Таномогпо. Авторами предложены модели оптимизирующих нейронных сетей, реализующие восстановление по искаженному (зашумленному) образу ближайший к нему эталонный, позволяющие снять ограничения на различия и ограничения длин сравниваемых векторов с сохранением высокой достоверности распознавания. 2.6. Двунаправленная ассоциативная память Как и сети Хопфилда и Хэмминга, двунаправленная ассоциативная'память (ДАП) или, иначе, нейронная сеть Коско (В.
Козхо), способна к обобщению, вырабатывая правильные реакции, несмотря на искаженные входы. Однако в отличие от этих типов нейронных сетей, ДАП решает задачи гетероассоциативной памяти, т. е. входной образ может быть ассоциирован с другим, не коррелирующим с ним образом. Реализуется зто вследствие того, что выходной вектор формируется на другом наборе нейронов, нежели соответствующий ему входной. На рис. 2.10 рассмотрена базовая структура двунаправленной ассоциативной памяти, состоящая из входного, скрытого и вы- 69 Входной слой Выходной слой Скрвкпый слой У1 У2 У» магпроца Игт матрица ИУ Рис 2ЛО Структура двунаправленной ассоциативной памяти 70 ходного слоев нейронов. Нейроны скрытого и выходного слоев выполняют функцию взвешенного суммирования входов с сигмоидальной (погистической) активационной функцией Р.
В упрощенном виде в качестве активационной выбирают пороговую функцию До начала функционирования нейронная сеть обучается с использованием набора пар векторов Х и У путем вычисления значений весовых коэффициентов УУ и ИУ', реапизующих отношения ассоциаций. При этом весовая матрица И( вычисляется как сумма произведений всех пар векторов )и' из обучающей выборки: и Иу = ЕХ, У,, гв 1...л). 1=1 При решении задачи восстановления запомненных ассоциа. ций вектор Х ипи его часть кратковременно устанавливается н» выходах нейронов скрытого слоя. Вектор Х обрабатывается мат. рицей весовых коэффициентов Иу нейронов выходного слоя.
Затеи вектор Х удаляется, и сеть вырабатывает ассоциированный вектор У на выходе нейронов выходного слоя, поступающий на входы нейронов входного слоя и обрабатывающийся транспонированной матрицей уУ весов нейронов скрытого слоя. У = Е(ХУУ), Х= Р(УУУ ). При этом в каждом цикле происходит уточнение выходного вектора. Процесс повторяется до достижения устойчивого состояния сети, при котором вектор Х и У не изменяются. Двунаправленная ассоциативная память функционирует в направлении минимизации энергии сети (функции Ляпунова) в соответствии со значениями весов.
Устойчивость двунаправленной ассоциативной памяти гарантируется транспонированием матрицы весовых коэффициентов. Проводя аналогию с биологическими системами, можно отметить, что значения весовых коэффициентов уу и ИГ образуют долговременную память, а состояние нейронов — кратковременную память. Весовые коэффициенты могут изменяться на более длительном интервале времени на основе представленных далее методов с целью вывода сети из локального и достижения глобального оптимума для первоначально установленного вектора Х.
Двунаправленная ассоциативная память сводится к сети Хопфилда, если матрица весовых коэффициентов уу является квадратной и симметричной, т. е. УУ= УУ. Двунаправленная ассоциативная память имеет ограничения на максимальное количество хранимых ассоциаций, при превышении которого сеть может выработать неверный выходной сигнал, воспроизводя ассоциации, которым не обучена. Для безошибочной работы бинарной ДАП число запоминаел мых векторов А) не должно превышать 2)оя и Известны оценки, в соответствии с которыми ДАП может и иметь до 2 стабильных состояний, если для каждого нейрона выбирается свое ненулевое пороговое значение О. Такая сеть, названная незомогенноа двунапраеленноб ассоцоагловной памягпью, является расширением гомогенной ДАП, в которой все пороги нулевые. В этом случае выход нейрона принимает следующий вид: у,((+1) = 1, если з()) > О„ у((+1) = 1, если з(() < О, у((+1) = у(Г), если з(Г) = О.
где у(г) — выход нейрона ) в момент времени (. 71 Однако выбор этих состояний определяется жесткой процедурой. Если выбрано И состояний случайным образом, причем 0,68 и А) < ', и если каждый вектор имеет (4 + )од,л) компонен(!о9з и+ 4) тов, равных «1», (остальные компоненты равны <О»), то можно сформировать негомогенную ДАП, хранящую 0,98л) этих векторов в качестве стабильных состояний. Разработано много разновидностей двунаправленной ассоциативной памяти, основными из которых являются: непрерывная ДАП (с сигмоидами в качестве функций активации нейронов), адаптивная ДАП (с изменением весов в процессе функционирования сети), конкурирующая ДАП (с конкуренцией нейронов внутри каждого слоя). Основными достоинствами двунаправленной ассоциативной памяти являются следующие: ° структурная простота сети, позволяющая реализовать ее в виде СБИС и УБИС; ° совместимость с аналоговыми схемами и оптическими системами; ° быстрая сходимость восстановления информации.
2.6. Сети адаптивной резонансной теории Феномен памяти человека исследован явно недостаточно. Среди классов памяти (генетической, врожденной и прижизненной), наибольший интерес для специалистов в области искусственных нейронных сетей представляет исследование прижизненной памяти, обеспечивающей возможность приспособления организма к окружающей среде путем накопления информации в процессе обучения, функционирования, самоорганизации.
Один из самых интересных вопросов заключается в следующем: каким образом память сохраняет пластичность, т. е. способность к восприятию новых образов, оставаясь при этом устойчивой к разрушению ранее запомненных образов. И что является стимулом для запоминания новой информации. Решение проблемы стабильности-пластичности для различных парадигм нейронных сетей решается по-разному.
Так, в случае фиксированного набора обучающих векторов они могут предьявляться циклически, нейтрализуя необратимый характер модификаций весов в результате обучения новому образу. Для сетей с обратным распространением при существенном изменении весов 72 зачастую требуется полное переобучение.
Кроме того, на практике сети может быть никогда не предьявлен один и тот же обучающий вектор дважды. Поэтому сеть будет непрерывно изменять веса, характеризуясь временной нестабильностью. Для решения задач векторной классификации Карпентером и Гроссбергом предложен класс нейронных сетей, реализующих модели адаптивной резонансной теорие (АРТ)(АЯТ-1, АЙТ вЂ” 2 и АВТМАР), сохраняющих пластичность для запоминания новых образов и, в то же время, предотвращающих изменение ранее запомненных образов.
Для иллюстрации основных положений адаптивной резонансной теории рассмотрим далее сеть АРТ (АКТ-1) для классификации двоичных векторов, заметив, что такая нейронная сеть может классифицировать также и непрерывные векторы (АКТ-2). На рис. 2.11 показана структура сети АРТ, состоящая из блока сравнения, блока распознавания, схемы определения сходства векторов, а также из двух вспомогательных схем ИЛИ 1 и ИЛИ 2. Нейроны слоя сравнения блока сравнения осуществляют функцию мажоритарного срабатывания по правилу «2 иэ 3» (выход нейрона равен единице только в том случае, если, как минимум, два из трех его входов равны единице).
В блоке распознавания осуществляется классификация входных векторов. Слой нейронов распознавания этого блока состоит из нейронов с весовыми векторами уК, = («ки), взаимодействующих по латерально-тормозящей схеме в каждый момент времени возбуждается только один нейрон с наибольшим уровнем активации. Это правило («победитель забирает все») реализуется за счет введения связей с отрицательными весами с выхода нейрона на входы остальных нейронов слоя. Для простоты на рисунке не показаны латерально-тормозящие связи. Кроме того, каждый нейрон имеет положительную обратную связь с выхода на собственный вход, усиливающую и поддерживающую единичный выходной уровень.
Число нейронов этого слоя соответствует числу запомненных образов К (категорий классификации). Схема определения сходства векторов определяет степень сходства между векторами Х и г. В случае если степень отличия в соответствии с выбранным критерием сходства превышает некоторый заданный порог, этой схемой вырабатывается сигнал сброса возбужденного нейрона в слое распознавания.
Рассмотрим основные этапы функционирования сети АРТ. Иноцоапаэацоя. До начала обучения случайным образом устанавливаются значения весовых векторов уК, нейронов слоя распознавания. Они должны удовлетворять следующему условию: ?3 нии Рис. 2 11. Структура нейронной сети, реализующей адаптивную резонансную теорию Н ига < зв 1...п, 1г= 1...К, Н вЂ” 1+и' где и — число компонентов входного вектора (число нейронов слоя сравнения); Р— число нейронов слоя распознавания; Н вЂ” константа со значением в диапазоне от 1 до 2.
Такая установка зтих весов гарантирует, что несвязанные нейроны не будут возбуждены более, нежели обученные нейроны в слое распознавания. Значения всех компонентов весовых векторов 1гк устанавливаются равными единице. Значение параметра сходства р устанавливается в диапазоне от 0 до 1 в зависимости от заданной степени сходства входного и запомненных образов. Обучение. Процесс обучения АРТ-сетей является обучением без учителя. Различают два вида обучения АРТ-сетей: медленное и быстрое. При медленном обучении входной вектор предъявляется на вход сети кратковременно, и весовые коэффициенты не достигают своих асимптотических значений в результате одного предъявления В этом случае значения весов определяются статистическими характеристиками всех входных векторов, а не характеристиками отдельного входного вектора. Динамика процесса медленного обучения описывается дифференциальными уравнениями.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
