Хайкин С. - Нейронные сети (778923), страница 23
Текст из файла (страница 23)
Ассоциативность считается основной характерной чертой человеческого мозга со времен Аристотеля, вследствие чего все модели познания в качестве одной из основных операций в той или иной форме используют ассоциативную память (46). Существуют два типа ассоциативной памяти: автоассое1иативная (апгоаззос)айоп) и гетероассоциативная (Ьегегоаззос1аг(оп). При решении задачи автоассоциативной памяти в нейронной сети заноминаготся передаваемые ей образы (векторы). Затем в эту сеть последовательно подаются неполные описания или зашумленные представления хранимых в памяти исходных образов, и ставится задача распознавания конкретного образа.
Гетероассоциативная память отличается от автоассоциативной тем, что произвольному набору входных образов ставится в соответствие другой произвольный набор выходных сигналов. Для настройки нейронных сетей, предна- 112 Глава 2. Процессы обучения Входной Выходной оодтог Рис. 2.9. Диаграмма "вход-выход" для сети ас- г социации образов значенных для решения задач автоассоциативной памяти, используется обучение без учителя, а в сетях гетероассоциативной памяти — обучение с учителем.
Пусть хд — ключевой образ (!геу рагГегп) (векгор), применяемый для решения задачи ассоциативной памяти, а уь — запомненный образ (гпешопгеб рапегп) (векгор). Отношение ассоциации образов, реализуемое такой сетью, можно описать следующим образом: хь — уд,)о = 1,2, (2.18) где г) — количество хранимых в сети образов. Ключевой образ хд выступает в роли стимула, юторый не толью определяет местоположение запомненного образа уы но и содержит ключ для его извлечения.
В автоассоциативной памяти уь =хм Это значит, что пространства входных и выходных данных сети должны иметь одинаковую размерность. В гетероассоциативной памяти уь ахи Это значит, что размерность пространства выходных векторов может отличаться от размерности пространства входных (но может и совпадать с ней). В работе ассоциативной памяти можно выделить две фазы. ° Фаза заноминанин (могайе рЬазе), юторая соответствует процессу обучения сети в соответствии с формулой (2.18). ° Фаза восстановления (теса!! рЬазе), соответствующая извлечению запомненного образа в ответ на представление в сеть зашумленной или искаженной версии ключа.
Пусть стимул (входной сигнал) х представляет собой зашумленную или искаженную версию ключевого образа х . Этот стимул вызывает отклик (выходной сигнал) у (рис. 2.9). В идеальном случае у = у,, где у, — запомненный образ, ассоциируемый с ключом х,. Если при х = х, выход сети у ф у,, то говорят, что ассоциативная память при восстановлении образа сделала оигибку (еггот. Количество г) образов, хранимых в ассоциативной памяти, является непосредственной мерой емкости иамягни (зтогайе сарасйу) сети.
При построении ассоциативной памяти желательно максимально увеличить ее емкость (информационная емкость ассоциативной памяти измеряется в процентах от общего юличества нейронов М, использованных для создания сети) и убедиться, что большая часть запомненных образов восстанавливается корректно. 2.10. Задачи обучения 113 Распознавание образов Человеческий мозг хорошо приспособлен для распознавания образов. Мы получаем данные из окружающего мира через сенсоры и способны распознать источник данных. Чаще всего это выполняется мгновенно и без всяких усилий.
Например, мы можем узнать знакомое лицо, даже если наш знакомый с момента последней встречи сильно постарел. Человек может узнать знакомый голос по телефону, несмотря на помехи в линии связи. Мы можем по запаху отличить свежее яйцо от тухлого. Человек распознает образы в результате процесса обучения. То же происходит и с нейронными сетями. Распознавание образов формально определяется как процесс, в котором получаемый образ(сигнал должен быть отнесен к одному из предопределенных классов (категорий). Чтобы нейронная сеть могла решать задачи распознавания образов, ее сначала необходимо обучить, подавая последовательность входных образов наряду с категориями, которым эти образы принадлежат.
После обучения сети на вход подается ранее не виденный образ, который принадлежит тому же набору категорий, что и множеспю образов, использованных при обучении. Благодаря информации, выделенной из данных обучения, сеть сможет отнести представленный образ к конкретному классу. Распознавание образов, выполняемое нейронной сетью, является по своей природе статистическим. При этом образы представляются отдельными точками в многомерном пространстве решений. Все пространство решений разделяется на отдельные области, каждая из которых ассоциируется с определенным классом. Границы этих областей как раз и формируются в процессе обучения. Построение этих границ выполняется статистически на основе дисперсии, присущей данным отдельных классов.
В целом машины распознавания образов, созданные на основе нейронных сетей, можно разделить на два типа. ° Система состоит из двух частей: сети извлечения признаков (йШге ехкасг!оп) (без учителя) и сети классификации (с!азябсабоп) (с учителем) (рис. 2.10, а). Такой метод соответствует традиционному подходу к статистическому распознаванию образов !269), [322]. В концептуальных терминах образ представляется как набор из т наблюдений, каждое из которых можно рассматривать как точку х в гп-мерном пространстве наблюдений (данных) (оЬзегеаг!оп (даШ) зрасе). Извлечение признаков описывается с помошью преобразования, которое переводит точку х в промежуточную точку у в д-мерном пространстве признаков, где д ( т (рис.
2.10, б). Это преобразование можно рассматривать как операцию снижения размерности (т.е. сжатие данных), упрощающую задачу классификации. Сама классификация описывается как преобразование, которое отображает промежуточную точку у в один из классов г-мерного пространства решений (где г — количество выделяемых классов). 114 Глава 2. Процессы обучения Вхолиой х а) б) ° Система проектируется как единая многослойная сеть прямого распространения, использующая один из алгоритмов обучения с учителем. При этом подходе задача извлечения признаков выполняется вычислительными узлами скрытого слоя сети. Какой из этих двух подходов применять на практике — зависит от конкретной предметной области.
Аппроксимация функций Третьей задачей обучения является аппроксимация функций. Рассмотрим нелинейное отображение типа "вход-выход", заданное следующим соотношением: 6 = Т(х), (2.19) где вектор х — вход, а вектор гз — выход. Векторная функция Т() считается неиз- вестной. Чтобы восполнить пробел в знаниях о функции Г( ), иам предоставляется множество маркированных примеров: (2.20) Пространстао наблюдения размерности и Пространспю признакоа размерности а Пространстао решений размерности г Рис.
2ЛО. Иллюстрация клас- сического подхода к распозна- ванию образов 2.10. Задачи обучения 116 Входной хе хг Рнс. 2.11. Блочная диаграмма решения задачи идентификации системы К структуре нейронной сети, аппроксимируюшей неизвестную функцию Г( ), предъявляется следуюшее требование: функция г(), описываюшая отображение входного сигнала в выходной, должна быть достаточно близка к функции Г( ) в смысле Евклидовой нормы на множестве всех входных векторов х, т.е.
~ ~р(х) — 1(х))! ( в для всех векторов х, (2.21) где  — некоторое малое положительное число. Если количество Х элементов обучающего множества достаточно велико и в сети имеется достаточное число свободных параметров, то ошибку аппроксимации а можно сделать достаточно малой. Описанная задача аппроксимации является отличным примером задачи для обучения с учителем. Здесь х; играет роль входного вектора, а д; — роль желаемого отклика. Исходя из этого, задачу обучения с учителем можно свести к задаче аппроксимации. Способность нейронной сети аппроксимировать неизвестное отображение входного пространства в выходное можно использовать для решения следующих задач. ° Идентификация сислгем (аузгеш Ыепг)йса6оп). Пусть формула (2.19) описывает соотношение между входом и выходом в неизвестной системе с несколькими входами и выходами (М1МО-системе) без памяти.
Термин "без памяти" подразумевает инвариантность системы во времени. Тогда множество маркированных примеров (2.20) можно использовать для обучения нейронной сети, представляющей модель этой системы. Пусть у; — выход нейронной сети, соответствующий входному вектору хь Разность между желаемым откликом йг и выходом сети у; составляет вектор сигнала ошибки е, (рис. 2.11), используемый для корректировки свободных параметров сети с целью минимизации среднеквадратической ошибки — суммы квадратов разностей между выходами неизвестной системы и нейронной сети в статистическом смысле (т.е.
вычисляемой на множестве всех примеров). 116 Глава 2. Процессы обучения Ошибка е, Входи Рне. 2.12. Блочная диаграмма моделирования инверсной системы ° Инверсные системы (1птегзе зузгеш). Предположим, что существует некая система М1МО без памяти, для которой преобразование входного пространства в выходное описывается соотношением (2.19). Требуется построить инверсную систему, которая в ответ на вектор т) генерирует отклик в виде вектора х.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
