Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение, страница 7

возбуждается только один выходной нейрон — «победитель». Наиболее яркими примерами сетей, использующих это правило, являются сети адаптивного резонанса (АКТ) и самоорганизующиеся карты (БОМ). Более подробно правила обучения, порождаемые ими алгоритмы и соответствующие им архитектуры нейросетей будут рассмотрены в последующих разделах. 4.2 Задачи обучения В настоящем подразделе рассмотрены некоторые прикладные инженерные задачи, решаемые нейросетями, обученными соответствующим образом. Естественно, что этот список далеко не полон и включает только проблемы, которые традиционно интересуют специалистов в области компьютерных наук, инженерии и управления.

4.2.1 Распознавание образов Наряду с обучением, распознавание является одной из основных функций биологического мозга. Получая данные из окружающего мира с помощью биологических сенсоров, мозг достаточно просто распознает источник данных и выделяет из него требуемую информацию. Так человек без особых проблем узнает знакомое лицо, хотя видел его давно и оно успело измениться, голос, искаженный телефонными помехами, город, в котором не был много лет. Это узнавание и есть результат обучения, причем в идеальном случае нейросеть должна узнавать предъявляемые ей образы не хуже, чем это делает живой организм.

Формально распознавание образов определяется как процесс, в результате 44 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ которого получаемый образ (сигнал) относится к одному из априори назначенных классов (категорий) ~33, 94-97). В процессе обучения нейросети предъявляются различные образы с известной классификацией (обучающая выборка), а в результате сеть должна распознать объект, который ранее не предъявлялся, но который принадлежит той же совокупности, что и обучающая выборка. Задача распознавания статистична по своей природе, при этом образы представляются случайными векторами в многомерном пространстве признаков, а результат обучения состоит в построении решающих гиперповерхностей, разделяющих «в среднем» пространство признаков на соответствующие классы.

Как правило, нейросетевые распознающие системы состоят из двух частей: первая — это самообучающаяся сеть, решающая задачу селекции и выделения признаков, а вторая — это сеть, настраиваемая с помощью внешнего обучающего сигнала, содержащего информацию о принадлежности образов обучающей выборки определенным классам. В принципе такая последовательность решения задачи характерна для большинства распознающих систем: сначала понижение размерности вектора признаков с помощью, например, традиционного преобразования Карунена-Лоэва, а затем собственно построение разделяющих гипер поверхностей.

Преимущество нейросетевого подхода перед другими методами распознавания образов состоит в том, что нейросети способны восстанавливать разделяющие гиперповерхности сколь угодно сложной формы, не опираясь на гипотезы о компактности или линейной разделимости классов. 4.2.2 Ассоциация и кластеризация Биологическим системам наряду с обучением и распознаванием присуща также способность к ассоциациям, т.е. восстановлению ~воспоминанию) ранее предъявленных образов по некоторым косвенным стимулам. Любому человеку знакомы случаи, когда какой-то случайный звук или запах вызывал в воображении сложные зрительные образы. В нейросетях ассоциации реализуются в двух формах: автоассоциация и гетероассоциация.

В случае автоассоциации сеть обрабатывает множество последовательно предъявляемых ей образов, причем эти образы могут быть зашумлены либо искажены. Выделяя и запоминая основные признаки предъявляемых образов, сеть приобретает способность восстанавливать (вспоминать) ранее показанные ей примеры. Гетероассоциация отличается тем, что произвольное множество входных образов связывается (ассоциируется) с произвольным множеством выходных примеров. Основное отличие между этими формами состоит в том, что автоассоциация реализуется на основе парадигмы самообучения, а гетероассоциация — обучения с учителем.

Пусть х(к) - входной образ-вектор (стимул), в общем случае произвольно взятый из обучающей выборки и предъявленный сети ассоциативной памяти, а у(й) — запомненный (выходной) образ-вектор. Ассоциация образов, 45 выполняемая сетью, описывается отношением х(/с) — > у(й), й =1,2,...,%, где Ж— число образов, запомненное ИНС. Входной образ х(й) действует как стимул, вызывающий отклик у(1), а в последствии служит ключом к восстановлению. В автоассоциативной памяти у(й) = х(й), т.е. входное и выходное пространство сети совпадают. В гетероассоциативной памяти у(й) ~ х(й), при этом размерности пространств, как правило, также не совпадают.

В работе ассоциативных нейросетей выделяют две фазы: накопления, которая соответствует периоду обучения, и восстановления, которая предполагает воспоминание запомненного образа после предъявления зашумленного или искаженного стимула. Число й образов, накопленных в ассоциативной памяти, является мерой емкости сети. При проектировании таких сетей основной проблемой является выбор и обеспечение максимальной емкости, выраженной как отношение числа запоминаемых примеров М к общему числу нейронов сети при минимальном числе некорректно восстанавливаемых образов.

К проблеме автоассоциации тесно примыкает задача кластеризации (автоматической классификации), когда сеть, анализируя обучающую выборку х(й), размещает «похожие» образы по группам-кластерам. Предъявляемый зашумленный образ, ранее не показанный сети, по ассоциации с уже запомненными должен быть отнесен к «родному кластеру». Сети, реализующие кластеризацию образов, используются обычно для сжатия данных и извлечения из них знаний. 4.2.3 Аппроксимация функций (4.1) д = 1(х), где д и х — (тх1) и (лх1) — векторы выходов и входов соответственно; 1'(е)— неизвестная вектор-функция, которую необходимо оценить с помощью заданной обучающей выборки (х(1), И(й)1, й = 1,2,..., М.

Задача обучения аппроксимирующей нейросети состоит в нахождении функции Г(х) в некотором смысле достаточно близкой к 1 (х) такой, что )(Г(х) — /'(х)(! < е для всех х(/с), /с = 1,2,..., У, (4.2) где Г(х) — отображение, реализуемое сетью; е — малое положительное число. Если объем выборки М достаточно велик, а сеть имеет достаточное число 4б С проблемой обучения тесно связана достаточно часто возникающая на практике задача аппроксимации функций, заданных на некотором множестве точек. Рассмотрим нелинейное отображение «вход-выход», описываемое функциональным соотношением 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ вх Рис.

4.4 — Схема системы идентификации Второе приложение — это обратное моделирование, используемое в некоторых адаптивных системах управления [98-10Ц и состоящее в том, что для объекта управления (4.1) требуется построить «обратную систему», которая генерирует вектор х(й) как отклик на входной сигнал И(й).

В общем виде обратная система имеет форму х= 1 ~(с1), (4.3) однако, поскольку функция 1' либо не известна, либо слишком сложна, разумным выходом представляется использование ИНС в качестве обратной модели так, как это показано на рис. 4.5. 47 настраиваемых синаптических весов, ошибка аппроксимации ь может быть сделана сколь угодно малой, хотя здесь есть опасность превращения сети из аппроксимирующей в интерполирующую, рассмотренную в третьем разделе.

Несложно видеть, что проблема аппроксимации в данном контексте полностью совпадает с задачей обучения с учителем, где последовательность х(1) играет роль входного сигнала ИНС, а И(й) — обучающего сигнала. Способность нейросетей аппроксимировать неизвестные отображения «вход-выход» находит два важнейших приложения в задачах интеллектуального управления [23, 28, 291. Первое из них — идентификация объектов управления [45, 46, 651, или эмуляция — в терминах нейроуправления [34~. Схема системы идентификации (эмуляции) приведена на рис. 4.4, при этом предполагается, что многомерный статический объект описывается соотношением (4.1), а нейронная сеть, включенная параллельно объекту, обучается в реальном времени, «подгоняя» свои выходные сигналы к выходам реального объекта.

еф) = х(Ус) — у(й)— ошибка обратного моделирования Рис. 4.5 — Схема обратного моделирования В этой схеме роли сигналов х®) и д(А) поменялись: вектор И1й) используется как вход сети, а х(й) — как желаемый отклик (обучающий сигнал). Подобно системе идентификации сигнал ошибки е(й) = х(й) — у(й) используется для обучения ИНС. 4.2.4 Управление и оптимизация Управление объектами в условиях структурной и параметрической неопределенности — еще одна задача, связанная с обучением нейросетей. На рис. 4.6 приведена схема управления с обратной связью, при этом предполагается, что в распоряжении проектировщика системы управления нет информации ни о структуре нелинейного объекта, ни тем более о его параметрах.

Рис. 4.6 — Система управления с обратной связью Целью управления является выработка управляющих сигналов и(1), обеспечивающих устойчивое слежение выхода объекта у(й) за внешним задающим сигналом (желаемой траекторией движения) с~(~с) . Поскольку об объекте управления ничего не известно, в качестве регулятора можно использовать нейросеть, входом которой является вектор ошибок управления е(1) =И(й) — у(й), а выходом — сигнал управления и(й), подаваемый на объект. Синтез оптимального управления связан с оценкой якобиана объекта У = (ду, /д и, ) ~102~, для определения которого опять-таки могут быть 48 4 ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ использованы аппроксимирующие свойства обучаемой ИНС. В теории адаптивного управления сформировалось два основных направления.

Первое — непрямой или идентификационный подход, при котором в схему вводится настраиваемая модель, обучаемая в темпе с процессом управления и параметры которой в линейном случае являются оценками элементов матрицы-якобиана. В нашем случае в систему управления дополнительно вводится нейросеть-эмулятор, оценивающая частные производные ду,/ди,, которые далее используются нейросетью-регулятором. Альтернативой идентификационному является прямой подход к синтезу регулятора, при котором предполагается, что проектировщику доступна информация о знаках частных производных ду, /ди, .

В прямой системе управления присутствует одна нейросеть-регулятор, обучаемая с помощью алгоритмов, использующих только знаки обрабатываемых сигналов. Вплотную к задаче управления примыкает задача оптимизации, когда требуется определить экстремум многомерной неявно заданной функции при наличии ограничений. И хотя для решения проблемы оптимизации спроектированы специальные архитектуры нейросетей (271, достаточно большой класс задач может быть решен в рамках систем нейроуправления (34~, когда в качестве целевой функции используется лагранжиан, учитывающий всевозможные ограничения, накладываемые на переменные объекта.

4.2.5 Фильтрация, сглаживание, прогнозирование Системы обработки «зашумленных» сигналов в условиях неопределенности в настоящее время находят широкое применение в самых разнообразных приложениях (54-56, 681. Собственно понятие «обработка сигналов» традиционно включает в себя три задачи: фильтрация, сглаживание и прогнозирование.

Если в распоряжении исследователя есть выборка «загрязненных» наблюдений х(1),х(2),...х(й),...,х(У), то задача фильтрации сводится к нахождению наилучшей оценки процесса х(У ) Х) в момент времени %по информации об М наблюдениях, сглаживания — оценки х(й ~ М) при й < М и прогнозирования — х(М + I! Х), где 1 > 1 — горизонт упреждения. Последние годы внимание исследователей привлечено еще к одной нетрадиционной задаче обработки — «слепой» сепарации и идентификации сигналов (1031.