Хайкин С. - Нейронные сети (778923), страница 196
Текст из файла (страница 196)
В каждом цикле обучения один образец из каждого потока представляется соответствующей сети, и вычисляется Хщд, выходных сигналов для каждого потока. После этого проводится единовременная коррекция, которая применяется к весам всех сетей. Выведите многопоточную форму алгоритма РЕКЕ б) В качестве примера рассмотрите стандартную задачу ХОК с четырьмя примерами обучения. Предполагается, что мы располагаем сетью прямого распространения, которая дополнена памятью с задержкой в линии, присоединенной к выходному слою. Таким образом, в результате получим четыре выхода сети: фактический выход сети, питающий память с задержкой в линии, и три задержанных его версии, каждую из которых также считаем новым выходом сети. Теперь в некотором порядке применим к этой сетевой структуре все четыре примера обучения, при этом не выполняя коррекцию весов. После представления четвертого примера мы получим четыре выхода сети, которые представляют обработку четырех примеров обучения сетью с одинаковыми весами.
Если на этой основе мы выполним единовременную коррекцию вектора весов по алгоритму РЕКЕ на основе данных четырех входов и четырех выходов сети, то получим задачу четырех потоков. Проверьте правильность этого примера. Задачи 987 Рис. 16.23. Автомат с двумя состояниями Рекуррентные сети второго порядка 15.17. В данном примере исследуем конструкцию конечного автомата четности (рангу бш1еийа1е ац1ошаГа), использующего рекуррентную сеть второго порядка. Этот автомат распознает четное количество единиц в последовательной строке нулей и единиц конечной произвольной длины.
На рис. 15.23 показан автомат, принимающий два состояния. Эти состояния обозначены окружностями, а переходы — стрелками. Символом Я обозначено состояние старта — в данном случае А. Тонкая окружность означает, что в этом состоянии (на рисунке это состояние В) мы принимаем строку. Автомат начинает сканировать строку в состоянии А и возвращается назад в состояние А, если обнаружен нуль, или переходит в состояние В, если обнаружена единица. Аналогично, находясь в состоянии В, он остается в этом же состоянии, если обнаружит нуль, и переходит в состояние А, если обнаружит единицу. Таким образом, данный автомат всегда будет находиться в состоянии А, если просканировано четное количество единиц (в том числе нуль штук), или в состоянии В, если количество единиц не четно. Формализуя, определим множество состояний как Я = (А, В), Я = А (начальноесостояние), входной алфавит †к Х =(О, 1), состояние приема— как Г = В и функции перехода состояний — как: Ь(А,О) = А, Ь(А,1) = В, Ь(В,О) = В, Ь(В,1) = А.
Эти уравнения необходимы для применения формулы (15.9), относяшейся к рекуррентной сети второго порядка. Более детально конечные автоматы описаны в (474). Закодируйте приведенные выше правила псрсхода в рскуррснтной сстн второго порядка. 988 Глава 15. Динамически управляемые рекуррентные сети 15.18. В разделе 15.8 выведен алгоритм рекуррентного обучения в реальном времени (ВТОЧЬ) для полносвязной рекуррентной сети, использующей нейроны первого порядка. В разделе 15.2 описаны рекуррентные сети, использующие нейроны второго порядка. Опровергните теорию, описанную в разделе 15.8, выведя алгоритм обучения для рекуррентной сети второго порядка. Заключение Предметная область нейронных сетей лежит на пересечении многих наук.
Ее корни уходят в нейробиологию, математику, статистику, физику, науку о компьютерах и инженерию. Это видно из разнообразия вопросов, рассмотренных в настоящей книге. Способность нейронных сетей обучаться на данных с помощью учителя или без такового обеспечивает их важное свойство.
Это свойство обучаемости имеет важное теоретическое и практическое применение. В той или иной форме способность нейронных сетей обучаться на примерах (представительных для своей среды) сделала их неоценимым инструментом в таких разнообразных областях применения, как моделирование, анализ временных рядов, распознавание образов, обработка сигналов и управление. В частности, нейронным сетям есть что предложить, когда решение интересующей задачи становится сложным по одной из следующих причин. ° Из-за отсутствия физического либо статистического понимания системы. ° Из-за статистического разброса наблюдаемых данных.
° Из-за нелинейности механизма, ответственного за обобщение данных. Новая волна интереса к нейронным сетям (начавшаяся во второй половине 1980-х годов) возникла вследствие того, что потребовалось обучение на нескольких уровнях. Алгоритмы обучения нейронных сетей позволили избежать необходимости в ручном извлечении признаков при распознавании рукописного текста. Градиентные алгоритмы обучения нейронных сетей позволили обучать системы извлечения признаков, классификаторы и контекстные процессоры (скрытые модели Маркова и языковые модели). Обучение наполняет все уровни интеллектуальных систем во все увеличивающемся юэличестве областей применения.
Исходя из зтого, целесообразно завершить данную книгу неюгорыми замечаниями относительно интеллектуальных систем и роли нейронных сетей в их создании. 990 Глава 16. Заключение Интеллектуальные систеиы Поскольку мы не согласны с научным определением интеллекта' и в связи с ограниченным объемом данной книги, мы не будем углубляться в дискуссию относительно того, что такое интеллект.
Вместо этого мы ограничимся кратким обзором интеллектуальных систем в контексте трех специфичных областей их применения: классификация образов, управление и обработка сигналов. Известно, что не существует "универсальных" интеллектуальных систем. Эти системы особенны для каждой конкретной предметной области нх применения. Большая часть усилий исследователей нейронных сетей была сфокусирована на задаче распознавания образов. Учитывая практическую важность этой задачи и ее повсеместную природу, а также тот факт, что нейронные сети исключительно хорошо подходят для решения задачи классификации, такая концентрация усилий ученых направлялась на поиск средств корректной классификации.
Развивая зто направление, стало возможным заложить основы адалтивной классиг[гиклции образов (аг[арйое раы 1егп с!азябсайоп). Однако мы достигли той точки, в которой системы классификации должны рассматриваться в более широком смысле, если мы хотим решать задачи классификации более сложной и интеллектуальной природы. На рис. 16.1 показана структура "гипотетической" системы классификации [413]. Первый уровень этой системы получает сенсорные данные, генерируемые некоторым источником информации. Второй уровень извлекает множество признаков, характеризующее полученные сенсорные данные. Третий уровень классифицирует эти признаки в одну или несколько различных категорий, которые затем помещаются в глобальный контекст на четвертом уровне. В заключение можно для примера поместить разобранный входной сигнал в некоторую форму базы данных, которую будет использовать конечный пользователь.
Важными признаками, характеризующими эту систему, являются следующие. ° Распознавание (гесодш[[оп), являющееся результатом прямого прохождения информации от одного уровня системы к следующему в традиционной системе классификации. ° Фокусировка ([оспяпй), при которой более высокий уровень системы способен избирательно влиять на обработку информации более низким уровнем с помощью знаний, накопленных на основе имеющихся данных.
Таким образом, новаторство системы классификации образов, показанной на рис. 16.1, лежит в знаниях о целевой обласкал и нх использовании нижними уровнями системы для повышения общей производительности системы при имеющихся фундаментальных ограничениях обьема обрабатываемой информации. Будем надеяться, ' Философская дискуссия относительно понятия интеллекта, рассматриваемого с различных точек зрения, содержится к [8], [!5], [592]. Интеллектуальные системы 991 Рис.
16.1. Функциональная архитектура интеллектуальной системы что классификация образов, использующая нейронные сети, будет развиваться в направлении создания моделей, которые будут последовательно наполняться знаниями о целевой области. Можно прогнозировать появление нового класса интеллектуальных систем распознавания образов, которые обеспечат следующие возможности. ° Способность извлекать контекстньге знания (соп[ехп3а! [споцг1ес[йе) и использовать их с помощью фокусировки (1оспб[пя).
° Поииизованность, а не распределенность представления знаний. ° Розреогсенная архитектура (врагае агсЫ1001оге), подчеркивающая модульность и иерархию как принцип конструкции сетей. Реализация такой интеллектуальной системы может быть достигнута только путем комбинирования нейронных сетей с другими соответствующими средствами.
Полезным инструментом, который приходит на ум, является аллорипьн Виигерби (Ч[[ег[н а]йоп[]пп) — одна из форм динамического программирования, созданная для последовательной обработки информации2, являющейся врожденной характеристикой системы, показанной на рис. 1б.1. (Подробно об алгоритме динамического программирования см. в главе 12). З Алгоритм Витерби впервые был изложен в []096] и предназначен для решения задачи декодирования свертки в теории связи.
Дополнительная информадия об алгоритме Витерби содержится в [303]. Применение в задачах классификвпии образов, которое включает в себя комбинированное использование сегей свертки [см. главу 4) и алгоритма Витерби, описывается в [622], [623]. 992 Глава 16. Заключение Рис. 16.2. Функциональная архитектура интеллектуальной системы управления Управление — еще одна естественная область применения нейронных сетей— также развивалось в направлении интеллектуального управления . Автономность является важной целью разработчиков систем управления, и интеллектуальные контроллеры рассматриваются как один из путей ее достижения.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
