Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение, страница 2

0.1 — Элементарные искусственные нейроны На каждый вход нейрона подается сигнал к,, при этом с каждым входом связан так называемый синаптический вес и,. В теле нейрона вычисляется П примитивная функция у(~и,х,), т.е. фактически реализуется нелинейное с=О отображение многомерного пространства входов Я" в скалярный выход А'. Процедура, с помощью которой происходит обучение (настройка) отдельного нейрона или нейросети в целом, называется алгоритмом обучения.

В процессе обучения происходит изменение (адаптация) синаптических весов, а возможно и топологии ИНС так, чтобы выходные сигналы отвечали некоторому априори заданному критерию качества, характеризующему процесс ВВЕДЕНИЕ решения сетью конкретной задачи. Важным требованием к процессу обучения является его адаптивность, которая обеспечивает настройку весов в соответствии с характеристиками окружающей среды. Если эти характеристики изменяются (при этом не исключается возможность изменения и самой решаемой задачи), сеть должна в реальном времени „переучиться" применительно к новым условиям. Необходимо заметить, что существует много общего между обучением ИНС и адаптивной идентификацией [45, 461 или адаптивными обучающимися системами [471.

С позиций системного подхода ИНС можно рассматривать как черный ящик, на вход которого поступает некоторый векторный сигнал х, а на выходе должен появиться векторный сигнал у с заданными характеристиками, обеспечиваемыми в результате обучения сети. Фактически нейросеть реализует отображение (рис. 0.2) п-мерного вектора х = (х„х„...х„)' в т-мерный вектор у = (у„у,„...у„,)', т.е. моделирует некоторый оператор Г: Я' — > Я'". у2 у Рис.

0.2 — Нейросеть как черный ящик Популярная парадигма обучения нейросетей — "обучение с учителем" основана на предъявлении ИНС множества обучающих образов, каждый из которых описывается своим входным вектором, и множества желаемых реакций сети (обучающих сигналов). Синаптические веса настраиваются так, чтобы минимизировать некоторую функцию Е отклонения фактического значения у от желаемого Н, причем этот процесс продолжается до тех пор, пока выход ИНС не станет в какой-то мере близким к внешнему обучающему сигналу.

По достижении этой близости полагается, что нейросеть реализовала требуемое отображение Г. Пример простейшей нейронной сети приведен на рис. 0,3 [4]. х, у = Г(х1, х~,хз) х„ Рис. 0.3 — Функциональная модель ИНС Сеть вычисляет функцию Г на основе сигналов х=(х„х„х,) . В узлах сети реализуются примитивные функции у,,у„у,,у, которые комбинируются в Г. Настройкой весов и,,и,,и,,и,,и, можно получить достаточно большой набор разных функций Г. На сегодня известны десятки, если не сотни различных архитектур ИНС, хотя нас в дальнейшем будут интересовать сети, реализующие различные процедуры обработки информации, среди которых можно выделить старую проблему восстановления некоторой функции Г: Я' — ~ А' с заданной точностью с помощью набора примитивных функций у„,у„...,у„.

Классическим примером здесь является аппроксимация одномерной функции с помощью полиномов или рядов Фурье. Ряд Тейлора в окрестности точки х„может быть записан в виде Г(х) = ь„+ и, (х — х„) + и', (х — х ) + ... + и „(х — х„)" = (0.1) где параметры и„и,,...,и„ зависят от значений аппроксимируемой функции и ее производных в точке х„, На рис. 0.4 приведена схема ИНС, производящая полиномиальную аппроксимацию [4, 61. Г(х) Рис. 0.4 — Нейросеть Тейлора В узлах сети вычисляются элементарные функции у„=х,у, =х',...,у„=х", синаптическими весами являются коэффициенты разложения и„„и,,...„и„, которые могут быть определены либо с помощью алгоритма обучения, либо аналитически.

На рис. 0.5 показано, как ряд Фурье может быть реализован с помощью ВВЕДЕНИЕ Г(х) Рис. 0.5 — Нейросеть Фурье Разложение в ряд Фурье произвольной функции по п первым гармоникам имеет вид Н Н Г(х) = Е(а, совках+Ь, в1п~х) = Ем, $1П(ух+гр,), 1=0 г=о (0.2) где амплитуды и, и фазы гр, также могут быть определены либо в процессе обучения, либо аналитически. Приведенные элементарные примеры показывают, что нейросети легко справляются с задачей аппроксимации, хотя в данных конкретных случаях можно было бы обойтись и без них. Реальные же задачи, решаемые с помощью ИНС, гораздо сложнее и, как правило, не имеют аналитического решения. На сегодня нейросети получают широкое распространение для решения различных задач обработки сигналов, оптимизации, оптимального и адаптивного управления, распознавания образов, идентификации, прогнозирования в реальном времени и т.п.

Достижения нейроморфной инженерии определяются созданием реальных систем ~б, 22-43, 47-531 обработки изображений и компьютерного зрения, управления аэрокосмическими объектами, технической и медицинской диагностики, в экономике и финансах (планирование, управление, анализ рынков, прогнозирование курсов, технический анализ, поиск информации, идентификация кредитных карт), в военном деле, управления движением, в энергетике (оценка состояний, обнаружение разладок, прогнозирование нагрузок), в криминалистике, анализа сигналов различной природы и др., причем этот перечень расширяется практически ежедневно.

Теория искусственных нейронных сетей интенсивно развивается и мы, естественно, не можем осветить все ее аспекты. Нейросети мы попытаемся рассмотреть прежде всего с позиций компьютерной инженерии, т. е. проблемы, связанной с задачами обработки информации и управления объектами разных классов в условиях априорной и текущей неопределенности. Нейросети однако не являются панацеей и перед тем как их использовать для решения практических задач, следует еще раз оценить их достоинства и недостатки.

Повторим, что ИНС это, прежде всего, адаптивные свойства, возможность работы в условиях неопределенности, быстродействие за счет параллелизма, надежность, достигаемая благодаря избыточности. Но нейросети — это и отсутствие четких правил проектирования, проблемы с аналитическим описанием, поскольку в большинстве случаев сеть так и остается черным ящиком, низкая скорость обучения, неинтерпретируемость получаемых результатов.

Хотим подчеркнуть, что эта книга написана инженерами для инженеров, хотя и не содержит конкретных рецептов. Мы ожидаем, что наши потенциальные читатели знакомы с линейной алгеброй, дифференциальным и интегральным исчислением, нелинейным программированием, основами теорий математической статистики, вероятностей, автоматического управления и адаптивных систем. И мы очень надеемся, что наш скромный вклад в теорию ИНС расширит круг ее сторонников от студентов до умудренных опытом профессионалов.

Считаем своим долгом выразить благодарность )Эеиосйег Акадеии',крег Аи~~аизс1гйет~ (0ААЙ) и Веиосйе ГолсЬипудететьсЬсЯ (ВРИ) за предоставленную поддержку, давшую нам возможность посетить ряд университетов ФРГ, ознакомиться с современными достижениями в области нейронных сетей, обменяться мнениями с зарубежными коллегами.

10 1 ИСКУССТВЕННЫЕ НЕЙРОНЫ 1 ИСКУССТВЕННЫЕ НЕЙРОНЫ Узлы искусственной нейронной сети, именуемые также искусственными нейронами (нейронными клетками, формальными нейронами) представляют собой элементарные процессоры и являются упрощенными моделями биологических нейронов.

Это упрощение определяется прежде всего тем, что инженеров интересуют только функции нейронов, связанные с переработкой информации. Кроме того, не следует забывать о высокой сложности биологических систем, которые в полной мере просто не поддаются математическому описанию. Поэтому в теории ИНС нейрон — это система отображения из л- мерного пространства входов, формируемого сигналами с выходов других нейронов, либо внешней средой, в одномерное пространство (скалярный сигнал) на выходе нейронной клетки.

Большинство нейронных сетей образовано однотипными нейронами — это гомогенные (однородные) сети, хотя известны гетерогенные сети, сконструированные из различных нейронов. Заметим также, что нейроны бывают аналоговыми и бинарными, хотя это деление чисто условно, поскольку один и тот же формальный нейрон может функционировать как в аналоговом, так и в цифровом режимах. 1.1 Биологические основы Биологический нейрон является особой биологической системой, предназначенной для передачи и обработки информации в живых организмах. Упрощенная схема нейрона приведена на рис.

1.1. Ак тер Рис. 1.1 — Биологические нейроны 11 Нейрон состоит из тела клетки, или сомы, дендритов, аксона и синапсов, Тело клетки включает ядро, которое содержит информацию о наследственных свойствах, и плазму, обладающую молекулярными средствами для создания необходимых нейрону материалов.

Именно в соме реализуются основные функции, связанные с генетическими и метаболическими механизмами, необходимыми для жизнедеятельности, а также информационные функции. Аксон — это нервное волокно, соединенное с сомой и являющееся проводником выходного сигнала. Аксон имеет разветвления — волокна, называемые аксонными терминалами, по которым нервные импульсы проходят к другим нейронам. Дендриты — очень разветвленное дерево волокон, соединенных с сомой.

Каждый нейрон имеет от 10'до 10' дендритов, которые связывают его со множеством других клеток. Дендриты получают сигнал от других аксонных терминалов через специальные контакты — синапсы. Синапс является функциональным интерфейсом между двумя нейронами (аксонный терминал одного нейрона и дендрит другого) и способен усиливать или подавлять сигнал подобно электронному усилителю, определяя характер обработки информации в соме. Синапсы условно можно подразделить на возбуждающие и тормозящие, которые увеличивают или уменьшают (блокируют) сигнал. Нейроны передают информацию, используя потенциал действия. Обработка этой информации включает комбинацию электрических и химических процессов, протекающих в синапсах. Когда импульс с аксонного терминала одного нейрона достигает синапса другого, образуются специальные химические вещества, называемые нейротрансмиттерами. Нейротрансмиттеры диффундируют через синапс, возбуждая или затормаживая способность принимающего нейрона генерировать электрические импульсы.