IskusstvennyeNeironnyeSeti.TeoriyaIPraktika (В. В. Круглов, В. В. Борисов - Искуственные нейронные сети)

ББК 30.17 К 84 УДК 681.322 Круглов В.Вм Борисов В. В. К84 Искусственные нейронные сети. Теория и практика.— 2-е изд., стереотип. — М.: Горячая линия-Телеком, 2002.— 382 с.: ип. 18ВН 5-93517-031-0. Книга посвящена одному из современных направлений в области информатики и вычислительной техники — нейрокомпьютерным технологиям. Достоинством книги является то, что в ней рассмотрены не только вопросы теории искусственных нейронных сетей, но и большое внимание уделено современным программным оболочкам- имитаторам нейронных сетей, а также решению с их помощью практических задач распознавания образов, кластеризации, прогнозирования, оптимизации, построения и использования нейросетевых экспертных систем.

Книга содержит обширный справочный материал. Дпя научных и инженерно-технических работников в области информатики и вычислительной техники, занимающихся созданием и использованием интеллектуальных систем, а также аспирантов и студентов разных специальностей в области компьютерных технологий, ББК 30.17 Адрес издательства в Интернет гаоУоа 71207)у)упа.пь Научное издание Круглов Владимир Васильевич Борисов Вадим Владимирович ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ. ТЕОРИЯ И ПРАКТИКА Печатается е авторской редакции с Оригииеп-мекета, подготоелениого авторами ЛР Рд 071828 ог 1б морг« 1999 г ИЛ Н«0881 9 аг 18 виускв 2001 г подписв о в лови 20122001 Фармвкб0»88171Б пв«вп офсег в» Буме«в«в«в« в» Пен и 24.0 Тире к ЭООО Зеив« 441 Издвгвлиский дом ГРААЛЬ 141ЮО, г Пуииинз, Московской обл, ул Песне», д б Окп«нвквно в Прои«на»Фее»но-имива сиам «амумнвге ОИНИТИ 14ОО«О ЛкбеРМ «ма а «позже, О»БР»ский .Р-у,«аз теп 88«21-и 1ВВМ 9-9991 7-031-0 88 Круглов В В., Борисов В,В, 2002 Ку Оформление ибдеуепьстее «Горячея пиния-телекомв, 2002 Введение Искусственные нейронные сети (ИНС) строятся по принципам организации и функционирования их биологических аналогов.

Они способны решать широкий круг задач распознавания образов, идентификации, прогнозирования, оптимизации, управления спожными объектами. Дальнейшее повышение производительности компьютеров все в большой мере связывают с ИНС, в частности, с нейрокомпьютерами (НК), основу которых составляет искусственная нейронная сеть. Термин «нейронные сети» сформировался к середине 50-х годов ХХ века.

Основные результаты в этой области связаны с именами У. Маккапоха, Д Хебба, Ф. Розенбпатта, М. Минского, Дж. Хопфипда. Приведем краткую историческую справку. 1943 г. У. Маккапох (ЧЧ. МсСц)!осЬ) и У. Питтс (ЧЧ. Р)йв) предложили модель нейрона и сформулировали основные положения теории функционирования гоповного мозга. 1949 г. Д. Хебб (О. НеЬЬ) высказал идеи о характере соединений нейронов мозга и их взаимодействии (кпеточные ансамбли, синаптическая ппастичность).

Впервые предложил правила обучения нейронной сети 1957 г. ф. Розенбпатт (Е. ЯовепЬ)а(т) разработал принципы организации и функционирования персептронов, предложил вариант технической реапизации первого в мире нейрокомпьютера Магю 1959 г. Д. Хьюбеп (О. НиЬе)) и Т. Визель (Т. ЧЧ)еве)) показали распределенный и параллельный характер хранения и обработки информации в биологических нейронных сетях. 1960-1968 гг. Активные исследования в области искусственных нейронных сетей, например, АДАЛИНА и МАДАЛИНА В. Уидроу (~/)/.

)/)Лдго»ч) (1960-1962 гг.), ассоциативные матрицы К. Штайнбуха (К. 3(е~пЬасп) (1961 г.) 1969 г. Публикация книги М. Минского (М. М)пзйу) и С. Пейперта (3. Рарег() «Персептроны», в которой доказывается принципиальная ограниченность возможностей персептронов. Угасание интереса к искусственным нейронным сетям. 1970-1976 гг. Активные разработки в области персептронов в СССР (основные заказчики — военные ведомства).

Конец 1970-х гг. Возобновление интереса к искусственным нейронным сетям как следствие накопления новых знаний о деятельности мозга, а также значительного прогресса в области микроэлектроники и компьютерной техники. 1982 — 1985 гг. Дж. Хопфилд (). Норбе)д) предложил семейство оптимизирующих нейронных сетей, моделирующих ассоциативную память. 1985 г Появление первых коммерческих нейрокомпьютеров, например, Магй! Л фирмы ТЯУ)/ (США) 1987 г. Начало широкомасштабного финансирования разработок в области ИНС и НК в США, Японии и Западной Европе (японская программа «Нитап Ргопбегз» и европейская программа «Ваз(с Яевеагсп ~и Адарбче )п1ей9епсе апд (чецгосотрц()п9»).

1989 г. Разработки и исследования в области ИНС и НК ведутся практически всеми крупными электротехническими фирмами. Нейрокомпьютеры становятся одним из самых динамичных секторов рынка (за два года объем продаж вырос в пять раз). Агентством ОАЯРА (Ое/епсе Адуапсед Яезеагсп Рго)ес(з А9епсу) министерства обороны США начато финансирование программы по созданию сверхбыстродействующих образцов НК для разнообразных применений. 1990 г.

Активизация советских исследовательских организаций в области ИНС и НК (Институт кибернетики им. Глушкова в Киеве, Институт многопроцессорных вычислительных систем в Таганроге, Институт нейрокибернетики в Ростове-на-Дону). Общее число фирм, специализирующихся в области ИНС и НК, достигает трехсот. 1991 г. Годовой объем продаж на рынке ИНС и НК приблизился к 140 млн. долларам. Создаются центры нейрокомпьютеров в Москве, Киеве, Минске, Новосибирске, С.-Петербурге 1992 г. Работы в области ИНС находятся стадии интенсивного развития. Ежегодно проводится десятки международных конференций и форумов по нейронным сетям, число специализирован- ных периодических научных изданий по указанной тематике достигло двух десятков наименований.

1996 г. Число международных конференций по ИНС и НК достигло ста. 1997 г. Годовой объем продаж на рынке ИНС и НК превысил 2 млрд. долларов, а ежегодный прирост составил 50% 2000 г. Переход на субмикронные и нанотехнологии, а также успехи молекулярной и биомолекулярной технологии приводят к принципиально новым архитектурным и технологическим решениям по созданию нейрокомпьютеров. Глубокое изучение ИНС требует знания нейрофизиологии, науки о познании, психологии, физики (статистической механики), теории управления, теории вычислений, проблем искусственного интеллекта, статистики/математики, распознавания образов, компьютерного зрения, параллельных вычислений и аппаратных средств (цифровых и аналоговых). С другой стороны, ИНС также стимулируют эти дисциплины, обеспечивая их новыми инструментами и представлениями. Этот симбиоз жизненно необходим для исследования нейронных сетей.

Представим некоторые проблемы, решаемые искусственными нейронными сетями. Классификация образов. Задача состоит в указании принадлежности входного образа, представленного вектором признаков, одному или нескольким предварительно определенным классам. К известным приложениям относятся распознавание букв, распознавание речи, классификация сигнала злектрокардиограммы, классификация клеток крови. Кластеризация/кагпагоризация. При решении задачи кластеризации, которая известна также как классификация образов без учителя, отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных.

Аппроксимация функций. Предположим, что имеется обучающая выборка ((хч у,), (х», у,),, (хм у»)), которая генерируется неизвестной функцией, искаженной шумом. Задача аппроксимации состоит в нахождении оценки этой функции. Предсказание/прогноз.

Пусть заданы й/ дискретных отсчетов (у(/1), у(В), ..., у(/я)» в последовательные моменты времени /ч /ь ..., (» . Задача состоит в предсказании значения у(/яч) в момент /ян Прогноз имеют значительное влияние на принятие решений в бизнесе, науке и технике. Оптимизация. Многочисленные проблемы в математике, статистике, технике, науке, медицине и экономике могут рассматриваться как проблемы оптимизации. Задачей оптимизации является нахождение решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию. Память, адресуемая по содержанию. В модели вычислений фон Неймана обращение к памяти доступно только посредством адреса, который не зависит от содержания памяти. Более того, если допущена ошибка в вычислении адреса, то может быть найдена совершенно иная информация. Память, адресуемая по содержанию, или ассоциативная память, доступна по указанию заданного содержания.

Содержимое памяти может быть вызвано даже по частичному или искаженному содержанию. Ассоциативная память чрезвычайно желательна при создании перспективных информационно-вычислительных систем. Управление. Рассмотрим динамическую систему, заданную совокупностью (и(Г), у(Г)), где и(Г) является входным управляющим воздействием, а у(Г) — выходом системы в момент времени б В системах управления с эталонной моделью целью управления является расчет такого входного воздействия и((), при котором система следует по желаемой траектории, диктуемой эталонной моделью.

Каким образом нейронная сеть решает все эти, часто неформализуемые или трудно формализуемые задачи? Как известно, для решения таких задач традиционно применяются два основных подхода. Первый, основанный на правилах (где-Ьаэед), характерен для экспертных систем. Он базируется на описании предметной области в виде набора правил (аксиом) <если то г..» и правил вывода. Искомое знание представляется в этом случае теоремой, истинность которой доказывается посредством построения цепочки вывода. При этом подходе, однако, необходимо заранее знать весь набор закономерностей, описывающих предметную область. При использовании другого подхода, основанного на примерах (сазе-Ьаэед), надо лишь иметь достаточное количество примеров для настройки адаптивной системы с заданной степенью достоверности Нейронные сети представляют собой классический пример такого подхода.

Книга состоит из трех частей и приложений. Первая часть посвящена вопросам теории искусственных нейронных сетей, вторая — программным оболочкам-имитаторам нейронных сетей, в третьей приведены конкретные примеры применения нейросетевого подхода для решения практических задач. Приложение содержат данные справочного характера. Несмотря на огромный интерес, проявляемый к искусственным нейронным сетям, литература по этому направлению в нашей стране издается весьма малыми тиражами и является дефицитной, а зачастую слишком узкоспециализированной и поэтому трудной для понимания.

Целью настоящей книги, в связи с этим, является знакомство широкого круга заинтересованных лиц с основными понятиями и методами исследования и применения нейронных сетей. Авторы подчеркивают, что изданием данной книги они не преследуют коммерческие интересы и выражают глубокую благодарность всем, чьи материалы были использованы в работе. Часть! ТЕОРИЯ Глава 1 ОСНОВНЫЕ ПОЛОЖЕНИЯ ТЕОРИИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ Под нейронными сетями подразумеваются вычислительные структуры, которые моделируют простые биологические процессы, обычно ассоциируемые с процессами человеческого мозга. Они представляют собой распределенные и параллельные системы, способные к адаптивному обучению путем анализа положительных и отрицательных воздействий.