IskusstvennyeNeironnyeSeti.TeoriyaIPraktika (В. В. Круглов, В. В. Борисов - Искуственные нейронные сети)

Возможно не удалось распознать кодировку файла

Круглов В.В., Борисов В. В.

Искусственные нейронные сети. Теория и практика. -2-е изд., стереотип.

- М.: Горячая линия-Телеком, 2002. -382 с: ил.

isbn 5-93517-031-0.

Книга посвящена одному из современных направлений в области информатики и вычислительной техники - нейрокомпьютерным технологиям. Достоинством книги является то, что в ней рассмотрены не только вопросы теории искусственных нейронных сетей, но и большое внимание уделено современным программным оболочкам-имитаторам нейронных сетей, а также решению с их помощью практических задач распознавания образов, кластеризации, прогнозирования, оптимизации, построения и использования нейросетевых экспертных систем. Книга содержит обширный справочный материал.

Для научных и инженерно-технических работников в области информатики и вычислительной техники, занимающихся созданием и использованием интеллектуальных систем, а также аспирантов и студентов разных специальностей в области компьютерных технологий.

ББК 30.17

Адрес издательства в Интернет radios@cityline.ru.

Научное издание

Круглов Владимир Васильевич Борисов Вадим Владимирович

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ. ТЕОРИЯ И ПРАКТИКА

Печатается в авторской редакции с оригинал-макета, подготовленного авторами

ЛР № 071825 от 16 марта 1999 г ИД № 05619 от 16 августа 2001 г

Подписано в печать 20 12 2001 Формат 60x88 1/16 Печать офсетная Бумага газетная Печ л 24.0 Тираж 3000 Заказ 441

Издательский дом «ГРААЛЬ»

141200, г Пушкино, Московской обл , ул Лесная, д 5

Отпечатано в Производственно-издательском комбинате ВИНИТИ, 140010 г Люберцы, Московской обл , Октябрьский пр-т, 403 Тел 554-21-86

isbn 5-93517-031-0 © Круглов В В., Борисов В.В , 2002

© Оформление издательства «Горячая линия-Телеком», 2002

Введение

Искусственные нейронные сети (ИНС) строятся по принципам организации и функционирования их биологических аналогов. Они способны решать широкий круг задач распознавания образов, идентификации, прогнозирования, оптимизации, управления сложными объектами. Дальнейшее повышение производительности компьютеров все в большой мере связывают с ИНС, в частности, с нейрокомпьютерами (НК), основу которых составляет искусственная нейронная сеть.

Термин «нейронные сети» сформировался к середине 50-х годов xx века. Основные результаты в этой области связаны с именами У. Маккалоха, Д Хебба, Ф. Розенблатта, М. Минского, Дж. Хопфилда. Приведем краткую историческую справку.

1943 г. У. Маккалох (w. mcculloch) и У. Питтс (w. pitts) предложили модель нейрона и сформулировали основные положения теории функционирования головного мозга.

1949 г. Д. Хебб (d. hebb) высказал идеи о характере соединений нейронов мозга и их взаимодействии (клеточные ансамбли, синаптическая пластичность). Впервые предложил правила обучения нейронной сети

1957 г. Ф. Розенблатт (f. rosenblatt) разработал принципы организации и функционирования персептронов, предложил вариант технической реализации первого в мире нейрокомпьютера mark.

1959 г. Д. Хьюбел (d. hubel) и Т. Визель (Т. wiesel) показали распределенный и параллельный характер хранения и обработки информации в биологических нейронных сетях.

3

1960-1968 гг. Активные исследования в области искусственных нейронных сетей, например, АДАЛИНА и МАДАЛИНА В. Уидроу (w. widrow) (1960-1962 гг.), ассоциативные матрицы К. Штайнбуха (К. steinbuch) (1961 г.).

1969 г. Публикация книги М. Минского (М. minsky) и С. Пей-перта (s. papert) «Персептроны», в которой доказывается принципиальная ограниченность возможностей персептронов. Угасание интереса к искусственным нейронным сетям.

1970-1976 гг. Активные разработки в области персептронов в СССР (основные заказчики - военные ведомства).

Конец 1970-х гг. Возобновление интереса к искусственным нейронным сетям как следствие накопления новых знаний о деятельности мозга, а также значительного прогресса в области микроэлектроники и компьютерной техники.

1982-1985 гг. Дж. Хопфилд (j. hopfield) предложил семейство оптимизирующих нейронных сетей, моделирующих ассоциативную память.

1985 г. Появление первых коммерческих нейрокомпьютеров, например, mark iii фирмы trw (США).

1987 г. Начало широкомасштабного финансирования разработок в области ИНС и НК в США, Японии и Западной Европе (японская программа «human frontiers» и европейская программа «basic research in adaptive intelligence and neurocomputing»).

1989 г. Разработки и исследования в области ИНС и НК ведутся практически всеми крупными электротехническими фирмами. Нейрокомпьютеры становятся одним из самых динамичных секторов рынка (за два года объем продаж вырос в пять раз). Агентством darpa (defence advanced research projects agency) министерства обороны США начато финансирование программы по созданию сверхбыстродействующих образцов НК для разнообразных применений.

1990 г. Активизация советских исследовательских организаций в области ИНС и НК (Институт кибернетики им. Глушкова в Киеве, Институт многопроцессорных вычислительных систем в Таганроге, Институт нейрокибернетики в Ростове-на-Дону). Общее число фирм, специализирующихся в области ИНС и НК, достигает трехсот.

1991 г. Годовой объем продаж на рынке ИНС и НК приблизился к 140 млн. долларам. Создаются центры нейрокомпьютеров в Москве, Киеве, Минске, Новосибирске, С.-Петербурге.

1992 г. Работы в области ИНС находятся стадии интенсивного развития. Ежегодно проводится десятки международных конференций и форумов по нейронным сетям, число специализирован-

4

ных периодических научных изданий по указанной тематике достигло двух десятков наименований.

1996 г. Число международных конференций по ИНС и НК достигло ста.

1997 г. Годовой объем продаж на рынке ИНС и НК превысил 2 млрд. долларов, а ежегодный прирост составил 50%.

2000 г. Переход на субмикронные и нанотехнологии, а также успехи молекулярной и биомолекулярной технологии приводят к принципиально новым архитектурным и технологическим решениям по созданию нейрокомпьютеров.

Глубокое изучение ИНС требует знания нейрофизиологии, науки о познании, психологии, физики (статистической механики), теории управления, теории вычислений, проблем искусственного интеллекта, статистики/математики, распознавания образов, компьютерного зрения, параллельных вычислений и аппаратных средств (цифровых и аналоговых). С другой стороны, ИНС также стимулируют эти дисциплины, обеспечивая их новыми инструментами и представлениями. Этот симбиоз жизненно необходим для исследования нейронных сетей.

Представим некоторые проблемы, решаемые искусственными нейронными сетями.

Классификация образов. Задача состоит в указании принадлежности входного образа, представленного вектором признаков, одному или нескольким предварительно определенным классам. К известным приложениям относятся распознавание букв, распознавание речи, классификация сигнала электрокардиограммы, классификация клеток крови.

Кластеризация/категоризация. При решении задачи кластеризации, которая известна также как классификация образов без учителя, отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных.

Аппроксимация функций. Предположим, что имеется обучающая выборка ((xi, уО, (х2, уг), .., (xw, Ум)), которая генерируется неизвестной функцией, искаженной шумом. Задача аппроксимации состоит в нахождении оценки этой функции.

Предсказание/прогноз. Пусть заданы n дискретных отсчетов {y(f0. v(fe), •••. У(М} в последовательные моменты времени u, t2, ..., tn . Задача состоит в предсказании значения y(fw+i) в момент w Прогноз имеют значительное влияние на принятие решений в бизнесе, науке и технике.

5

Оптимизация. Многочисленные проблемы в математике, статистике, технике, науке, медицине и экономике могут рассматриваться как проблемы оптимизации. Задачей оптимизации является нахождение решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию.

Память, адресуемая по содержанию. В модели вычислений фон Неймана обращение к памяти доступно только посредством адреса, который не зависит от содержания памяти. Более того, если допущена ошибка в вычислении адреса, то может быть найдена совершенно иная информация. Память, адресуемая по содержанию, или ассоциативная память, доступна по указанию заданного содержания. Содержимое памяти может быть вызвано даже по частичному или искаженному содержанию. Ассоциативная память чрезвычайно желательна при создании перспективных информационно-вычислительных систем.

Управление. Рассмотрим динамическую систему, заданную совокупностью {и(0, у(0}> где u(t) является входным управляющим воздействием, а у(г) - выходом системы в момент времени г. В системах управления с эталонной моделью целью управления является расчет такого входного воздействия u(t), при котором система следует по желаемой траектории, диктуемой эталонной моделью.

Каким образом нейронная сеть решает все эти, часто не-формализуемые или трудно формализуемые задачи? Как известно, для решения таких задач традиционно применяются два основных подхода. Первый, основанный на правилах (rule-based), характерен для экспертных систем. Он базируется на описании предметной области в виде набора правил (аксиом) «если ..., то ...» и правил вывода. Искомое знание представляется в этом случае теоремой, истинность которой доказывается посредством построения цепочки вывода. При этом подходе, однако, необходимо заранее знать весь набор закономерностей, описывающих предметную область. При использовании другого подхода, основанного на примерах (case-based), надо лишь иметь достаточное количество примеров для настройки адаптивной системы с заданной степенью достоверности Нейронные сети представляют собой классический пример такого подхода.