Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика

ББК 30.17 К 84 УДК 881.322 Круглов В.В., Борисов В. В. К84 Искусственные нейронные сети. Теория и практика.— 2-е изд., стереотип. — М.: Горячая линия-Телеком, 2002.— 382 сс ил. 1ЗВМ 5-93517-031-0. Книга посвящена одному из современных направлений в области информатики и вычислительной техники — нейрокомпьютерным технологиям. Достоинством книги является то, что в ней рассмотрены не только вопросы теории искусственных нейронных сетей, но и большое внимание уделено современным программным оболочкам- имитаторам нейронных сетей, а также решению с их помощью практических задач распознавания образов, кластеризации, прогнозирования, оптимизации, построения и использования нейросетевых экспертных систем. Книга содержит обширный справочный материал.

Для научных и инженерно-технических работников в области информатики и вычислительной техники, занимающихся созданием и использованием интеллектуальных систем, а также аспирантов и студентов разных специальностей в области компьютерных технологий. ББК 30.17 Адрес издательства в Интернет гагугюа Осйуйле. ги. Научное издание Круглов Владимир Васильевич Борисов Вадим Владимирович лр нг от!вгв от !В марта !Ввв г НД М 066!В о !6 амус а 2ОВ! г Псвпнсвно в па«оп 20 12 2001 Формат 60 ВВ 1ПВ Пвнап овсмнвя Бумам гаму»»я Гмн л 24 0 тяпая ЗХУУ Вака» 44! Икввмльгкнн Всм «ГРААЛЬ 141ЮО, г Пумкина, Мссковгмн свл.

ул Лвсная. В 6 стпвкатана в прснквовспмннс-нмммльсмм «амагнатв Виннти, ! 400! 0 г лквврч, мок«скоков свп, о тяврьс«нн пр-т. 406 твл 664-21 66 Ю Кругпов а В., Борисов В.а, 2002 © Оформление издательства «Горячая пиния-твпвком», 2002 !ЗВН 9-93917-031-0 ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ. ТЕОРИЯ И ПРАКТИКА Печатается в авторской редакции с оригинал-макета, подготовленного авторами Введение Искусственные нейронные сети (ИНС) строятся по принципам организации и функционирования их биологических аналогов.

Они способны решать широкий круг задач распознавания образов, идентификации, прогнозирования, оптимизации, управления сложными объектами. Дальнейшее повышение производительности компьютеров все в большой мере связывают с ИНС, в частности, с нейрокомпьютерами (НК), основу которых составляет искусственная нейронная сеть. Термин «нейронные сети» сформировался к середине 50-х годов ХХ века Основные результаты в этой области связаны с именами У.

Маккапоха, Д Хебба, Ф Розенблатта, М. Минского, Дж. Хопфилда. Приведем краткую историческую справку 1943 г. У. Маккалох (ЧЧ. МсСийосЬ) и У. Питтс (ЧЧ. Р(ев) предложили модель нейрона и сформулировали основные положения теории функционирования головного мозга. 1949 г. Д Хебб (О. НеЬЬ) высказал идеи о характере соединений нейронов мозга и их взаимодействии (клеточные ансамбли, синаптическая пластичность).

Впервые предложил правила обучения нейронной сети 1957 г. Ф. Розенблатт (Г. ВовепЬ)а(() разработал принципы организации и функционирования персептронов, предложил вариант технической реализации первого в мире нейрокомпьютера Магй. 1959 г. Д. Хьюбел (О. НцЬе() и Т. Визель (Т. Мезе!) показали распределенный и параллельный характер хранения и обработки информации в биологических нейронных сетях. 1960-1968 гг. Активные исследования в области искусственных нейронных сетей, например, АДАЛИНА и МАДАЛИНА В. Уидроу (Ч/ '««к(гоа) (1960-1 962 гг.), ассоциативные матрицы К.

Штайнбуха (К. В(е)пЬисп) (1961 г.) 1969 г. Публикация книги М. Минского (М. Мглзяу) и С. Пейперта (В. Рарег() «Персептроны», в которой доказывается принципиальная ограниченность возможностей персептронов. Угасание интереса к искусственным нейронным сетям 1970-1976 гг. Активные разработки в области персептронов в СССР (основные заказчики — военные ведомства). Конец 1970-х гг Возобновление интереса к искусственным нейронным сетям как следствие накопления новых знаний о деятельности мозга, а также значительного прогресса в области микроэлектроники и компьютерной техники.

1982-1985 гг. Дж. Хопфилд (Э. Норбе!О) предложил семейство оптимизирующих нейронных сетей, моделирующих ассоциативную память. 1985 г. Появление первых коммерческих нейрокомпьютеров, например, МагМ Ш фирмы ТПРУУ (США). 1987 г. Начало широкомасштабного финансирования разработок в области ИНС и НК в США, Японии и Западной Европе (японская программа «Наглая Ргопбегз» и европейская программа «Ваз~с Яезеагсп ~п АбарЕ«е! л(ейдепсе апо' Неигосогпрцбпд»).

1989 г. Разработки и исследования в области ИНС и НК ведутся практически всеми крупными эле«тротехническими фирмами. Нейрокомпьютеры становятся одним из самых динамичных секторов рынка (за два года объем продаж вырос в пять раз). Агентством ОАЙРА (Оегепсе Аочапсео Яезеагсп Рго)ес(з Адепсу) министерства обороны США начато финансирование программы по созданию сверхбыстродействующих образцов НК для разнообразных применений. 1990 г. Активизация советских исследовательских организаций в области ИНС и НК (Институт кибернетики им.

Глушкова в Киеве, Институт многопроцессорных вычислительных систем в Таганроге, Институт нейрокибернетики в Ростове-на-Дону). Общее число фирм, специализирующихся в области ИНС и НК, достигает трехсот. 1991 г. Годовой объем продаж на рынке ИНС и НК приблизился к 140 млн. долларам. Создаются центры нейрокомпьютеров в Москве, Киеве, Минске, Новосибирске, С.-Петербурге. 1992 г. Работы в области ИНС находятся стадии интенсивного развития. Ежегодно проводится десятки международных конференций и форумов по нейронным сетям, число специализирован- ных периодических научных изданий по указанной тематике достигло двух десятков наименований. 1996 г.

Число международных конференций по ИНС и НК достигло ста. 1997 г. Годовой обьем продаж на рынке ИНС и НК превысил 2 млрд, долларов, а ежегодный прирост составил 50'/. 2000 г. Переход на субмикронные и нанотехнологии, а также успехи молекулярной и биомолекулярной технологии приводят к принципиально новым архитектурным и технологическим решениям по созданию нейрокомпьютеров. Глубокое изучение ИНС требует знания нейрофизиологии, науки о познании, психологии, физики (статистической механики), теории управления, теории вычислений, проблем искусственного интеллекта, статистики/математики, распознавания образов, компьютерного зрения, параллельных вычислений и аппаратных средств (цифровых и аналоговых).

С другой стороны, ИНС также стимулируют эти дисциплины, обеспечивая их новыми инструментами и представлениями. Этот симбиоз жизненно необходим для исследования нейронных сетей. Представим некоторые проблемы, решаемые искусственными нейронными сетями. Класси4>икация образов. Задача состоит в указании принадлежности входного образа, представленного вектором признаков, одному или нескольким предварительно определенным классам. К известным приложениям относятся распознавание букв, распознавание речи, классификация сигнала электрокардиограммы, классификация клеток крови.

Класптеризация/категоризацоя. При решении задачи кластеризации, которая известна также как классификация образов без учителя, отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных Аппроксимация функции. Предположим, что имеется обучающая выборка ((хн у,), (ха ук), ..., (хя, уя)), которая генерируется неизвестной функцией, искаженной шумом. Задача аппроксимации состоит в нахождении оценки этой функции. Предсказаное/прогноз. Пусть заданы И дискретных отсчетов (у(г~), у(Ь),, у(Ь)) в последовательные моменты времени Гч Г,, „, Ь .

ЗадаЧа СОСтОИт В ПрЕдСКаэаНИИ ЗНаЧЕНИя у((ян) В МОМЕНТ (,,ь Прогноз имеют значительное влияние на принятие решений в бизнесе, науке и технике. Оптимизация. Многочисленные проблемы в математике, статистике, технике, науке, медицине и экономике могут рассматриваться как проблемы оптимизации. Задачей оптимизации является нахождение решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию. Память, адресуемая по содержанию.