Круг П.Г. Моделирование искусственных нейронных сетей

ФЕДЕРАЛЬНОЕ АГЕНСТВО ПО ОБРАЗОВАНИЮ

ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

ПРИБОРОСТРОЕНИЯ И ИНФОРМАТИКИ

П.Г.Круг

МОДЕЛИРОВАНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Учебное пособие по курсу «Нейронные вычислительные сети»

Москва 2009

УДК 004.032.26

ББК 32.818

К-84

Рекомендовано к изданию в качестве учебного пособия

редакционноиздательским советом МГУПИ

Рецензент: проф., д-р. техн. наук Желбаков И.Н.

П.Г.Круг.

Моделирование искусственных нейронных сетей: учебное пособие по курсу «Нейронные вычислительные сети» – М.: МГУПИ, 2009 – 96 с.

Рассматриваются основы искусственных нейронных сетей, современные программные нейросимуляторы и примеры моделирования нейронных сетей типа «Многослойный персептрон».

Содержит практический курс, базирующийся на нейросимуляторе TRAJAN.

Отражает десятилетний опыт обучения студентов в области нейронных сетей в Московском государственном университете приборостроения и информатики и Московском энергетическом институте (техническом университете).

Предназначено для студентов, обучающихся по направлению «Информатика и вычислительная техника», и аспирантов.

Табл. 15 Ил. 18. Библиограф.: 14 назв.

УДК 004.032.26

ББК 32.818

© П.Г.Круг, 2009

© МГУПИ, 2009

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

Учебное пособие посвящено моделированию на персональных компьютерах искусственных нейронных сетей (ИНС) типа «Многослойный персептрон». ИНС все чаще применяются при классификации, распознавания образов и прогнозировании, поэтому подготовка специалистов, владеющих нейросетевыми технологиями, является, безусловно, актуальной задачей.

Рассмотрим историю создания и развития искусственных нейронных сетей. Впервые о них заговорили в 1940-х годах.

Считается, что теория нейронных сетей, как научное направление, была обозначена в классической работе Мак Каллока и Питтса в 1943 г., в которой утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с помощью простой нейронной сети.

Среди основополагающих работ следует выделить модель Д. Хэбба, который в 1949 г. предложил закон обучения, явившийся стартовой точкой для алгоритмов обучения искусственных нейронных сетей, а также теоремы М. Минского и исследования им ряда типовых задач, в том числе, популярной задачи «Исключающего «ИЛИ».

В 1958 г. Ф. Розенблатт предложил нейронную сеть, названную персептроном, и построил первый нейрокомпьютер «Марк-1». Персептрон был предназначен для классификации объектов и получал на этапе обучения от «учителя» сообщение, к какому классу принадлежит предъявляемый объект. Обученный персептрон был способен классифицировать объекты, в том числе, не использовавшиеся при обучении, делая при этом мало ошибок.

Затем, после разработок 1950-х и 1960-х наступил период затишья, длившийся с 1968 по 1985 гг.

В 1985-1986 гг. теория нейронных сетей получила «технологический импульс», который был вызван возможностью моделирования нейронных сетей на появившихся в то время персональных компьютерах. Искусственные нейронные сети превратились из объекта фундаментальных исследований в инструмент решения прикладных задач в самых разных отраслях.

Настольной книгой специалиста, моделирующего и применяющего нейронные сети, стала работа Ф. Уоссермена «Нейрокомпьютерная техника» (издана на русском языке в 1992 году).

В ближайшие десятилетия следует ожидать дальнейший технологический рост в области проектирования нейронных сетей и нейрокомпьютеров, и связанный с этим ростом, рост интереса к ним со стороны специалистов. Развивается как фундаментальная наука, где искусственные нейронные сети являются объектом исследований, так и прикладная наука о технологиях применения нейронных сетей при решении разнообразных задач во многих отраслях. За последние годы уже открыто немало новых возможностей нейронных сетей, а работы в данной области зачастую становятся важным вкладом в промышленность, науку и технологии, имеют большое экономическое значение.

Искусственные нейронные сети во многом копируют свой естественный прототип – человеческий мозг. Однако, все попытки понять и моделировать объективные процессы обработки информации мозгом человека пока особого успеха не имели. Несмотря на то, что разработки по нейронному моделированию ведутся нейробиологами уже более 50 лет, нет ни одной области мозга, где процесс обработки информации был бы им ясен до конца. Также ни для одного нейрона в мозге пока невозможно определить код, который он использует для передачи информации в виде последовательности импульсов. Поэтому, будущие открытия в области нейрокомпьютерных технологий по всей вероятности будут связаны с новыми открытиями в области биологического нейро-моделирования. Предполагается, что открытие биологических основ обработки информации вызовет существенную активизацию работ в построении искусственного мозга и инициацию беспрецедентного по своему размаху научного и технологического проекта. Новый проект будет способен достаточно быстро дать значительный экономический эффект и, наконец-то, появится возможность широко применять «умные» системы, способные вместо людей выполнять монотонные, скучные и опасные задания [8, 9].

Справедливости ради нужно отметить, что для достижения этих целей, также важно развитие и ряда других областей информатики, микроэлектроники и искусственного интеллекта.

Данное учебное пособие содержит 6 теоретических разделов, введение, практикум, состоящий из 5 лабораторных работ, заключение, список литературы, приложения и список контрольных вопросов для самопроверки.

Выражаю благодарность аспиранту МГУПИ Яковицкому Сергею Владимировичу за помощь в подготовке учебного пособия.

1. НАПРАВЛЕНИЯ ПРИМЕНЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

1.1. Типовые решаемые задачи

Потенциальными областями применения ИНС являются те области, где человеческий интеллект малоэффективен, а традиционные вычисления трудоемки или физически неадекватны (т.е., не отражают или плохо отражают реальные физические процессы и объекты).

Действительно, актуальность применения нейронных сетей и нейрокомпьютеров многократно возрастает тогда, когда появляется необходимость решения плохо формализованных задач.

Нейронные сети продемонстрировали свою способность решать сложные задачи. Они имеют уникальные потенциальные возможности, хотя не свободны от ограничений и вопросов, на которые до сих пор не существует исчерпывающих ответов. Такая ситуация настраивает на умеренный оптимизм.

Рис.1.1. Типовые задачи, решаемые с помощью нейронных сетей и нейрокомпьютеров

Типовые задачи, решаемые с помощью ИНС, следующие (рис.1.1):

• автоматизация процесса классификации;

• автоматизация прогнозирования;

• автоматизация процесса предсказания;

• автоматизация процесса принятия решений;

• управление;

• кодирование и декодирование информации;

• аппроксимация зависимостей.

1.2. Обзор областей применения

ПЦОС широко применяются в следующих основных областях:

• промышленность;

• бизнес и финансы;

• наука и техника;

• высокие технологии;

• оборонные отрасли;

• здравоохранение.

Примеры применения ИНС и представлены в таблице 1.1. Безусловно, данный перечень не полон, однако он позволяет получить представление о характере востребованности нейросетевых технологий. В качестве иллюстрации успешного применения ИНС рассмотрим некоторые примеры.

Проектирование и оптимизация сетей связи

С помощью ИНС успешно решается важная задача в области телекоммуникаций – нахождение оптимального пути трафика между узлами.

Учитываются две особенности: во-первых, решение должно быть адаптивным, т. е. учитывать текущее состояние сети связи и наличие сбойных участков, а во-вторых, оптимальное решение необходимо находить в реальном времени. Кроме управления маршрутизацией потоков, ИНС используются для получения эффективных решений в области проектирования новых телекоммуникационных сетей.

Управление ценами и производством

Часто недооцениваются потери от неоптимального планирования производства. В связи с тем, что спрос и условия реализации продукции зависят от времени, сезона, курсов валют и многих других факторов, то и объем производства должен гибко варьироваться с целью оптимального использования ресурсов.