neironne_seti_i_neirokompjuter (Учебник - Нейронные сети и нейрокомпьютеры (Круг П.Г.))

МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИМОСКОВСКИЙ ЭНЕРГЕТИЧЕСКИЙ ИНСТИТУТ(ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ)П.Г. КРУГНЕЙРОННЫЕ СЕТИ ИНЕЙРОКОМПЬЮТЕРЫУчебное пособиепо курсу «Микропроцессоры»для студентов, обучающихся по направлению«Информатика и вычислительная техника»МОСКВАИЗДАТЕЛЬСТВО МЭИPDF created with pdfFactory trial version www.pdffactory.com2002УДК 621.398К 84УДК 621.398.724(072)Утверждено учебным управлением МЭИ в качестве учебного пособияРецензенты:проф., д-р. техн.

наук Желбаков И.Н., проф., д-р. техн. наук Петров О.М.Подготовлено на кафедре Информационно-измерительной техникиКруг П.Г.Нейронные сети и нейрокомпьютеры: Учебное пособие по курсу«Микропроцессоры». – М.: Издательство МЭИ, 2002. – 176 с.ISBN 5-7046-0832-9Рассматриваются основы нейронных сетей, типовые решаемые задачи,области применения, программные продукты для моделирования, а такжесовременные нейропроцессоры и нейрокомпьютеры.Пособиевключаетпрактическийкурс,базирующийсянаиспользовании программного симулятора TRAJAN, и отражает опытподготовки российских и иностранных студентов в области искусственныхнейронных сетей в Московском энергетическом институте (техническомуниверситете).Для студентов, обучающихся по направлению «Информатика ивычислительная техника».ISBN 5-7046-0832-9© Московский энергетический институт, 20022PDF created with pdfFactory trial version www.pdffactory.comСОДЕРЖАНИЕСПИСОК АББРЕВИАТУР ……………………………………………7ВВЕДЕНИЕ …………………..………………..……………….………81.

ОСНОВНЫЕ НАПРАВЛЕНИЯ ПРИМЕНЕНИЯ НЕЙРОННЫХСЕТЕЙ И НЕЙРОКОМПЬЮТЕРОВ …………………………..……..1.1. Типовые решаемые задачи ………………..………………….1.2. Обзор областей применения ……………………..…….……..1.2.1. Проектирование и оптимизация сетей связи ……..……1.2.2. Распознавание речи ……………………………………..1.2.3.

Управление ценами и производством ..……...……..….1.2.4. Анализ потребительского рынка ………………….……1.2.5. Исследование спроса ……………………..………....…..1.2.6. Анализ страховых исков …..…………………...……….1.2.7. Обслуживание кредитных карт ……….….…..………...1.2.8. Медицинская диагностика …………………….………..1.2.9. Обнаружение фальсификаций ……………….…………1.2.10. Оценка недвижимости ……………………….…..…….1.3. Распознавание символов ...……………………………......…..1.4. Искусственный нос …………………..…….……...…….…….1.4.1. Принцип действия искусственного носа ……………....1.4.2.

Аппаратура искусственного носа ….……………….…..1.4.3. Пример реализации искусственного носа ………….….1.4.4. Искусственный нос для контроля окружающей среды .1.4.5. Искусственный нос в медицине …………………….….1.4.6. Искусственный нос в пищевой промышленности ….…1.5. Прогнозирование …………………………….……………..…1.5.1. Постановка задачи прогнозирования …………….…….1.5.2.

Прогнозирование в сфере бизнеса и финансов ….…….1.5.3. Применение нейронных сетей для прогнозированиякурсов валют ………………………………………………....1.5.4. Ограничения и недостатки, связанные сиспользованием нейронных сетей для прогнозирования..........................1.5.5. Программные продукты прогнозирования на основенейронных сетей ……………………………………………….1.5.6.

Прогнозирование потребления электроэнергии ………1.5.7. Прогнозирование свойств полимеров …………….……1.6. Проблемы развития нейронных сетей ..…………………..….3PDF created with pdfFactory trial version www.pdffactory.com1010121212131314141515151516181820212525282930344143434545452. ОСНОВНЫЕ ПОНЯТИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХСЕТЕЙ …………………………………………………….……………2.1. Модель искусственного нейрона ………………………...…..2.1.1. Биологический нейрон ………………………….………2.1.2. Искусственный нейрон …………………….……………2.1.3. Активационная функция …………….………………….2.2.

Обучение нейронных сетей ……………..……………………2.2.1. Обучение с учителем ……………….…………………...2.2.2. Обучение без учителя …………….……………………..2.3. Нейронные сети обратного распространения …...…..………2.4. Карты Кохонена ………………………………...……………..2.4.1. Определение ……………………………….…………….2.4.2. Принцип работы сети Кохонена ………….…………….2.4.3. Сходимость алгоритма самообучения ….……………...2.5. Сети Хопфилда …………………………………..……………2.5.1. Определение ……………………………….…………….2.5.2. Алгоритм Хопфилда …………………….………………2.5.3.

Распознавание образов сетями Хопфилда …………….2.5.4. Непрерывные сети ……………………………….……...2.5.5. Применение сетей Хопфилда для оптимизации ….…...2.6. ART-сети …………………………………………………..….2.6.1. Определение ………………………………………….….2.6.2. Архитектура сети ART-1 ………………………….…….2.6.3. Слой сравнения и слой распознавания ..……….………2.6.4. Весовые матрицы и коэффициенты усиления .…….….2.6.5. Принцип работы ………………………………….……...2.6.6. Поток информации в сети ………………………….…...2.6.7. Другие ART-сети ………………………………….…….4747474849505152525858586264646668737476767677818186863.

ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ МОДЕЛИРОВАНИЯНЕЙРОННЫХ СЕТЕЙ ………………………………………………..3.1. Обзор программного обеспечения для моделирования ….....3.2. Краткое описание программного продукта TRAJAN ……....3.2.1. Автоматизация процесса синтеза нейронной сети …....3.2.2. Формирование представительской выборки ……….….3.2.3. Многоуровневые персептроны ………………………....3.2.4. Карты Кохонена ………….………………………….…..3.2.5.

Гибридные нейронные сети ………………………….…3.2.6. Бейесовские сети ……………………………………..….3.2.7. Линейные модели …………………………………….….3.2.8. Интерфейс пользователя …………………………….….88888888898989898989904PDF created with pdfFactory trial version www.pdffactory.com3.2.9. Ограничения ………………………………………….….3.3. Описание основных этапов работы в среде TRAJAN …..….3.3.1. Создание нейронной сети ………………………………3.3.2. Выбор типа сети …………...…………………….………3.3.3.

Определение числа слоев и их размерности .…….……3.3.4. Подготовка нейронной сети к обучению ……………....3.3.5. Редактирование сети и представительских выборок ....3.3.6. Обучение нейронной сети ……………..……..…………3.3.7. Запуск нейронной сети ……………………….…………9090909191919292934. НЕЙРОПРОЦЕССОРЫ ……………………….……..……………..4.1. Определение и классификация нейропроцессоров …...…….4.2.

Параметры нейропроцессоров ……….………………..……..4.3. Специализированные нейрочипы ……………………...…….4.4. Нейропроцессоры на основе ПЦОС и ПЛИС ………...……..4.4.1. Основные понятия …………………………….………...4.4.2. Нейропроцессоры, реализованные на основе ПЦОС ....4.4.3. ПЦОС компании Analog Devices …………….…………4.4.4. ПЦОС компании Texas Instruments Inc. ……………….4.4.5. ПЦОС компании Motorola ……………………………...4.4.6. Нейропроцессоры, реализованные на основе ПЛИС ....959595971121121121161181271285.

НЕЙРОКОМПЬЮТЕРЫ ………………………………..………….5.1. Основные понятия …………………………………………….5.2. Нейрокомпьютеры, выпускаемые в виде карт и модулей ….5.2.1. Нейрокомпьютеры, реализованные на базе ПЦОС иПЛИС …………………………………………………………...5.2.2. Нейрокомпьютеры, реализованные на базенейрочипов…….………………………………………………………...5.3. Нейрокомпьютеры, выпускаемые в виде конструктивноавтономных систем …………………………………………...…...1311311316. ЛАБОРАТОРНЫЙ ПРАКТИКУМ …………………………..…….6.1. Лабораторная работа № 1. Создание и обучениепростейшей нейронной сети ……………………..………………..6.2.

Лабораторная работа № 2. Определение направлениядвоичного сдвига ….…..……………………………………...……6.3. Лабораторная работа № 3. Распознавание символов …….....6.4. Лабораторная работа № 4. Искусственный нос ………..……6.5. Лабораторная работа № 5. Прогнозирование …………...…..5PDF created with pdfFactory trial version www.pdffactory.com132143148151151154157159162ВОПРОСЫ ДЛЯ САМОПРОВЕРКИ …………………………….…..166ЛИТЕРАТУРА …………….……….….……………………………….167ПРИЛОЖЕНИЕ ……………………………………..…………………Программные продукты моделирования нейронных сетей …….Нейрочип NeuroMatrix NM6403 компании Модуль .......……...…Нейрочип NeuroMatrixR NM6404 компании Модуль .......………Корпус нейрочипа МА16 компании Siemens ……….………...….Нейрокомпьютер ППК …………………………………………….Процессорный модуль ADP6701PCI компанииИнструментальные системы на базе ПЦОС TMS320C6701 ……Нейрокомпьютер DSP60V6 компании Инструментальныесистемы …………………………………………………………...ISA-нейроускоритель ZISC 036 компании IBM …………………PCI-нейроускоритель ZISC 036 компании IBM ………..………..Нейрокомпьютер Synapse 2 компании Siemens ………………….Прикладные нейрокомпьютеры Эмбрион ..……………..………..1681681721721721736PDF created with pdfFactory trial version www.pdffactory.com173173174174174175СПИСОК АББРЕВИАТУРАЛУ – арифметическо-логическое устройствоАЦП – аналого-цифровой преобразовательБВЭ – базовые вычислительные элементыБПФ – быстрое преобразование ФурьеВСМП – вычислительные системы с массовым параллелизмомДПП – двухпортовая памятьМП – микропроцессорМСП – матричные сигнальные процессорыОЗУ (RAM) – оперативное запоминающее устройствоПДП – прямой доступ к памятиПЗУ (ROM) – постоянное запоминающее устройствоПЛИС – перепрограммируемые логические интегральные схемыПК – персональный компьютерПЦОС (DSP) – процессор цифровой обработки сигналов (Digital Signal Processor)СКЗ – среднеквадратическое значениеСППР – система поддержки принятия решенийУП – управляющий процессорЦАП – цифроаналоговый преобразовательЦОС – цифровая обработка сигналовЦП (ЦПУ, CPU) – центральный процессор (центральное процессорное устройство, CentalProcessor Unit)ART – адаптивная резонансная теория (Adaptive Resonance Theory – вид нейронныхсетей)CIL – Chip-in-Loop (этап обучения нейронной сети)CPLD – устройство со сложной программируемой логикой (Complex Programmable LogicDevice)CPS – число соединений в секунду (Connection per Second)CUPS – число измененных значений весов соединений в секунду (Connection Update perSecond)DARAM – оперативное запоминающее устройство с двойным доступомEPROM – постоянное запоминающее устройство с ультрафиолетовым стираниемFPU – модуль, выполняющий операции с плавающей арифметикой (Floating-point Unit)INNTS –Intel Neural Network Training System (программный продукт)I/O – устройства ввода-вывода (Input/Output)MFLOPS – миллионов операций с плавающей точкой в секунду (Million Floating-PointOperation per Second)MIMD – вычислительная система с множественным потоком команд и данных (MultipleInstruction and Multiple-Data)MIPS – миллионов инструкций в секунду (Million Instruction per Second)MMAC – миллионов операций умножения с накоплением в секундуSBSRAM – синхронная пакетная статическая оперативная памятьSDRAM – статическая оперативная память с динамическим рандомизированнымдоступомSHARC – разновидность гарвардской архитектуры (Super Harvard ARChitecture,товарный знак компании Analog Devices)SIMD – вычислительная система с одиночным потоком команд и множественный потокданных (Single-Instruction and Multiple-Data)SNNS – Stuttgart Neural Network Simulator (разработка университета г.