Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение

УДК 519.71 Р 83 ББК 0О4.З8З.8 Бодянский Е.В., Руденко О.Г. Искусственные нейронные сети: архитектуры, обучение, применения.— Харьков: ТЕЛЕТЕХ, 2004. — 369 с.: ил. 1ЯВЬ1 966-95416-2-2 В монографии с единых позиций рассмотрены основные типы нейронов, архитектур, алгоритмов обучения искусственных нейронных сетей. Особое внимание уделяется задачам обработки информации в реальном времени: классификации, эмуляции, прогнозирования, управления и т.п. в условиях структурной и параметрической неопределенности. Наряду с традиционными книга содержит оригинальные результаты, связанные с оптимизацией процессов обучения. Для специалистов в области информационных технологий, в том числе вычислительного интеллекта, компьютерной обработки данных, современной теории управления. Может быть полезна студентам старших курсов и аспирантам соответствующих специальностей.

ВодуапяИу УеХ., КпдепКо О.С. Аг11йс1а1 пепга1 пе1ччогМ: агс1п1ес1пгея, 1еагп1па, аррйса11опя. 1п Й1я шоподгарЬ, Ьаяс Фурея о1 пепгопз, агсЫесшгез, апд 1еагп1пд а1допгЬшя о1' агб11с1а1 пеига1 пе1ччог1ь аге сопяс1егей 1гот 1Ье пп111ес1 з1апдрош1. Ярес1а1 ешрЬаяя 1я р1асед оп геа1-11ше пйогша11оп ргосеьяпд, ччЬ1сЬ 1пс!идея с1аяяйсайоп, ешп!айоп, 1огесаяшд, соп1го1, егс„шн$ег яггисШга1 апс1 рагаше1пс ипсегга1п1у. ТЬе ЬооК сочегз, а1опд в11Ь Фе 1гай11опа1 арргоасЬез, гюше ог1рпа1 геы11я ш ор11ппка11оп о1 1еагп1пд ргосеяяея. ТЬе шоподгарЬ ь 1пгепс1ес$1ог 1Ье ярес1а11яя ш 1п1огша11оп гесЬпо1орез, шс1ийпд сошри1а11опа1 ш1е111депсе, сошригег-аЫес1 сЫа ргосеяяпя, шодегп сопсго1 1Ьеогу.

11 сап а1яо Ье пяе1п1 Ког 1Ье ипдегдгадиа1е анси дгас1паге яис$епгя ярес1а1яшд 1п 1Ье соггеяропйпд Йе1с1я. Рецензенты: д-р техн, наук, профессор Дмитриенко В.Д. (Национальный технический университет "ХПИ"); д-р техн. наук, профессор Соколов А.Ю. (Национальный аэрокосмический университет им. Н.Е. Жуковского "ХАИ") 1ЯВЬ1 966-95416-2-2 ВВЕДЕНИЕ ВВЕДЕНИЕ 90-е годы двадцатого столетия характеризуются интенсивным всплеском исследований в области искусственных нейронных сетей (ИНС) [1-9~. Новаторская работа Уоррена Маккаллоха и Уолтера Питтса [101 дала начало исследованиям в области науки, которая интегрировала в себе подходы, модели и выводы нейрофизиологии, математики, физики, компьютерной инженерии, бионики, педагогики и других областей и продолжает развиваться, успешно завоевывая новые области. Наличие значительного внимания к нейросетевым технологиям, проявляемого со стороны академических ученых, инженеров- информатиков и пользователей- практиков различных сфер деятельности, подтверждается огромным количеством публикаций в научной периодике.

В 1990 году 1пх1г1ггге о[Е1есгггса1 апс1 Е1есггопгсх Еггрпеегх (1ЕЕЕ) выпустил в свет первый номер своего журнала "Тгсгпасггот 1ЕЕЕ оп №ига1 Неги ого',а уже через год число публикаций по данной проблеме увеличилось на 50%. На сегодня число журналов и сборников, посвященных ИНС, перевалило за сотню, в которой среди важнейших можно назвать "1пгегпаггогга1 3оигпа1 о~ Меггга1 Зумепгь", "Неига1 Кегггог1сз", "Мегггос ггггриггггд", "Хеига1 Сопгригаггоп", "1оипа1 о1 1пге11гдеггг Лухгепгл", "Мегггог1г: Сопгригаггоп гп Уеига1 Яукгегггь", "Сопггесггопгхг Ьсгепсе", ".1оггта1 о1' Неига1 Согприггпге", "Агг11гсга1 1пге11гдепсе апс1 СояпггЫе Яехеагс1г" и другие.

В России этой проблеме посвящен журнал "Нейрокомпыопгеры", в Украине — соответствующие разделы в журнале "Радгоелектронгг<а. 1ггформатиксь. Управлгггггя", сборнике "Проблемы биопики", других периодических изданиях. На сегодня есть все основания говорить о достижении определенных успехов нейросетевых технологий в решении сложных задач как чисто научных, так и в сфере техники, бизнеса, финансов, медицинской диагностики, других областях, связанных с интеллектуальной деятельностью.

Если исходно исследования в области ИНС базировались на использовании моделей биологических нейронов У. Маккаллоха — У. Питтса и Ф. Розенблатта [11, 12~ (справедливости ради следует заметить, что еще в конце девятнадцатого века З.Фрейд пытался построить электрическую схему, моделирующую работу нервной системы [13], однако, к сожалению, эти работы не получили развития и были забыты), то сегодня нейросетевые технологии обогатились многими моделями, основанными на реалиях физики, генетики, компьютерных наук.

В настоящее время в области ИНС работают ученые различных направлений таких, как компьютерные науки и инженерия, математика, физика, биология, психология, нейрофизиология, использующие различные подходы и методы и ставящие перед собой различные задачи, в связи с чем довольно трудно рассуждать о теории искусственных нейронных сетей как о чем-то монолитно целом. Сегодня можно уже говорить о проектировании ИНС, занимающимся архитектурами сетей [141, ней роматематике, исследующей процессы обучения ИНС [15-18~, нейрокомпьютинге, связанном с распараллеливанием вычислений [19-211, нейроморфной инженерии, занимающейся решением прикладных проблем [22-43).

Рассматривая ИНС с более высокого уровня, можно говорить о них как о самостоятельном направлении в теории интеллектуальных систем [44), с которыми их роднит [9) способность к накоплению и обобщению информации, использованию ее для решения проблем и накоплению новых знаний в процессе функционирования. Отличия же нейросетей от прочих интеллектуальных систем определяются их способностью к обучению по набору примеров, их запоминанию, формированию ассоциаций, восстановлению и воспроизведению данных и знаний. устойчивостью к сбоям, повышенной надежностью [7). В качестве определяющего отличительного признака ИНС все же следует выделить их способность к обучению, запоминанию и восстановлению даже искаженной информации. Появление ИНС связано с пониманием того, что мозг живого организма работает иначе, чем компьютер. Человеческий мозг — это очень сложная нелинейная параллельная информационно-управляющая система способная к мышлению, накоплению и восстановлению информации, решению проблем.

Эта система состоит из достаточно однотипных строительных блоков нервных клеток, или нейронов, представляющих собой простые элементы обработки сигналов, которые получают и комбинируют информацию от других нейронов через входы — дендриты. Если объединенный по всем входам сигнал достаточно силен, нейрон переходит в возбужденное состояние (" возбуждается" ), генерируя сигнал на выходе - аксоне, который связан с дендритами множества других нейронов. Каждый сигнал, поступающий в нейрон, проходит через синаптич еское соединение, где в результате электрохимических процессов поток электрических зарядов или ускоряется, или замедляется. Именно изменения проводимости синаптических связей лежат в основе процессов обучения и запоминания информации.

Мозг человека содержит порядка 10" нейронов, каждый из которых своим выходом соединен примерно с 1000 других нейронов. Таким образом в мозгу существует около 10 синаптических связей, которые определяют его функционирование. Интересно заметить, что обработка информации в нейронах происходит достаточно медленно, тактовая частота мозга составляет 400 — 500 Гц [7), в то время как современные компьютеры работают в гигагерцевом диапазоне. Однако мозг способен решать проблемы, которые не под силу самой совершенной ЭВМ, благодаря параллельной организации вычислительных процессов, избыточности и "пластичности", позволяющим живому организму адаптироваться к окружающей среде и решать сложные проблемы в условиях существенной информационной неопределенности.

Искусственная нейронная сеть — это машина, которая спроектирована для моделирования функций мозга и подобно ему имеет многослойную иерархическую структуру и способность к обучению. Нейробиологи смотрят на ИНС как на исследовательский инструмент для интерпретации нейробиологических феноменов [6), инженеры ожидают от ИНС чрезвычайно эффективных вычислительных возможностей, благодаря избыточности и распараллеливанию, хотя и те и другие хотят значительно больше, чем ВВЕДЕНИЕ нейросети сегодня способны дать. Следует помнить, что современные нейронные сети содержат порядка 10" нейронов и несколько миллионов синаптических связей [431, что конечно явно недостаточно для решения полноценных интеллектуальных проблем. С инженерной точки зрения ИНС вЂ” это параллельно распределенная система обработки информации, образованная тесно связанными простыми вычислительными узлами (однотипными или различными), которая имеет свойство накапливать экспериментальные знания, обобщать их и делать доступными для пользователя в форме удобной для интерпретации и принятия решений.

Функционирование ИНС отражает работу мозга в двух аспектах [271: ~ знания накапливаются из окружающей среды в процессе обучения; ~ обучение происходит путем изменения (целенаправленного или случайного) силы связи между нейронами (синаптических весов) либо топологии (архитектуры) сети. На сегодня ИНС принято классифицировать по следующим признакам [4, по типу образующих сеть нейронов-узлов; ~ по способу обучения; 1 по архитектуре (топологии) сети; )~ по функциям, реализуемым сетью, Основным строительным блоком ИНС является формальный или искусственный нейрон (он же узел сети), представляющий собой или электронную, или математическую, или алгоритмическую, или программно реализованную модель, чьи элементы имеют прямые аналоги компонент биологических нейронов. На рис. 0.1 приведены наиболее распространенные обозначения элементарных нейронов, реализующих так называемые примитивные функции [41: а) у =у(и,х, +м~,х, +и,х, +...+и„х„) х„ 1 г) а = 1'(И'р+6) Рис.