Часть 1. Искусственные нейронные сети в задачах системного анализа (1245270), страница 2
Текст из файла (страница 2)
По сравнению с другими моделями нейронных сетей перцептрон допускал большую свободу установления связей и обладал способностью к обучению. Огромное значение имела теорема о сходимости алгоритма обучения перцептрона [74]. В 1960 г. была создана первая техническая реализация ИНС – перцептрон MARK-1.В 60-е годы разрабатывается множество моделей, методов и алгоритмовв области нейронных сетей – дисциплина быстро развивается.
Одна из разработок того времени – обучающаяся матрица Штейнбуха [80], системараспознавания образов, основанная на применении линейной дискриминантной функции. Тогда же Б. Уайдроу разрабатывает первое широко известное правило обучения (Madaline Rule 1) искусственных нейронных сетей, содержащих большое число линейных адаптивных элементов [85].Другая ранняя работа в этой области, посвященная обучению по методусоревнования, − алгоритм «поиска оптимального режима» Л. Старка,М.
Окашимы и Г. Уайпла [79]. За ней последовали работы по самоорганизации С. Мальцбурга [64] и С. Гроссберга [41]. К. Фукусима исследоваланалогичные методы и проблемы на имитирующих биологические структуры моделях, названных «Когнитрон» и «Неокогнитрон» [36, 37]. В то жевремя группой ученых Стэнфордского университета проводились исследования в области адаптивных систем на основе ИНС. Разрабатывались технические приложения, включающие распознавание образов и речи [81],прогнозирование погоды [52] и адаптивное управление [86].В 1969 г.
М. Минский и С. Пейперт в опубликованной ими книге [67]положили начало строгому математическому анализу перцептронныхсхем. Утверждалось, что однослойные нейронные сети имеют ограниченные репрезентативные возможности и обучение многослойных ИНС не-9продуктивно. Авторитет ученых был настолько велик, что публикация ихработы остановила процесс изучения проблемы более чем на 10 лет. Посленеудачных попыток разработки обучающих правил для многослойныхадаптивных сетей исследования переключились на проблемы адаптивнойфильтрации и обработки сигналов [88]. Применение адаптивной обработкисигналов оказалось весьма плодотворным для решения таких прикладныхзадач, как настройка антенн [87], создание систем управления [83] и анализсейсмических сигналов [84].
Исследования Р. Лаки в лабораториях Беллаположили начало коммерческому применению адаптивных фильтров и метода наименьших квадратов (МНК) для настройки высокоскоростных модемов [62, 63] и подавлению «эхо»-эффекта в телефонных и спутниковыхсетях [78]. Несмотря на ослабевший интерес к ИНС перцептронного типа,в 70-е годы появляется ряд работ по самоорганизации, среди которых −теория адаптивного резонанса (АРТ) С. Гроссберга, представляющая собойряд новых гипотез, касающихся управления биологическими нейросистемами [42]. АРТ-модели послужили основой для последующих работГ.
Карпентера и C. Гроссберга, рассматривающих три класса архитектурАРТ: АРТ1 [29], АРТ2 [30] и АРТ3 [31] представляющих собой самоорганизующуюся нейросетевую реализацию алгоритмов кластеризации изображений. К этому же периоду относятся исследования Дж. Альбуса, автора нейросетевой модели, известной как «мозжечковая модель суставногорегулятора (СМАС) [22]. Первоначально сети СМАС применялись дляуправления роботом-манипулятором, хотя возможности этих структурзначительно шире – они могут быть использованы для запоминания, восстановления и интерполяции функций многих переменных.Возрождение интереса к ИНС в большей мере связано с публикацией в1982 г.
работы Дж. Хопфилда, в которой исследовалась динамическаяструктура, предназначенная для решения оптимизационных задач [50]. Для10сетей Хопфилда были разработаны методы обучения, основанные на правиле Хэбба.Значительный успех в области нейронных сетей прямого действия принесла публикация в 1986 г. работы Д.
Румельхарта, Дж. Хинтона иР. Уильямса [75], в которой был предложен алгоритм обучения многослойных сетей перцептронного типа, получивший название «метод обратного распространения ошибки». Необходимо отметить, что метод был разработан и исследован еще в 1974 г. в докторской диссертации П. Вербоса[82], к сожалению, эта работа осталась незамеченной специалистами в области нейронных сетей. В 1982 г. Д.
Паркер заново открывает метод [70] ив 1985 г. представляет его в техническом отчете Массачусетского технологического института. Однако только ясное и четкое изложение материалаД. Румельхартом, Дж. Хинтоном и Р. Уильямсом приносит методу широкую популярность, и интерес к нейронным сетям и их приложениям приобретает характер нейробума. В развитие теории многослойных нейронных сетей значительный вклад внес российский ученый А.Н. Горбань – автор «принципа двойственности», позволяющего организовать экономныевычисления векторов градиента сложных функций (функционалов) [3].Решение этой задачи является основным этапом в процедуре обучениямногослойных ИНС.Важный класс ИНС разработан финским ученым Тейво Кохоненом в1982 г. [54, 55]. Самоорганизующиеся карты Кохонена являются мощнымнейросетевым средством анализа и визуализации многомерных данных.Карты используются для отображения нелинейных статистических взаимосвязей на легко интерпретируемые (обычно двумерные) решетки, подчеркивающие топологические и метрические зависимости анализируемыхданных.Другие значительные разработки последних десятилетий – это созданнаяБ.
Коско адаптивная двунаправленная ассоциативная память, базирующая-11ся на применении некоторых идей Хопфилда и Гроссберга [56]; вероятностные модели ИНС Дж. Хинтона и Р. Сежновского, на основе которыхД. Акли разработал структуру, известную под названием «машины Больцмана» [48, 49]. В этой нейросетевой архитектуре процесс обучения и принятия решений основан на моделировании процесса отжига металла, подчиняющегося больцмановской статистике.Представленный обзор дает лишь частичное представление о развитиидисциплины. Информация о нейросетевых парадигмах, не включенная вэтот обзор, может быть почерпнута из классического сборника статей подредакцией Дж. Андерсона и Е. Розенфельда [24].
Большинство из раннихработ области ИНС тщательно исследованы в монографии Н. Нильсона[68]. Некоторые интересные разработки представлены в популярном издании Д. Румельхарта и Дж. Макклиланда [69]. Другим источником являетсяотчет DRPA [34], дающий всесторонний и легко воспринимаемый обзорсостояния проблемы.Проблемам теории и практики ИНС посвящено большое количество периодических научных журналов, в частности, «Neural Networks» и «IEEETransactions on Neural Networks».
В России с 1992 г. издается журнал «Нейрокомпьютер».1.2. ОПРЕДЕЛЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙИ ИХ КЛАССИФИКАЦИЯНейронные сети являются предметом исследования целого ряда дисциплин, поэтому единое определение ИНС можно дать только с учетом различных точек зрения, адекватных разным направлениям науки [2].Математика / математическая статистика: ИНС − это системы, позволяющие сформировать описания характеристик случайных процессов(или их совокупности), сложные, многомодальные или априори неизвестные функции распределения.12Математическая логика / теория автоматов: ИНС − это системы, вкоторых алгоритм решения задачи представлен логической сетью элементов частного вида (нейронов) с полным отказом от булевских элементовтипа И, ИЛИ, НЕ. Нейроны объединяются специфическими взаимосвязями, носящими характер весовых коэффициентов.Теория управления: В качестве модели объекта управления или непосредственно регулятора выбирается нейронная сеть, а динамический процесс ее настройки представляет собой процесс синтеза системы управления.Вычислительная математика / информатика: ИНС – структура, реализующая алгоритм решения поставленной задачи, причем процесс вычислений является более параллельным, чем в случае любой другой физической реализации.Вычислительная техника: ИНС (аппаратная реализация) − это вычислительная система с архитектурой MSIMD [18], в которой реализованы двапринципиально новых технических решения:• упрощен до уровня нейрона процессорный элемент однородной структуры и резко усложнены связи между элементами;• программирование вычислительной структуры перенесено на изменениевесовых связей между процессорными элементами.В общем случае ИНС может рассматриваться как направленный граф совзвешенными связями, в котором узлами являются элементарные процессорные элементы – искусственные нейроны [6].
По архитектуре связейИНС могут быть разделены на два основных класса (рис. 1.1): сети прямого действия, в которых графы не имеют петель, и рекуррентные сети, илисети с обратными связями.Наиболее распространенным семейством сетей прямого действия являются многослойные перцептроны, в них нейроны расположены слоями исоединены однонаправленными связями, идущими от входа к выходу сети.Сети прямого действия являются статическими в том смысле, что на за-13данный вход они вырабатывают одну совокупность выходных значений,не зависящих от предыдущего состояния сети. Рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируютсявходы нейронов, что приводит к изменению состояния сети.В настоящей работе рассматривается категория многослойных сетей перцептронного типа, предназначенных для реализации нелинейных отображений входо-выходных последовательностей экспериментальных данных.Искусственныенейронные сети (НС)Нейронные сетипрямого действияОднослойныеперцептроныМногослойныеперцептроныРекуррентные нейронныесети (с обратными связями)СетиРБФСоревновательные сетиСетиКохоненаСетиХопфилдаМоделиАРТРис.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
