Хайкин С. - Нейронные сети, страница 3

Модель Хопфилда Соотношение между устойчивыми состояниями дискретной и непрерывной версии модели Хопфилда Дискретная модель Хопфилда как ассоциативная память Ложные состояния Емкость сети Хопфилда 14.8. Компьютерное моделирование 1 14.9. Теорема Коэна — Гроссберга Модель Хопфилда как частный случай теоремы Коэна-Гроссберга 14.10. Модель ВВВ Функция Ляпунова модели ВЗВ 809 812 813 815 818 820 821 827 829 830 830 831 831 832 835 835 836 837 838 840 841 842 843 846 848 849 849 850 853 854 856 860 862 870 871 876 880 883 884 885 18 Содержание Динамика модели ВВВ Кластеризация 14.11. Компьютерное моделирование 2 14.12. Странные аттракторы и хаос Инвариантные характеристики хаотической динамики 14.13.

Динамическое восстановление Рекурсивное пропюзирование Две возможные формулировки рекурсивного пропюзирования Динамическое восстановление как плохо обусловленная задача фильтрации 14.14. Компьютерное моделирование 3 Выбор параметров т и Х 14.15. Резюме и обсуждение Задачи Динамические системы Модели Хопфилда Теорема Коэна-Гроссберга 15. Динамически управляемые рекуррентные сети 15.1. Введение Структура главы 15.2.

Архитектуры рекуррентных сетей Рекуррентная модель "вход-выход" Модель в пространстве состояний Рекуррентный многослойный персептрон Сеть второю порядка 15.3. Модель в пространстве состояний Управляемость и наблюдаемость Локальная управляемость Локальная наблюдаемость 15.4. Нелинейная автогрессия с внешней моделью входов 15.5. Вычислительная мощность рекуррентных сетей 15.8. Алгоритмы обучения Некоторые эвристики 15.7. Обратное распространение во времени Обратное распространение по эпохам во времени Усеченное обратное распространение во времени Некоторые практические соглашения 15.8.

Рекуррентное обучение в реальном времени Усиление учителем 15.9. Фильтр Калмана Фильтр Калмана на основе квадратного корня 15.10. Несвязный расширенный фильтр Калмана 888 889 891 893 894 899 901 903 903 904 907 908 912 912 912 917 Э1Э 919 920 921 921 923 925 925 928 930 932 934 936 937 941 942 943 945 946 947 949 955 956 960 960 Содержание 19 964 965 965 965 968 971 973 16. Заключение 16.1. Интеллектуальные системы Библиография 990 Предметный указатель 1069 Искусственный шум процесса Полное описание алгоритма 0ЕКЕ Вычислительная сложность 15.11. Компьютерное моделирование 15.12.

Обращение в нуль градиентов в рекуррентных сетях Допюсрочные зависимости 15.13. Системная идентификация Идентификация систем с использованием модели в пространстве состояний Модель в терминах "вход-выход" 15.14. Адаптивное управление на основе эталонной модели 15.15. Резюме и обсуждение Задачи Модель в пространстве состояний Модель нелинейной авторегрессии с зкзогенными входами (НАКХ) Алюритм ВРТТ Алюритм рекуррентною обучения в реальном времени Алюритм несвязной расширенной фильтрации Калмана Рекуррентные сети второю порядка 974 976 977 979 982 982 983 985 985 986 987 Огромному количеству исследователей нейронных сетей за их творческий вклад, всем критикам за их замечанил, моим многочисленным аспирантам за их живой интерес и моей супруге Нэнси за ее терпение и понимание Предисловие Нейронные сети, или, точнее, искусственные нейронные сети, представляют собой технологию, уходящую корнями во множество дисциплин: нейрофизиологию, математику, статистику, физику, компьютерные науки и технику.

Они находят свое применение в таких разнородных областях, как моделирование, анализ временных рядов, распознавание образов, обработка сигналов и управление благодаря одному важному свойству — способности обучаться на основе данных при участии учителя или без его вмешательства. Эта книга предлагает исчерпывающее описание нейронных сетей, учитывая многодисциплинариую природу этого предмета.

Представленный в книге материал насыщен примерами, описанием компьютерных экспериментов, содержит множество задач по каждому разделу, а также обширную библиографию. Книга состоит из четырех частей, организованных следующим образом. Вводная часть (главы 1 и 2). В главе 1 на качественном уровне рассматривается сущность нейронных сетей, их свойства, возможности и связь с другими дисциплинами искусственного интеллекта. Глава завершается некоторыми историческими заметками. В главе 2 представлен обзор основных подходов к обучению и их статистических свойств.

В этой главе вводится важное понятие измерения Вапника— Червоненкиса, используемое в качестве меры возможности обучаемой машины реализовать семейство функций классификации. Обучение с учителем — основному предмету обсуждения посвящены главы 3 — 7. В главе 3 рассматривается простейший класс нейронных сетей — сети с одним или несколькими выходными нейронами, не содержащие скрытого слоя. В этой главе рассматриваются алгоритм метода наименьших квадратов (очень популярный при создании линейных адаптивных фильтров) и теорема о сходимости персептрона. В главе 4 приводится исчерпывающее описание многослойного персептрона, обучаемого на основе алгоритма обратного распространения. Этот алгоритм (представляющий собой обобщение метода наименьших квадратов) стал основной рабочей лошадкой нейронных сетей.

В главе 5 содержится подробное математическое представление другого класса многослойных нейронных сетей — сетей на основе радиальны» базисных функиий (ВВг-сетей), включающих отдельный слой базисных функций. Основной акцент в этой главе делается на роли теории регулярнзации при создании ВВГ-сетей. В гла- Предисловие 28 ве б рассматривается сравнительно новый класс обучаемых систем, известных под названием ма>мины опорных векторов. Теория таких систем базируется иа материале главы 2, посвящеииом статистической теории обучения. Вторая часть книги завершается главой 7, в которой обсуждаются ассоциативные машины, включающие в качестве своих компонентов несколько отдельно обучаемых систем. В этой главе рассматриваются три различных подхода к построению ассоциативных машин — методы усреднения по ансамблю, усиления и иерархического смешения мнений экспертов.

Обучению без учителя посвящены главы 8-12. В главе 8 Хеббовское правило обучения применяется для решения задачи анализа главных компонентов. В главе 9 описывается еще одна форма обучения иа основе самоорганизации, — конкурентное обучение, — применяемое для построения вычислительных отображений, получивших иазааиие карт самоорганизации. Эти две парадигмы отличаются в основном правилами обучения, уходящими корнями в область иейробиологии.

Глава 10 посвящена теории информации, применяемой для создания алгоритмов обучения без учителя, а также их применению к решению задач моделирования, обработки изоГ>ражсн»й и анализа независимых каипонеюпов. В главе 11 рассматриваются вопросы обучения машин иа основе принципов статистической механики. Эта тематика близко примыкает к материалу предыдущей главы, посвященной вопросам теории информации. В главе 12, которая завершает третью часть книги, вводится понятие динамического программирования и анализируется его взаимосвязь с обучением с подкреплением.

Нелинейные динамические системы — предмет изучения глав 13 — 15. В главе 13 описывается класс динамических систем иа основе краткосрочной памяти и многослойиых нейросетевых структур прямого распространения. В главе 14 основное внимание уделяется вопросам устойчивости, возникающим в нелинейных динамических системах при наличии обратной связи. Приводятся примеры ассоциативной памяти.

В главе 15 рассматривается еще один класс нелинейных динамических систем— рекуррентные сети, основанные иа использовании обратной связи при построении отображения вход-выход. В закпючеиии кратко анализируется роль нейронных сетей при создании интеллектуальныхмашин распознавания образов, управления и обработки сигналов. Структура книги обеспечивает большую гибкость при разработке различных курсов обучения нейронным сетям. Выбор конкретных тем для изучения должен определяться только интересами аудитории, использующей эту книгу.

В книге описывается пятнадцать компьютерных экспериментов, тринадцать из которых рассчитаны иа использование МАТ1.АВ. Файлы для выполнения этих эксперимеитов в среде МАТ1АВ можно найти по адресу 2~р > // хср . л>асЬиох1сз . сол>/ рцЬ/Ьоо1сл/Ьау1схп или ЬТСр://ь>иь>.п>а~Ьиох1сл.соа>/Ьоо1св/ Во втором случае пользователь должен щелкнуть иа ссылке Хецга1/гцхху, а затем — иа названии книги. Такой подход обеспечивает более удобный интерфейс польювателя.

24 Предисловив Каждая глава завершается несколькими упражнениями. Многие из этих задач являются творческими и призваны не только проверить качество усвоения материала, но и подтолкнуть к дальнейшему развитию соответствующей тематики. Решения всех задач содержатся в руководстве, копии которого могут получить преподаватели, использующие в своих курсах настояшую книгу. Для этого они должны обратиться в издательство Ргепйсе На!1. Книга рассчитана на инженеров, специалистов в области компьютерных наук и физиков.

Автор надеется, что книга будет интересна также специалистам в других областях, таких как психология и нейробиология. Саймон Хайкин, Гамильтон, Онтарио, февраль 1998 г. От издательства Е-ша!1: %%%: хпйоймх11хатарцЬ1хвЬхпд.сот йсср://иии.их11зашврцЬ1звЬзпд.сом Адреса для писем из России: 115419,Москва, а/я 783 Украины: 03150, Киев, а/я 152 Вы, читатель этой книги, и есть главный ее критик и комментатор. Мы ценим ваше мнение и хотим знать, что было сделано нами правильно, что можно было сделать лучше и что еше вы хотели бы увидеть изданным нами. Нам интересно услышать и любые другие замечания, которые вам хотелось бы высказать в наш адрес. Мы ждем ваших комментариев и надеемся на них. Вы можете прислать нам бумажное или электронное письмо либо просто посетить наш ЖеЬ-сервер и оставить свои замечания там.