Хайкин С. - Нейронные сети

НЕЙРОННЫЕ СЕТИ ПОлн~~й курс Издание второе, исправленное Саймон Хайкин Университет МсМазуее Гамильтон, Онтарио, Канада Москва е Санкт-Петербург ° Киев 2006 ББК 32.973.26-018.2.75 Х15 уДК 681.3.07 Издательский дом "Вильямс" Зав. редакцией С.Н.

7риеуб Перевод с английского. дт н. Н.Н. Куссуль, к.ты. А.Ю. Шехестоеп Под редикцией д.т.н. Н.Н. Куссуль По общим вопросам обращайтесь в Издательский дом "Вильямс" по адресу; !пго!юхч!!!!атпзрпЫ!змий.сопл Ьцр:дзнв ю.юП!вшзрпЫ)зЫпйсощ 115419,Москва, а)я 783; 03150, Киев, а)я 152 1ЯВ)ч) 5-8459-0890-6 (рус.) В книге рассматриваются основные парадигмы искусственных нейронных сетей. Представленный материал содержит строгое математическое обоснование всех нейросетевых парадигм, иллюстрируется примерами, описанием компьютерных экспериментов, содержит множество практических задач, а также обширную библиографию.

В книге также анализируется роль нейронных сетей при решении задач распознавания образов, управления и обработки сигналов. Структура книги очень удобна для разработки курсов обучения нейронным сетям и интеллектуальным вычислениям. Книга будет полезна для инженеров, специалистов в области компьютерных наук, физиков и специалистов в других областях, а также для всех тех, кто интересуется искусственными нейронными сетями. ББК 32.973.26-010.2.75 Все названия программных продуктов являются зарегистрированными торговыми марками соответствующих фирм.

Никаая часть настоящего издания нн в какик целях не может быть воспроизведена в какой бы то нн было форме и какими бы то ни было средствами, будь ю электронные или механические, включая фотокопирование и запись на магнитный носитель, если иа зто нет письменного разрешения издательства Ргеппсе Най, 1пс. Аойопж1 ггвпз!абоп Ггош йе ЕпййвЬ !апйнайе ейпоп рцЫ!зЬел Ьу Ргепйсе Най, СорупйЬг ® 1998 АП пйЬм гезегчей. Хо рап от йм Ьоой шау Ье юрпзйпсед ог папаш!пей !и апу гопп ог Ьу апу юеапз, е!еспопю ог гпесЬап!са1, !пс!шйпй РЬогосору|нй, гесоп)цщ ог Ьу апу !и!Оппы!оп в!отаве ге!печа! вуагегп, зййоцг регпнзз|Оп Ггош йе РцЫ!йег. йнзв!ап !апвцайе есйг!оп пвв рцЫ!зйгд Ьу цгййапп РоЫ)выпй Нопзе ассогдпщ го йе Айгеегпепг и!й йа! Епгегрпвез 1пгепюйопа), Соругщм © 2006 !с) Излатевьский дом "Вильямс", 2006 © Ргепбсе Наб, !пс„1999 !5ВХ 5-8459-0890-6 !Рус.) 15ВХ 0-!3-273350-! !англ.) Хайкин, Саймон.

Х15 Нейронные сети: полный курс, 2-е иэд., испр.: Пер. с англ. — М.: 000 "И.Д. Вильямс", 2006. — 1104 с.: ил. — Парал. тит. англ. Предисловие 22 1. Введение 31 2. Процессы обучения 3. Однослойный персептрон 171 4. Многослойный персептрон 6. Сети на основе радиальных базисных функций 6. Машины опорных векторов 218 417 7. Ассоциативные машины 6. Анализ главных компонентов 9. Карты самоорганизации 673 10. Модели на основе теории информации 11.

Стохастические машины и их аппроксимации в статистической механике 891 12. Нейродинамическое программирование 780 14. Нейродинамика 836 16. Динамически управляемые рекуррентные сети 16. Заключение 989 Библиография Предметный указатель 13. Временная обработка с использованием сетей прямого распространения Предисловие Благодарности Важные символы Открытые и закрытые интервалы Минимумы и максимумы 1. Введение 1.1.

Что такое нейронные сети Преимущества нейронных сетей 1.2. Человеческий мозг 1.3. Модели нейронов Типы функций активации Стохастическая модель нейрона 1.4. Представление нейронных сетей с помощью направленных графов 1.8. Обратная связь 1.6. Архитектура сетей Однослойные сети прямою распространения Многослойные сети прямою распространения Рекуррентные сети 1.7. Представление знаний Как встроить априорную информацию в структуру нейронной сети Квк встроить инварианты в структуру нейронной сети 1.8.

Искусственный интеллект и нейронные сети 1.9. Историческая справка Задачи Модели нейрона Сетевые архитектуры Представление знаний 2. Процессы обучения 2.1. Введение Структура главы 2.2. Обучение, основанное на коррекции ошибок 2.3. Обучение на основе памяти 2.4. Обучение Хебба гг 25 27 29 29 31 31 ЗЗ 37 42 45 48 49 52 55 55 55 56 58 63 65 70 75 83 83 86 88 89 90 91 93 95 Содержание ниэма елы ии модель Усиление и ослабление синаптической связи Математические модели предложенного Хеббом меха модификации синаптической связи 2.5.

Конкурентное обучение 2.6. Обучение Больцмана 2.7. Задача присваивания коэффициентов доверия 2.8. Обучение с учителем 2.9. Обучение без учителя Обучение с подкреплением, или нейродинамическое программирование Обучение без учителя 2.10. Задачи обучения Ассоциативная память Распознавание образов Аппроксимация функций Управление Фильтрация Формирование диаграммы направленности 2.11. Память Память в виде матрицы корреляции Извлечение иэ памяти 2.12. Адаптация 2.13. Статистическая природа процесса обучения Дилемма смещения и дисперсии 2.14.

Теория статистического обучения Некоторые основные определения Принцип минимизации эмпирическою риска НС-измерение Важность НС-измерения и ею оценка Конструктивные, независимые от распределения пред обобщающей способности обучаемых машин Минимизация структурною риска 2.15.

Вероятностно-корректная в смысле аппроксимац обучения Сложность обучающею множества Вычислительная сложность 2 16. Резюме и обсуждение Задачи Правила обучения Парадигмы обучения Память Адаптация Статистическая теория обучения 98 101 104 106 107 108 109 110 111 111 113 114 116 118 120 122 127 129 132 134 138 140 142 143 146 149 151 154 156 159 160 161 163 163 166 167 168 169 8 Содержание 3. Однослойный персептрон 3.1.

Введение Структура главы 3.2. Задача адаптивной фильтрации 3.3. Методы безусловной оптимизации Метод наискорейшею спуска Метод Ньютона Метод Гаусса-Ньютона 3.4. Линейный фильтр, построенный по методу наименьших квадратов Фильтр Винера как ограниченная форма линейною фильтра, построенного по методу наименьших квадратов, для зрюдической среды 3.5. Алгоритм минимизации среднеквадратической ошибки Граф передачи сигнала для алгоритма минимизации среднеквадратической ошибки Условия сходимости алюритма ~МЗ Преимущества и недостатки алюритма г.МЗ 3.8. Графики процесса обучения 3.7.

Изменение параметра скорости обучения по модели отжига 3.8. Персептрон 3.9. Теорема о сходимости персептрона 3.10. Взаимосвязь персептрона и байесовского классификатора в гауссовой среде Байесовский классификатор Байесовский классификатор и распределение Гаусса 3.11. Резюме и обсуждение Задачи Безусловная оптимизация Алюритм г.МЗ Персептрон Розенблатта 4. Многослойный персептрон 4.1.

Введение Структура главы 4.2. Вводные замечания Обозначения 4.3. Алгоритм обратного распространения Случай 1. Нейрон1 — выходной узел Случай 2. Нейрон1 — скрытый узел Два прохода вычислений Функция акгивэции 171 171 172 173 175 177 179 181 184 185 187 188 190 191 193 194 196 204 204 207 210 212 212 213 216 219 219 221 222 224 225 229 229 232 233 Содержание Скорость обучения Последовательный и пакетный режимы обучения Критерий останова 4.4. Алгоритм обратного распространения в краткой форме 4.5. Задача ХОгт 4.6.

Эвристические рекомендации по улучшению работы алгоритма обратного распространения 4.7. Представление выхода и решающее правило 4.8. Компьютерный эксперимент Байесовская граница решений Экспериментальное построение оптимальною многослойного парсептрона 4.9. Извлечение признаков Связь с линейным дискриминантом Фишера 4.10. Обратное распространение ошибки и дифференцирование Матрица якобиана 4.11. Гессиан 4.12. Обобщение Достаточный объем примеров обучения для корректною обобщения 4.13. Аппроксимация функций Теорема об универсальной аппроксимации Пределы ошибок аппроксимации "Проклятие размерности" Практические соображения 4.14. Перекрестная проверка Выбор модели Метод обучения с ранним остановом Варианты метода перекрестной проверки 4.15. Методы упрощения структуры сети Регуляризация сложности Упрощение структуры сети на основе Гессиана 4.16.

Преимущества и ограничения обучения методом обратного распространения Связность Извлечение признаков Аппроксимация функций Вычислительная эффективность Анализ чувствительности Робастность Скодимость Локальные минимумы Масштабирование 4.17. Ускорение сходимости процесса обучения методом обратного распространения 235 238 240 241 243 245 253 256 257 260 268 272 274 275 276 278 279 281 282 283 285 286 288 289 291 294 295 296 299 304 306 307 309 310 310 311 311 312 313 315 10 Содержание 4.18. Обучение с учителем как задача оптимизации Метод сопряженных градиентов Нелинейный алгоритм сопряженных градиентов в сжатом виде Квазиньютоновкие методы Сравнение квазиньютоновских методов с методом сопряженных градиентов 4.19.

Сети свертки 4.20. Резюме и обсуждение Задачи Задачи ХОй Обучение методом обратною распространения Перекрестная проверка Приемы упрощения сети Ускорение сходимости алгоритма обратного распространения Методы оптимизации второго порядка Компьютерное моделирование 5.

Сети на основе радиальных базисных функций 5.1. Введение Структура главы 5.2. Теорема Ковера о разделимости множеств Разделяющая способность поверхности 5.3. Задача интерполяции Теорема Мичелли 5.4. Обучение с учителем как плохо обусловленная задача восстановления гиперповерхности 5.5. Теория регуляризации Дифференциал Фреше функционала Тихонова Уравнение Эйлера-Лагранжа Функция Грина Решение задачи регуляризации Определение козффициентов разлакения Многомерные функции Гаусса 5.6.

Сети регуляризации 5.7. Обобщенные сети на основе радиальных базисных функций Взвешенная норма Рецептивные поля 5.8. Задача ХОгт(повторное рассмотрение) 5.9. Оценивание параметра регуляризации Среднеквадратическая ошибка Обобщенная перекрестная проверка Оптимальное свойство обобщенной функции перекрестной проверки И Заключительные комментарии 5.10. Свойства аппроксимации сетей гтВР 316 319 326 327 329 330 333 335 335 335 336 337 337 338 338 341 342 343 347 349 352 353 355 358 360 361 363 364 367 369 371 373 375 376 378 379 382 384 385 385 Содержание Универсальная теорема об аппроксимации "Проклятие размерности" (продолжение) Связь между сложностью обучающею множества, вычислительной сложностью и эффективностью обобщения 5.11.

Сравнение сетей йВР и многослойных персептронов 5.12. Регрессия ядра и ее связь с сетями йВР Мноюмерное распределение Гаусса 5.13. Стратегии обучения Случайный выбор фиксированных центров Выбор центров на основе самоорганизации Выбор центров с учителем Строгая интерполяция с регуляризацией 5.14.

Компьютерное моделирование: классификация образов 5.15. Резюме и обсуждение Задачи Радиальные базисные функции Сети регуляризации Порядок аппроксимации Оценка ядра Выбор центров с учителем Компьютерное моделирование 6. Машины опорных векторов 6.1. Введение Структура главы 6.2. Оптимальная гиперплоскость для линейно-разделимых образов Квадратичная оптимизация и поиск оптимальной гиперплоскости Статистические свойства оптимальной гиперплоскости 6.3. Оптимальная гиперплоскость для неразделимых образов 6.4. Как создать машину опорных векторов для задачи распознавания образов Ядро скалярною произведения Теорема Мерсера Оптимальная архитектура ыашины опорных векторов Примеры машин опорных векторов 6.5. Пример: задача ХОР (продолжение) 6.6.