rpd000005972 (010400 (01.03.02).Б1 Информатика), страница 2

1. УЧЕБНО-МЕТОДИЧЕСКОЕ И ИНФОРМАЦИОННОЕ ОБЕСПЕЧЕНИЕ ДИСЦИПЛИНЫ

а)основная литература:

1. Ежов А. А., Шумский С. А. Нейрокомпьютинг и его приложения в экономике и бизнесе. -М.: Изд-во МИФИ, 1998. - 224 с.

2. Зиновьев А. Ю. Визуализация многомерных данных. - Красноярск: Изд-во ИВМ СО РАН, 2001.-180 с.

3. Комашинский В. И. Нейронные сети и их применение в системах управления и связи. -М: Горячая линия-Телеком, 2003. - 94 с.

4. Круглое В. В., Борисов В. В. Искусственные нейронные сети: Теория и практика. - 2-е изд. - М.: Горячая линия-Телеком, 2002. - 382 с.

б)дополнительная литература:

1. Каллан Р. Основные концепции нейронных сетей: Пер. с англ. - М.: Вильяме, 2001. -287 с.

2. Осовский С. Нейронные сети для обработки информации: Пер. с польск. - М.: Финансы и статистика, 2002. - 344 с.

3. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. - М.: Горячая линия-Телеком, 2006. - 452 с.

4. Автоматы: Сб. статей под ред. К.Э.Шеннона Дж.Маккарти: Пер. с англ. под ред. А. А. Ляпунова. - М: ИЛ, 1956. - 403 с.

5. Айзерман М.А., Браверман Э. М., Розоноэр Л. И. Метод потенциальных функций в теории обучения машин. - М.: Наука, 1970. - 384 с.

6. Васильев В. И. Проблема обучения распознаванию образов: Принципы, алгоритмы, реализация. - Киев: Вища школа, 1989. - 64 с.

7. Верхаген К. и др. Распознавание образов: Состояние и перспективы: Пер. с англ. - М.: Радио и связь, 1985. - 104 с.

8. Горбанъ А. Н., Россиев Д. А. Нейронные сети на персональном компьютере. - Новосибирск: Наука, 1996.-276 с.

9. Горбань А. К, Дунин-Барковский В. Л. и др. Нейроинформатика / Под ред. Е. А. Новикова. - Новосибирск: Наука, 1998. - 296 с.

10. Минский М., Пейперт С. Персептроны: Пер. с англ. - М.: Мир, 1971.-261 с.

11. Розенблатт Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга: Пер. с англ. - М.: Мир, 1965. - 480 с.

12. Уидроу Б., Стирнз С. Адаптивная обработка сигналов: Пер. с англ. - М.: Радио и связь, 1989.-440 с.

в)программное обеспечение, Интернет-ресурсы, электронные библиотечные системы:

1. МАТЕРИАЛЬНО-ТЕХНИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ДИСЦИПЛИНЫ

• Класс персональных ЭВМ, объединенных в сеть.

• Проектор или плазменная панель для показа графических и демонстрационных материалов.

Приложение 1
к рабочей программе дисциплины
«Нейроинформатика »

Аннотация рабочей программы

Дисциплина Нейроинформатика является частью Профессионального цикла дисциплин подготовки студентов по направлению подготовки Прикладная математика и информатика. Дисциплина реализуется на 8 факультете «Московского авиационного института (национального исследовательского университета)» кафедрой (кафедрами) 806.

Дисциплина нацелена на формирование следующих компетенций: ПК-8 ,ДПК-18.

Содержание дисциплины охватывает круг вопросов, связанных с: методами формализации сложных систем на основе концепций искусственных нейронных сетей, а также методами решения разнообразных вычислительных задач с использованием нейронных сетей.

Преподавание дисциплины предусматривает следующие формы организации учебного процесса: Лекция, мастер-класс, Практическое занятие, Лабораторная работа.

Программой дисциплины предусмотрены следующие виды контроля: промежуточная аттестация в форме Экзамен (7 семестр).

Общая трудоемкость освоения дисциплины составляет 4 зачетных единиц, 144 часов. Программой дисциплины предусмотрены лекционные (16 часов), практические (20 часов), лабораторные (32 часов) занятия и (49 часов) самостоятельной работы студента.

Приложение 2
к рабочей программе дисциплины
«Нейроинформатика »

Cодержание учебных занятий

1. Лекции

1.1.1. НС-модели как математические и компьютерные модели, основанные на использовании искусственных нейронных сетей.(АЗ: 2, СРС: 1)

Тип лекции: Информационная лекция

Форма организации: Лекция, мастер-класс

Описание: Двойственность моделей и систем, соотношение их на синтаксическом, семантическом и прагматическом уровне. Принципиальные недостатки традиционных математических и компьютерных моделей, возможности НС-моделирования по устранению этих недостатков

1.1.2. Типовые задачи.(АЗ: 4, СРС: 2)

Тип лекции: Информационная лекция

Форма организации: Лекция, мастер-класс

Описание: 2.1. Представление зависимостей между величинами. Входные и выходные величины, возможные комбинации их видов. Модели как отображения входных величин в выходные. Статические и динамические зависимости между величинами. Общие подходы к получению статических и динамических моделей. Примеры статических и динамических моделей.

2.2. Классификация данных. Формулировка задачи классификации. Задачи классификации и распознавания объектов, анализ сцен. Основные черты задач классификации. Проблема представления объектов классификации: признаки, признаковые пространства. Источники разнообразия классифицируемых объектов, трудности классификации отдельных объектов; проблемы разделимости классов. Связь задач классификации и аппроксимации. Примеры задач классификации: классификация и распознавание букв из алфавита; распознавание речи.

2.3. Выявление закономерностей в данных. Выявление закономерностей в данных как проблема формирования вектора признаков в задачах классификации/распознавания в ситуациях со значительным уровнем разнообразия и неопределенностей в свойствах классифицирумых объектов/явлений. Статические и динамические задачи выявления закономерностей в данных. Проблема узнавания по М. М. Бонгарду как пример, поясняющий эту проблему применительно к статическим моделям. Пример выявления закономерностей в динамических моделях — система технической диагностики и предотвращения аварий.

2.4. Кластеризация данных. Формулировка задачи кластеризации. Информация о взаимном расположении классифицирумых объектов и ее роль в решении задач кластеризации. Взаимосвязи между задачами классификации данных, выявления закономерностей в данных и кластеризации данных.

2.5. Сжатие данных. Размерность и разрядность данных. Связь длины описания данных с их размерностью и разрядностью. Виды кодирования данных: понижение размерности, уменьшение разнообразия данных за счет понижения их разрядности. Два типа сжатия данных: понижение размерности (описание данных меньшим числом компонент) и квантование (кластеризация) для уменьшения разнообразия данных; комбинированные методы сжатия. Роль НС-моделей в задачах сжатия данных.

2.6. Визуализация данных. Упорядочение многомерной входной информации в виде одномерных, двумерных и трехмерных карт.

2.7. Ассоциативная память. Основные виды ассоциативной памяти: гетероассоциативная память и автоассоциативная память. Функции гетероассоциативной и автоассоциативной памяти в режимах записи и воспроизведения, интерпретация этих видов памяти в нейрофизиологии и информатике.

2.8. Оптимизация. Задача коммивояжера как один из видов задач целочисленного программирования, трудных для решения традиционными средствами. Сеть Хопфилда как альтернативный подход к решению задачи коммивояжера средствами НС-моделирования .

1.1.3. Важнейшие (фундаментальные) идеи, на которых основано НС-моделирование. (АЗ: 2, СРС: 1)

Тип лекции: Информационная лекция

Форма организации: Лекция, мастер-класс

Описание: Представление зависимостей от многих величин через зависимости-примитивы от одной величины. Сетевая (композиционная) связь между величинами и зависимостями-примитивами в НС-модели. Использование обучения как инструмента формирования и настройки НС-модели.

Основные структурные элементы НС-моделей. Нейрон. Слой нейронов. Многослойная (слоистая) сеть. Прямые, обратные и латеральные связи в НС-моделях. Иллюстративные примеры структурной организации НС-моделей. Сопоставление основных особенностей организации и функционирования традиционных и нейросетевых моделей. Подходы к обучению НС-моделей

1.1.4. Персептрон Розенблатта(АЗ: 2, СРС: 1)

Тип лекции: Информационная лекция

Форма организации: Лекция, мастер-класс

Описание: Архитектура персептрона, однонейронный вариант, персептрон общего вида. Обучающее правило персептрона. Процедура обучения персептрона. Ограничения персептронной модели

1.1.5. Постулат Хебба.(АЗ: 2, СРС: 1)

Тип лекции: Информационная лекция

Форма организации: Лекция, мастер-класс

Описание: Правило обучения Хебба. Линейный ассоциатор, обучение его с помощью правила Хебба. Свойства хеббовского обучения.

Линейный ассоциатор. Псевдоинверсное правило обучения. Автоассоциативная память. Сравнение линейного ассоциатора и автоассоциатора, их обучения с помощью хеббовского правила.

Варианты правила Хебба: вариант с изменяемой скоростью обучения; вариант с забыванием; вариант, учитывающий фактический выход сети; варианты для обучения без учителя

1.1.6. Правило Уидроу-Хоффа(АЗ: 2, СРС: 1)

Тип лекции: Информационная лекция

Форма организации: Лекция, мастер-класс

Описание: Сеть ADALINE, ее общая структура. Сравнение ADALINE и персептрона. Сравнение ADALINE и адаптивного линейного сумматора. Алгоритм работы ADALINE. Простейшая линейная сеть. Сеть ADALINE в варианте Уидроу. Сеть MADALINE.

Обучающий алгоритм LMS. Применение алгоритма LMS для сети ADALINE. Работа алгоритма LMS. Матричная форма алгоритма LMS.

Правило Уидроу-Хоффа и задача адаптивной фиильтрации. Адаптивное шумоподавление. Адаптивный экстраполятор

1.1.7. Многослойные сети прямого распространения.(АЗ: 2, СРС: 1)

Тип лекции: Информационная лекция

Форма организации: Лекция, мастер-класс

Описание: Линейные многослойные сети, ограниченность этой модели. Нелинейный нейрон. Активационные функции, их виды, роль в сети. Однослойная и многослойная нелинейные сети.

Многослойные сети прямого распространения в задачах классификации. Проблема разделимости классов, линейная и нелинейная разделимость. Задача «Исключающее ИЛИ» и ее решение с помощью двухслойной нелинейной сети.

Многослойные сети прямого распространения в задачах аппроксимации функций. Приближенное представление зависимостей. Обучающий набор и его формирование. Взаимодействие обучающего набора и обучаемой сети в процессе обучения. Аппроксимация нейросетевой моделью отображения общего вида

1. Практические занятия

1.1.1. Обучение многослойных сетей прямого распространения.(АЗ: 4, СРС: 1)

Форма организации: Практическое занятие

Описание: Общая схема процесса обучения нейросети. Алгоритм обратного распространения ошибки — общая схема. Частный случай однослойной сети, ошибка сети и дельта-правило.

Алгоритм обратного распространения ошибки — общая схема. Цепное правило дифференцирования и его роль в алгоритме обратного распространения ошибки. Сопоставление алгоритма наискорейшего спуска и алгоритма LMS для минимизации ошибки сети.

Алгоритм обратного распространения ошибки — вывод выражений для корректировки синаптических весов выходного и скрытых слоев сети. Алгоритм обратного распространения ошибки как обобщение алгоритма LMS.

Алгоритм обратного распространения ошибки — графическая форма вывода выражений для корректировки синаптических весов выходного и скрытых слоев сети

1.1.2. Применение сетей прямого распространения.(АЗ: 2, СРС: 1)

Форма организации: Практическое занятие

Описание: Аппроксимация функции сетью. Варьирование параметров сети и его влияние на получаемый выход сети. Выбор архитектуры сети: число слоев, число элементов в скрытых слоях. Сходимость процесса обучения сети и влияние на нее архитектуры сети.

Обобщающие свойства сетей. Влияние архитектуры сети на ее обобщающие свойства. Проблемы, возникающие при обучении сетей: недообученность и переобученность сетей. Критическое число эпох процесса обучения.