Пример ДЗ от преподавателя

Московский Государственный Технический Университет им. Н.Э.Баумана

Домашнее задание по курсу:

«Нейросетевое моделирование»

Выполнил: студент группы МТ 11-112

Юров Д.Н.

Проверил: Панфилова Е.В.

2013 г.

1. Описание системы

В качестве изучаемой системы выбраны 2 группы кафедры МТ11 с началом обучения в 2008 году. В качестве исходных данных использовалась статистика электронного университета за последние 10 семестров, которая была собрана обо всех студентах, обучающихся в указанных 2 группах с самого начала и по сей день. В качестве доступных входных данных были выбраны следующие параметры, условно разделенные по степени влияния:

1. Факторы личности

• Идентификатор человека (номер)

• Пол

2. Факторы времени

• Номер семестра

• Сезон (Осень/Весна)

3. Факторы трудоемкости

• Количество курсовых проектов

• Количество зачетов

• Количество экзаменов

• Занятия на военной кафедре

4. Административный фактор

• Номер группы

В качестве выходных были выбраны 2 параметра, как характеризующие результат работы студентов: средняя оценка по экзаменам и средняя оценка по курсовым проектам.

Задачей нейросетевого моделирования является прогнозирование выходных параметров для текущего семестра - регрессия с экстраполяцией. Также сеть может выявить влияние некоторых факторов на результаты обучения, т.е. ответить на вопрос "Что бы было, если ...?"

2. Анализ входных и выходных параметров

Данные весьма специфичны, так как являются результатом непосредственной человеческой деятельности. Большинство данных изменить невозможно в силу того, что они в прошлом. Однако выходные параметры могут быть изменены (пересдачи):

1.Выходные параметры:

- средняя оценка по экзаменам

- средняя оценка по курсовым проектам

2.Входных управляемых и контролируемых параметров нет. 3.Входными неуправляемыми контролируемыми параметрами являются:

- Идентификатор человека (номер)

- Пол

- Номер семестра

- Сезон (Осень/Весна)

- Количество курсовых проектов

- Количество зачетов

- Количество экзаменов

- Занятия на военной кафедре

- Номер группы

4. Входными неуправляемыми неконтролируемыми параметрами процесса являются:

- болезни в течение семестра

- личные обстоятельства

- отношения с преподавателями

- прочие факторы

3. Подготовка данных

Данные в том виде, в котором они представлены в электронном университе непригодны для анализа. Чтобы их можно было использовать в программе Statistica Neural Networks они были систематизированы в программе Exel. Итоговая таблица представляет из себя 11 столбцов (9 входных и 2 выходных), количество строк определяется умножением числа семестров на количество оставшихся человек в группах. Итого таблица включает в себя 230 строк.

В настройках программы все данные разбиты на три подмножества. Количество задается вручную, разбиение происходит автоматически:

• обучающие - 200

• контрольные - 20

• тестовые - 10

Обучающее подмножество служит для обучения нейронной сети, контрольное используется для оценки качества обучения, тестовые – для оценки качества работы сети после обучения. Полная таблица данных приведена в приложении. Нормализация входных переменных не производится, т.к. вносимый ими вклад примерно пропорционален их абсолютному значению.

4. Выбор типа и архитектуры нейросети

Изначально выполним задание 16 варианта и построим сеть РБФ с 18 нейронами в радиальном слое.

Параметры обучения:

• Метод радиального задания: обучающая выборка

• Метод выбора отклонений: К ближайших соседей (4)

Результат:

• Ошибка обучения: 86,3%

• Ошибка контрольная: 82.2%

• Ошибка тестовая: 61,8%

По результатам видно, что построенная сеть непригодна для использования. Помимо этого, РБФ сети не могут произвести корректное экстраполирование для предсказания результатов текущего семестра.

5. Поиск наилучшего варианта сети

Так как программа предоставляет возможность автоматического анализа множества вариантов сетей - воспользуемся этим. Помимо исходной задачи - прогнозирования одновременно двух выходных параметров попробуем спрогнозировать их по-одному, а также попробуем сгруппировать/отбросить некоторые входные параметры. Результаты поиска сведены в таблицу 1. Условные обозначения факторов:

1. Факторы личности

• № - Идентификатор человека (номер)

• Sex - Пол

2. Факторы времени

• Sem - Номер семестра

• OsenVesn - Сезон (Осень/Весна)

3. Факторы трудоемкости

• Kyr_col - Количество курсовых проектов

• Zach_col - Количество зачетов

• Ekz_col - Количество экзаменов

• Voenka - Занятия на военной кафедре

4. Административный фактор

• Group - Номер группы

5. Выходные факторы

• ekz_sr - Количество курсовых проектов

• kp_sr - Количество зачетов

Таблица 1. Результаты поиска варианта сети

Входные факторы	Выходные факторы	Тип и структура сети	Ошибка обучения	Контрольная ошибка	Тестовая ошибка
№, Sex, Sem, OsenVesn, Kyr_col, Zach_col, Ekz_col, Voenka, Group	ekz_sr, kp_sr	Линейная 3-2	26,4	26,2	22,3
		МП 4-14-13-2	19,2	19,4	17,5
		МП 7-9-2	17,8	18,8	14,9
	ekz_sr	Линейная 3-1	29,3	28,9	32,3
		МП 6-12-8-1	31,4	23,1	36,9
		МП 7-12-7-1	25,3	22,7	26,6
	kp_sr	ОРНС 3-200-2-1	17,3	11,5	19,1
		МП 6-12-8-1	16,5	6,3	21,4
		МП 8-8-1	14,4	6,1	19,6
№, Sem, Kyr_col+Zach_col+Ekz_col+Voenka	ekz_sr, kp_sr	МП 3-7-2	22,8	22,2	23,5
		МП 3-20-14-2	22,1	21,5	23,3
		МП 3-18-11-2	22,7	21,4	22,7
	ekz_sr	МП 1-9-3-1	31,2	30,1	28,2
		МП 2-6-4-1	31,4	29,9	27,4
		МП 1-9-6-1	31,4	29,9	28,4
	kp_sr	МП 3-9-4-1	12,1	6,9	9,8
		МП 3-9-7-1	11,9	6,9	10,3
		МП 3-9-6-1	12,3	6,8	8,7

Во время автоматического анализа система могла не учитывать некоторые входные факторы, если считала их влияние ничтожным. По полученным данным можно сделать следующие выводы:

• Спрогнозировать оценку за курсовой проект можно в среднем с 3 раза меньшей ошибкой, чем среднюю по экзаменам. Это можно объяснить тем, что она действительно более непредсказуема, чем за проект. Также имеет значение и то, что в начале обучения проектов не было.

• В случае с 9 входными факторами сети часто отбрасывали многие из них. Лидер - Линейная сеть, оставившая для анализа 3 фактора. Ни одна из сетей не стала учитывать все 9 факторов. Это объясняется либо тем, что сеть не смогла задать правильные веса для всех факторов, либо тем, что они действительно ничтожно малозначительны.

• В случае когда 9 факторов были сведены к 3 (Группа и пол отброшены, количество дисциплин суммировано - интегральый показатель сложности семестра) для прогнозирования оценки за курсовой проект все сети учитывают все факторы, прогнозирование же экзаменационной средней оценки вновь отбрасывает факторы

• Инересно, что при 3 входных факторов ошибки обучения, контрольные и тестовые имеют меньший разброс

• Для погнозирования оценки за экзамен сети понадобилось большее количество входных факторов, чем для курсового проекта

• Четырехслойные персептроны имеют ошибки немного меньше трехслойных. Учитывая современную производительность компьютеров будем использовать их.

По результатам поиска выбираем следующие конфигурации для дальнейшей работы:

• Оценка за курсовой проект: 3 входных фактора, МП 3-9-6-1

• Оценка за экзамены: 9(7) входных факторов, МП 7-12-7-1

Структура, поверхность отклика и прогноз сетей на текущий (11) семестр представлены в приложении.

Выводы:

Полученные сети непригодны для решения задачи прогнозирования оценок с экстраполяцией, равно как и без неё. Это вызвано тем, что сеть ищет наиболее простые зависимости и выходная характеристика получается слишком сглаженной. Это отлично видно на графиках отклика. Сеть не смогла учесть индивидуальность, выраженную в номере по списку. Скорее всего, ей не хватило данных, но больше их просто не будет. Возможным вариантом улучшения работы сети является реорганизация входных данных и, возможно, ручная нормировка.

МП 7-12-7-1 - Оценка экзаменов

МП 3-9-6-1 - Оценка курсовых проектов

Прогноз на 11 семестр

№	Фамилия	Экзамен	Проект
1	Двухшерстова	4,2	5,1
2	Желваков	4,2	5,0
3	Кандакова	4,2	4,9
4	Маргарян	4,2	4,8
5	Осипов	4,2	4,7
6	Солохненко	4,2	4,6
7	Хафизов	4,2	4,5
8	Шипич	4,2	4,4
9	Шипунов	4,3	4,3
10	Щекалев	4,3	4,3
11	Щербаков	4,2	4,2
12	Базиненков	4,2	4,2
13	Балашов	4,1	4,1
14	Вострикова	4,0	4,1
15	Егоров	3,9	4,0
16	Ефимов	3,8	4,0
17	Иванов	3,8	3,9
18	Некипелов	3,7	3,9
19	Попов	3,7	3,9
20	Путырский	3,7	3,8
21	Селиваненко	3,6	3,8
22	Тремаскин	3,6	3,8
23	Юров	3,6	3,8

9