ВКР: Исследование и программная реализация алгоритма обобщения ABCN2 (Машинное обучение на основе аргументов)

Машинное обучение – одно из важных и актуальных направлений в настоящее время, так как в связи с увеличением размера современных баз данных, человек не может обходиться без автоматизированных средств интеллектуального анализа данных. Среди всех алгоритмов машинного обучения можно выделить алгоритм ABCN2. Данный алгоритм основан на получении продукционных правил при помощи аргументирования примеров из выборки обучения.
Целью данной работы является исследование алгоритма получения продукционных правил ABCN2 и разработка программного обеспечения, реализующего этот алгоритм. Алгоритм может быть применён различных сферах современной жизнедеятельности, таких как медицина, производство, бизнес, кредитный скоринг(система оценки кредитоспособности лица) и т. д. Аргументы позволяют сократить время поиска продукционных правил путем уменьшения всех возможных гипотез. Также полученные продукционные правила имеют высокую значимость для эксперта

ГЛАВА 1.Интеллектуальный анализ данных и Data Mining .........................................................8
1.1. Задачи Data Mining .............................................................................................................9
1.1.1. Задача классификации и регрессии .................................................................... 11
1.1.2. Задача кластеризации........................................................................................... 13
1.1.3. Задача поиска ассоциативных правил ................................................................ 15
1.2. Модели Data Mining .........................................................................................................16
1.3. Методы Data Mining .........................................................................................................19
1.4. Общий подход в прогнозирующих методах ..................................................................21
1.5. Классификация алгоритмов качественного обобщения по признакам.......................23
1.5.1.Способы представления исходной информации в интеллектуальных системах23
1.5.2.Варианты реализации систем обобщения ........................................................... 25
1.5.2.1 Обучение "без учителя": основные понятия.....................................................25
1.5.2.2. Обучение "с учителем": постановка задачи.....................................................26
1.6 Выводы ...............................................................................................................................28
ГЛАВА 2. Обзор алгоритмов обобщения с «учителем»...............................................................29
2.1.1 Алгоритм ДРЕВ..............................................................................................................29
2.1.2. Описание алгоритма ДРЕВ.................................................................................. 30
2.2. Алгоритм ID3(индукция решающих деревьев) .............................................................31
2.3 Алгоритм AQ .....................................................................................................................34
2.3.1 Описание алгоритма.............................................................................................. 34
2.3.2 Псевдокод алгоритма ............................................................................................ 35
2.4 Алгоритм CN2....................................................................................................................37
2.4.1 Описание алгоритма.............................................................................................. 37
2.4.2 Псевдокод алгоритма ............................................................................................ 38
2.5 Алгоритм ABCN2 ..............................................................................................................39
2.5.1 Особенности аргументированного обучения ..................................................... 39
2.5.2 Аргументирование примеров ............................................................................... 41
2.5.3 Оценка условий формируемых правил ............................................................... 44
2.5.4 Алгоритм извлечения продукционных правил................................................... 47
2.6 Выводы ...............................................................................................................................48
Глава 3. Программная реализация алгоритма CN2 и ABCN2......................................................49
3.1 Постановка задачи.............................................................................................................49
3.2 Требования к системе........................................................................................................49
3.3 Среда разработки...............................................................................................................50
3.4. Форматы входных и выходных данных .........................................................................50
3.5 Интерфейс ..........................................................................................................................52
3.6. Ввод информации об атрибутах......................................................................................55
3.7.Ввод обучающей выборки и построение аргументированных продукционных правил55
3.8.Получение набора аргументированных продукционных правил.................................56
3.9.Вкладка «Экзамен»............................................................................................................57
3.10. Выводы ............................................................................................................................59
Глава 4. Тестирование работы алгоритма и исследование полученных результатов ...............60
4.1. Исследование правильности построения продукционных правил..............................60
4.2. Оценка точности классификации примеров(с помощью алгоритма CN2).................62
4.2.1 Результат классификации в задаче MONK1(CN2)............................................. 62
4.2.2 Результат классификации в задаче MONK2(CN2)............................................. 64
4.2.3 Результат классификации в задаче MONK3(CN2)............................................. 65
4.3. Оценка точности классификации примеров (с помощью алгоритма ABCN2) ..........67
4.3.1 Результат классификации в задаче MONK1(ABCN2) ....................................... 68
Ниже представлены аналогичные результаты тестирования для задачи MONK3. . 69
4.3.2 Результат классификации в задаче MONK3(ABCN2) ....................................... 69
4.4 Выводы ...............................................................................................................................71
Заключение........................................................................................................................................72
Список литературы...........................................................................................................................73
Приложение.......................................................................................................................................74
1. Диаграмма классов ..............................................................................................................74
2. Проект CN2 ..........................................................................................................................76
Пространство имён Core ................................................................................................ 76
Пространство имён Algorithms.......................................................................................76
CN2.cs...........................................................................................................................76
Пространство имён DataStructures.................................................................................85
AttributeType.cs............................................................................................................85
AttributeValue.cs...........................................................................................................88
AttributeTypeSet.cs.......................................................................................................89
LearnableExample.cs.....................................................................................................90
ArguedLearnableExample.cs.........................................................................................92
ExaminableExample.cs..................................................................................................93
IExpressionMember.cs..................................................................................................94
Expression.cs.................................................................................................................95
ProductionRule.cs..........................................................................................................98
Пространство имён UC ...................................................................................................99
IValidatable.cs...............................................................................................................99
SerializationData.cs.....................................................................................................100
Пространство имён PercentageConverter.cs.............................................................100
Пространство имён AttrinuteTypesView..................................................................101
AttributeTypesDataGridItem.cs ..............................................................................101
AttributeTypesView.xaml .......................................................................................102
AttributeTypesView.xaml.sc ...............................................................................103
Пространство имён LearningExamplesView............................................................109
LearningExamplesDataGridItem.cs ........................................................................109
LearningExamplesView.xaml .................................................................................109
LearningExamplesView.xaml.sc.........................................................................110
Пространство имён ArguedLearningExamplesView................................................118
PredictiveAttributeValue.cs.....................................................................................118
ArguedLearningExamplesDataGridItem.cs ............................................................119
ArguedLearningExamplesView.xaml .....................................................................120
ArguedLearningExamplesView.xaml.cs.............................................................121
Пространство имён ExamineExamolesView ............................................................133
ExamineExamplesDataGridItem.cs.........................................................................133
ExamineExamplesView.xaml..................................................................................134
ExamineExamplesView.xaml.sc .........................................................................135
Пространство имён Log ............................................................................................144
Log.xaml..................................................................................................................144
Log.xaml.sc .........................................................................................................144
Пространство имён NumericUpDown ......................................................................146
NumericUpDown.xaml ...........................................................................................146
NumericUpDown.xaml.cs...................................................................................147
Проект WpfApp......................................................................................................................147
MainWindow.xaml......................................................................................................... 147
MainWindow.xaml.cs..................................................................................................... 148