Методичка по курсу “Методы Машинного Обучения” (2015)

лекции читали Майсурадзе А. И. и Сенько О. В.

составлено avasite по материалам лекторов

Данный документ является хорошим материалом для приближённого изучения тех тем, которые здесь описаны (без глубокой математики). Однако в целом не хватает плюсов и минусов тех или иных подходов.

Курсивом выделено то, на что можно забить.

Наблюдаются проблемы с орфографией и пунктуацией.

Ссылки на слайды имеются ввиду – версии слайдов 2015 года.

Оглавление

1. Глава 1. Подготовительная информация 4

1.1. Общие сведения из теорвера и матстата 4

1.2. Специальные сведения из теорвера и матстата 4

1.3. Прочее 4

2. Глава 2. Часть от Майсурадзе 4

2.1. Введение 4

2.1.1. Структура области Интеллектуального Анализа Данных 4

2.1.2. Методология анализа данных 6

2.2. Задача анализа данных, качество классификации 7

2.3. Элементы принятия решений. Парадоксы 10

2.3.1. Парадокс Симпсона, Lion at the gate paradox 10

2.3.2. Кажущееся vs целесообразное 10

2.4. Скользящий контроль 12

2.5. Особенности поиска кратчайшего пути. Алгоритм Дейкстры 14

3. Глава 3. Часть от Сенько. (полным разумным конспектом являются слайды Сенько, в этой главе лишь некоторая вытяжка) 16

3.1. Прогнозирование по прецедентам 16

3.2. Способы поиска закономерностей 17

3.3. Обобщающая способность 17

3.4. Байесовский классификатор 18

3.5. Эмпирические методы оценки обобщающей способности 19

3.6. Линейная регрессия 19

3.6.1. Линейная регрессия 19

3.6.2. Обобщённая ошибка 20

3.6.3. Способы регуляризации линейной регрессии 21

3.7. Задачи прогнозирования 21

3.8. Нейронные методы, персептрон Роззенблатта 22

4. Глава X. Не обработано, но есть полезные записки с лекций 24

4.1. Прочее 24

4.2. Средний риск, Байесовское решающее правило 24

4.3. Метод сравнения с эталоном, метод минимизации эмпирического риска, верхний предел точности 24

4.4. Задача линейной регрессии (почему бы не перенести её в 3.6?) 24

4.5. ? ? 25

4.6. Нейронные сети, решающие деревья 26

4.7. ? ? 27

4.8. ? ? 27

4.9. Способы генерации ансамблей из одной выборки 28

4.10. Оценка вероятности выживания. 28

4.11. Кластерный анализ. 29

5. Дополнение 29

5.1. Модели данных 29

5.2. Объём и площадь шара 30

5.3. Форматы хранения данных 31

5.4. Кодировки 31

5.5. Снежинка и звезда 32

!!! Надо придумать нормальные названия для некоторых глав и параграфов.

Предисловие

Существует 3 принципиальных точки зрения на ММО в целом:

1. наука, примеры:

   1. теория распознавания, прогнозирования, машинного обучения (machine learning, pattern recognition)

   2. предварительная обработка (подготовка) исходной информации в задачах распознавания (preprocessing)

   3. изучение понятия «сходства», способы его эффективного представления и обработки (similarity, proximity)

   4. метрические методы интеллектуального анализа данных

   5. анализ связей, анализ графов и сетевых структур (в частности, сетей управления) (link mining, relation mining, network analysis)

   6. анализ развития сложных систем

   7. обработка и анализ слабоструктурированной (текстовой) информации

   8. методы визуализации информации: аналитические пространства, сети

2. технологии (данные, аналитическая обработка), примеры:

   1. Технологии сбора, преобразования и хранения информации (Консолидация данных, Хранилища, Оценка качества одного или группы хранилищ)

   2. Технологии представления информации (Системы отчетности, Интерактивные информационные панели, Оперативный анализ данных (OLAP))

   3. Системы интеллектуального анализа данных

3. бизнес.

Целью курса Майсурадзе ставит подготовить из нас специалистов, которые смогут сотрудничать со специалистами ИАД.

Сенько ориентирован на медицину - химия, биология, …, хотя занимается разным всяким.

Антропология и этнография.

Накоплена информация о встречаемости мифологических сюжетов в фольклорных традициях по всему мира. Использования современных методов анализ данных в приложении к этой информации позволяет выявить связь между различными этносами, реконструировать исторический процесс расселения народов.

(!!! 0.3. Знакомство (Сенько) (big source) (extra) - я скипнул там про верификацию)

1. Глава 1. Подготовительная информация

1. Общие сведения из теорвера и матстата

!!! Надо сюда дописать определения соответствующих понятий, не больше 2-х страниц.

Надо вспомнить, что такое:

случайная величина, выборка, условная вероятность, формула байеса, математическое ожидание, дисперсия, нормальное распределение, несмещённая и оптимальная оценка, совместное распределение, ковариация, корреляция.

и ещё что-то там было про критерии хи-квадрат и гипотезы.

1. Специальные сведения из теорвера и матстата

Выборка – набор объектов, для которых всё известно.

Генеральная совокупность – всё множество значений, на которых мы обучаемся.

[со слайда 6 первой лекции Сенько] --- множество объектов, которые потенциально могут возникать в рамках F (F - процесс или явление, для которого решается задача прогнозирования)

• ну тогда на ней мы не обучаемся. Генеральная совокупность - множество всевозможных объектов, которые могут возникать в нашй задаче. (!!!думаю тут стоит исправить определение или удалить эту переписку, если считате, что определение верно)

"Паретто-оптимальное множество" - это множество тех оценок, для каждой из оценки нету доминирующей оценки. Т.е. оценки, которая лучше по каждому параметру.

По множеству паретто-оптимальных точек строится паретто-кривая, после чего каждый раз выбирают из этой кривой те точки, которые устраивают бизнес. Фактически это наложение новых требований поверх тех, которые уже были проанализированы (например, так могут часто делать с ценой, сначало выбирая по каким-то основным содержательным параметрам, а потом выбирая приемлимую цену).

1. Прочее

Стохастические модели (т.е. случайные модели) – самые распространённые.

Совместное распределение представляет из себя полное описание модели с точки зрения математики.

1. Глава 2. Часть от Майсурадзе

1. Введение

1. Структура области Интеллектуального Анализа Данных

Методология - формулировки и понятия.

Технология - процедуры действий.

Кибернетическая система – система, поведение которой определено и детерминировано.

Интеллектуальная система – подразумевает принятие решений в течение своей работы.

Интеллектуальная задача - задача обработки информации, возникающая в плохо формализованной прикладной области. Адекватные математические модели реальных объектов отсутствуют.

ИАД - Интеллектуальный анализ данных - раздел Анализа Данных (АД).

Физика — моделирование явления (пример классического моделирования) (стоит в явном виде написать почему ИАД != АД)

Основная идея ИАД: Моделирование данных, а не явлений. т.к. это “информационное моделирование”

Основной задачей физики является построение математической модели некоторой системы или явления. Модель позволяет прогнозировать развитие явления или управлять системой.

ИАД — моделирование данных (неклассическое моделирование) Если мы не можем создать физическую модель явления, можно попытаться моделировать данные.

Эвристическая информационная модель — это модель, описывающая данные. Она не опирается на законы природы, хотя и может базироваться на некоторых разумных предпосылках.

Формализация — параметрические семейства алгоритмов.

1. линейный классификатор

2. байесовские модели

3. нейронные сети

4. метрические модели (ближайшие соседи, парзеновские окна, потенциальные функции)

5. логические модели (решающие списки, решающие деревья, тестовый подход)

6. АВО - алгоритмы вычисления оценок

7. ...

<!!! для полного счастья здесь не хватает в качестве подпунктов к каждому классу задач реальных названий методов и их кратких описаний (их сути), которые встречаются в курсе>

Фундаментальные задачи ИАД - задачи, на которые принято проводить декомпозицию более сложных задач.

1. Задачи обучения с учителем:

   1. Задачи классификации - надо получить алгоритм, который может отнести произвольный объект к одному из заранее заданных классов

      1. Бинарная классификация (частный случай)

   2. Задачи восстановления регрессии - надо получить алгоритм (регрессию), который каждому объекту распознавания сопоставит некоторое значение из бесконечного, нерперывного множества

   3. Задачи обучения по прецедентам - классификатор или регрессия настраиваются по заданному конечному набору прецедентов - объектов с заранее известными правильными ответами.

   4. Задачи прогнозирования - обычно прогнозирование сводится к классификации или восстановлению регрессии, когда один из признаков определяет время.

   5. Задачи последовательного обучения - прецеденты приходят последовательно во времени (один за другим). Алгоритм постоянно донастраивается.

   6. Архивирование, настройка модели источника - символы на архивацию приходят последовательно один за другим. (стоит в двух словах сказать при чём тут ИАД)

2. Задачи обучения без учителя:

   1. Кластеризация (Сегментация) - надо разбить все множество объектов на непересекающиеся подмножества (кластеры, сегменты), в которых объекты в каком-либо смысле похожи друг на друга.

   2. Нечеткая кластеризация, бикластеризация и т.д.

   3. Иерархическая кластеризация (Таксономия) - надо построить дерево подмножеств, в котором каждый последующий слой является измельчением предыдущего.

3. Задачи с частичным обучением - кроме прецедентной информации имеется информация о том, что некоторый набор объектов действительно существует и будет использован в ходе решения прикладной задачи. То есть для настройки алгоритма можно использовать прецедентную информацию и информацию о существовании данных объектов. (например: база данных фотографий, ищем фотографии с лицами)

4. Выявление отклонений, детектирование:

   1. Выявление ошибок в данных - (“так не может быть”). Поступающая информация может содержать ошибки. (например: неисправность измерительного прибора)

   2. Выявление нетипичного поведения - (“так раньше не было”). Наша атомная электростанция раньше никогда не взрывалась. Мы не знаем, как выглядит станция, собирающаяся взорваться, но систему мониторинга создать должны.

   3. Устранение отклонений из обучения (фильтрация) - необходимо выявить те прецедентные данные, которые мешают качественно настроить модель.

5. Задачи восстановления пропусков - решение обычно сводится к задачам классификации или восстановления регрессии

   1. Заполнение пропусков в прецедентах - выбранный метод обучения модели требует, чтобы присутствовали все данные без пропусков.

   2. Заполнение пропусков в описаниях распознаваемых объектов - настроенная модель требует, чтобы во вновь приходящих на обработку описаниях не было пропусков.

6. Анализ наборов (не учитываем время транзакции) Термин: анализ рыночной корзины

   1. Поиск популярных наборов (например: чай и мёд часто покупают вместе)

   2. Поиск ассоциативных правил (например: те, кто купил мёд, часто покупают чай)

7. Анализ последовательностей (учитываем время)

   1. Поиск последовательных правил (например: если сегодня купил принтер, то через месяц купит картридж)

8. Анализ формальных понятий - формализация описания понятия в виде пары (объём, содержание) (!!! надо бы примеров)

   1. Поиск формальных понятий

   2. Построение и анализ решёток понятий

9. Задача снижения размерности - в этой задаче переходят от одних описаний к другим (один из популярных способов снижения размерности - это снижение через нейронную сеть, в которой выходы замкнуты на входы, чтобы нейронная сеть пыталась отражать тождественную функцию, при этом внутренний слой нейронной сети имеет заниженное количество нейронов, чтобы они и отражали снижение размерности, данных, которые через них походят)

Виды представления исходных данных:

1. Признаковое описание объектов - фиксированный набор признаков, каждому объекту ставится в соответствие вектор значений признаков.

2. Плоские таблицы, кросс-таблицы, ...

3. Описание эталонами - одна или несколько функций расстояния, каждому объекту ставится в соответствие набор всех расстояний до всех заданных эталонов.

4. Метрическое описание пар объектов - фиксированный набор функций расстояния, каждой паре объектов ставится в соответствие вектор значений расстояний.

5. Транзакционные данные, формальные контексты - фиксировано множество элементов, транзакция - конечное подмножество элементов, наличие элемента в транзакции — бинарный признак

Историческое развитие: решение отдельных задач (50-е) -> появление моделей, оформление семейств алгоритмов -> коллективы алгоритмов -> операции над алгоритмами, алгебры над алгоритмами