Композиции алгоритмов
в машинном обучении
Бустинг
каждый следующий алгоритм стремится
компенсировать недостатки композиции
всех предыдущих алгоритмов
Бэггинг
каждый из алгоритмов обучается
независимо, классификаторы не
исправляют ошибки друг друга, а
компенсируют их при голосовании
Асирян
1
Градиентный бустинг
Обобщает
многие алгоритмы
Задача минимизации функционала ошибок
– количество объектов,
– обучающая выборка, – метки,
– функция потерь,
– классификатор на шаге t,
– веса, – базовые алгоритмы,
и – неизвестны,
– решающее правило
Асирян
2
Функции потерь
Задачи регрессии:
МНК:
Модуль отклонения:
М-бустинг:
Задачи классификации:
AdaBoost:
LogitBoost:
Асирян
3
Заключение
Преимущества
Различные базовые алгоритмы
Различные функции потерь
Легко оптимизируется
Недостатки
Затратный
Сложно интерпретируется для большого
количества алгоритмов
Асирян
4