Курсовая работа: Методы ансамблей: алгоритм XGBoost

СОДЕРЖАНИЕ

Введение. 4

1.История развития методов ансамблей. 6

2.Теоретические основы метода бустинга. 8

2.1.Концепция ансамблевых методов. 8

2.3.Основные алгоритмы бустинга. 8

2.4.Проблемы и ограничения бустинга. 9

3.Практический блок. 10

3.1.1.XGBoost 19

3.1.3.Алгоритм LightGBM.. 28

3.1.4.Сравнительный анализ результатов выбранных моделей. 33

3.2.Задача оценки регрессии. 34

3.2.1.XGBoost 37

3.2.2.CatBoost 40

3.2.3.LightGBM.. 43

3.2.4.Сравнительный анализ результатов выбранных моделей. 46

ЗАКЛЮЧЕНИЕ. 48

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ.. 50

ПРИЛОЖЕНИЕ 1. 51

ПРИЛОЖЕНИЕ 2. 55

Введение

Современные задачи машинного обучения требуют высокой точности и устойчивости моделей, особенно в тех случаях, когда данные содержат шум или имеют сложную структуру. Методы ансамблей зарекомендовали себя как мощный инструмент, позволяющий повысить качество предсказаний за счет объединения результатов нескольких моделей. Среди таких методов особое место занимают алгоритмы градиентного бустинга, включая XGBoost, CatBoost и LightGBM, которые отличаются высокой производительностью и гибкостью настроек.

Актуальность темы обусловлена широким применением методов ансамблей в различных областях: от анализа финансовых данных до прогнозирования в медицине. Использование таких алгоритмов позволяет эффективно решать задачи классификации и регрессии, обеспечивая высокую точность даже на ограниченных наборах данных.

Целью данной курсовой работы является изучение алгоритма XGBoost и сравнение его с другими методами ансамблей — CatBoost и LightGBM на задачах классификации и регрессии. Для экспериментов будет использован датасет с характеристиками белых вин, который включает как числовые, так и целевые метки, что позволяет реализовать задачу классификации в рамках работы. Для задачи оценки регрессии будет использован датасет с характеристиками жилья для предсказания цен.

Задачи работы включают:

1. Постановку задач классификации и регрессии на основе выбранного датасета.
2. Реализацию и настройку моделей XGBoost, CatBoost и LightGBM.

1. Сравнение производительности методов на основе метрик качества.
2. Анализ влияния гиперпараметров на качество моделей.
3. Формулировку выводов и рекомендаций по использованию методов ансамблей в зависимости от специфики задач.

Результаты курсовой работы могут быть полезны для специалистов, решающих прикладные задачи машинного обучения, а также для студентов, изучающих современные методы анализа данных.