Знакомство с библиотеками Python. Применение регрессионных методов машинного обучения. Применение классификационных методов машинного обучения.

1. Контрольная работа состоит из трех частей:

Часть 1. Знакомство с библиотеками Python.

Часть 2. Применение регрессионных методов машинного обучения.

Часть 3. Применение классификационных методов машинного обучения.

1. Данная контрольная работа выполняется в любом блокноте Python (Anaconda, Colab, PyCharm).
2. Для выполнения первой части выбирается один из 10 вариантов файлов, представленных в таблице 1, в соответствии с последней цифрой пароля. Файлы размещены в папке «Приложение 1».
3. Для выполнения задания второй части выбирается один из 10 вариантов файлов, представленных в таблице 2, в соответствии с последней цифрой пароля. Файлы размещены в папке «Приложение 2».
4. Отчет по контрольной работе необходимо представить в текстовом формате с подробным описанием этапов выполнения заданий, приложить скрины листингов и результатов выполнения. Включить в отчет ответы на контрольные вопросы.

Часть 1. Задание

1. Создать структуру данных Series из Python и Numpy ;
2. Создать структуру данных DataFrame любым из способов.
3. Создайте csv- файл: создайте строку, содержащую данные в формате CSV и постройте на их базе DataFrame.
4. Загрузите данные из файла csv в структуру DataFrame.

Варианты:

Таблица 1

• Файл из архива (DataSet,)

** Файлы могут быть не подготовлен для обработки данных, вам необходимо, открыть файл в любом текстовом редакторе и расставить разделители согласно тому как требует это формат csv.

1. Выведите данные на просмотр
2. Выведите случайную выборку 10 из фреймов данных
3. Проверьте хвост набора данных — последние записи в наборе данных
4. Посмотрите размер набора данных
5. Выведите название столбцов
6. Проверить файл на пропуски данных
7. Заполнить имеющиеся пропуски 0.
8. Добавить в имеющуюся структуру строку и столбец.
9. Вывести строки структуры за исключением первых 7.
10. Задайте новую структуру DataFrame и объедините с текущей структурой (concat).
11. Задайте еще одну структуру DataFrame и соедините с текущей структурой по вертикали (применив join).
12. Загрузите исходный файл заново и выполните над данными следующие статистические операции, отмеченные в таблице, для числовых значений необходимо создать фрейм только для числовых значений и работать с ним:

Методы для расчета статистик

1. Вывести сводную информацию по статистикам (describe()).
2. Вывести описательную статистику всех категориальных переменных
3. На основе данных таблицы построить гистограммы для подходящих значений.

Часть 2. Задание

1. С помощью данный методических указаний, и материалов сети Интернет изучить основные теоретические сведения и инструкции по реализации множественной линейной регрессии.
2. В соответствии с номерами варианта выбрать из табл. 2 заданный набор данных и выполнить постановку задачи регрессионного анализа: определить цель исследования и поставить конкретные задачи анализа (например, определить стоимость на подержанные автомобили в зависимости от его характеристик, и т.п.).
3. В соответствии с постановкой задачи импортировать требуемые библиотеки:
   • обработка данных: pandas и numpy,
   • модель множественной регрессии: linear_model из sklearn,
   • разделение данных обучения и тестирования: train_test_spli,
   • оценка модели: r2_score;
     1. Обработать данные,
        • просмотреть;
        • избавиться от пропусков;

• определить формат данных для работы;
• проверить корректность отображения;
• провести словесное описание набора данных;
• провести описательную статистику;
• определить категориальные данные и преобразовать их в (есть несколько способов сделать это, например, с помощью Label Encoder или One Hot Encoder - оба доступны в модуле sklearn (подробнее см. https://scikit-learn.ru/6-3-preprocessing-data/#encoding-categorical-features). Можно использовать классический подход фиктивных переменных, который преобразует категориальные признаки в числовые дихотомические переменные);
• представить визуализацию зависимости данных (представить графики, гистограммы, диаграммы и т.д.).
  1. Подготовить входные данные:
     • определить зависимую переменную, исходя из тото, что требуется спрогнозировать;
     • определить функции для прогноза, то есть набор характеристик для прогноза (можно брать все, а можно исключить лишние характеристики):
     • при выборе признаков проверять корреляцию между зависимой и каждой независимой переменной. Если они не коррелированны, следует удалить соответствующий элемент из модели;
     • проверить мультиколлинеарность, взаимосвязь между независимыми переменными, удалить коррелированные элементы, чтобы избежать переобучения модели;
     • есть несколько способов выбрать переменные для модели: прямой отбор и обратное исключение, в этом процессе добавляется или удаляется по одной переменной и проверяется производительность режима;
     • разделить данные на наборы для обучения и тестирования;
       1. Построить модель:
          • вызвать регрессор: model = LinearRegression();
          • передать данные в модель: model.fit(X, Y);
          • выполнить предсказание: y_pred = model.predict(X).
            1. Провести оценивание модели. Выбрать метод для оценивания модели (в классической статистике производительность моделей линейной регрессии оценивается с помощью расчета коэффициента детерминации (R²), то есть разница между выборками в наборе данных и прогнозами, сделанными моделью, которое дает значение от 0 до 1, и чем выше R², тем лучше модель. Подробнее о методике расчета коэффициента детерминации см. https://scikit-learn.org/...etrics.r2_score.html.

            2. Ответьте письменно на контрольные вопросы

          • 
            
            1. В чем отличия между простой и множественной линейной регрессей?
            2. В чем разница в методиках расчета коэффициентов корреляции с помощью Pandas и SciPy?
            3. В чем разница между числовыми и категориальными переменными? Каковы отличия их обработки методом регрессионного анализа?
            4. Как осуществляется подбор членов линейного уравнения при построении модели множественной линейной регрессии?
            5. Что такое мультиколлинеарность и как её избежать?
            6. Как идентифицировать фиктивные поля в наборе данных?
            7. Для чего рассчитывается коэффициент корреляции Пирсона и какие средства Python для этого используются?
     • 
       
       1. Выполнить загрузку и предварительную обработку данных, построить модель.
          1. На сайте Kaggle необходимо выбрать один из наборов данных подходящих для разработки модели k ближайших соседей. Далее определить, как устроен датасет и какую постановку задачи можно выполнить. Т.к. алгоритм является метрическим, соответственно значения полей должны быть числовыми.
          2. Выделить целевую переменную. Определить, какая из задач обучения с учителем k ближайших соседей будет рассматриваться – классификация или регрессия.
          3. Определить распределение значений целевой переменной. Построить подходящую визуализацию. Прокомментировать результат.
          4. Провести необходимую предобработку данных. Все категориальные признаки преобразовать в числовые.
          5. Разбить набор данных на обучающую и тестовую выборки с помощью метода train_test_split.
          6. Обучить алгоритм классификации kNeighborsClassifier и регрессии KNeighborsRegressor. Оценить качество модели на тестовой выборке помощью mean_squared_error. Сравнить результаты и сделать выводы.
     • 
       
       1. Поиск наилучшего значения количества соседей.
          1. Разработать генератор, который выполнит разбивку на блоки и перемешает выборку перекрестной проверки. Число блоков n_splits равно 5. Например: kf = KFold(n_splits=5, shuffle=True, random_state=42).
          2. Найти показатель качества модели kNN кросс-валидации (cross_val_score).
          3. Сделать вывод, приемлемо ли использование данной метрики качества в выбранной задаче.
          4. Пересчитать качество модели при помощи другой наиболее подходящей метрики из списка в табл. 3.
          5. Выполнить перекрестную проверку при возможных значения количества соседей от 1 до 50. Использовать GridSearchCV.
          6. Сделать выводы: при каком количестве соседей качество модели получилось наилучшим, чему равна эта оценка качества.
          7. Построить график значений метрики в зависимости от количества соседей (matplotlib.pyplot.plot()).
       2. Выбор метрики в методе k ближайших соседей.
          1. Выполнить перебор различных вариантов значений метрики Минковского по сетке от 1 до 10 с таким шагом, чтобы всего было протестировано 200 вариантов (удобно использовать функцию numpy.linspace: np.linspace(1.0, 10.0, num = 200)). Использовать наилучшее значение n_neighbors, найденое ранее.
          2. Для параметра weights задать значение 'distance' (данный параметр добавляет в алгоритм веса, зависящие от расстояния до ближайших соседей). В качестве метрики качества снова использовать accuracy . Качество оценить с помощью кросс-валидации по 5 блокам.
          3. Определить, при каком значении меры Минковского на кросс-валидации качество модели оказалось наилучшим. При этом учесть, что cross_val_score возвращает массив показателей качества по блокам, поэтому необходимо максимизировать среднее этих показателей.
       3. Разработать алгоритм классификатора либо регрессора методом k ближайших соседей без использования библиотек.
       4. Ответить письменно на контрольные вопросы
       5. В чем заключается метод классификации?
       6. Какие задачи можно решить методом k ближайших соседей?
       7. Какие подходы для реализации метод классификации могут быть использованы и в чем их суть?
       8. Какие средства Python применяются для реализации метод классификации?
       9. В чем заключается метод k ближайших соседей?
       10. С какими данными – числовыми или категориальными – работает метод k ближайших соседей?
       11. Каков смысл задачи определения числа ближайших соседей и как этот параметр влияет на результат решения задачи?

* https://scikit-learn.ru/3...lity-of-predictions/