ДЗ Итоговая работа: Итоговая работа - Вычислительные системы вариант 10

Разработать программу на языке Python с использованием структур MPI и OpenMP (или OpenCL) (обязательно выделите их в листинге программы), которая решает одну из актуальных задач интеллектуального прогнозирования с использованием линейной регрессии на основе открытых числовых данных (датасетов).

1. Загрузите числовые данные (датасет) из Интернета согласно выбранному варианту.

2. Загрузите набор данных в Python с использованием библиотеки Pandas и проведите первичный анализ данных:

• исследуйте структуру данных, оцените количество строк, столбцов, пропущенных значений и т.д.;

• проведите статистический анализ данных с использованием функций Pandas и NumPy.

3. Визуализируйте данные с использованием библиотек Matplotlib и Seaborn, чтобы определить возможные зависимости между переменными:

• создайте графики распределения для каждой переменной;

• постройте графики парной корреляции (scatterplot) и тепловую карту корреляции (heatmap) между переменными;

• определите переменные, которые могут быть использованы для линейной регрессии.

4. Разделите данные на обучающую и тестовую выборки (например, в соотношении 80 % на 20 %).

5. Реализуйте модель линейной регрессии с использованием библиотеки Scikit-learn, для чего:

• создайте и обучите модель линейной регрессии на обучающей выборке;

• протестируйте модель на тестовой выборке и оцените качество прогнозирования с использованием метрик, таких как среднеквадратическая ошибка (RMSE), средняя абсолютная ошибка (MAE) и коэффициент детерминации (R2 ).

6. Напишите программу, решающую аналогичную задачу без использования библиотек Python, но с использованием MPI и OpenMP (OpenCL).

7. Визуализируйте результаты прогнозирования с использованием Matplotlib и Seaborn, сравнивая предсказанные значения с истинными значениями.

8. Подготовьте отчет о проделанной работе, включая:

• описание выбранного набора данных и проведенного анализа данных;

• визуализацию данных, полученных на этапе исследования зависимостей между переменными;

• процесс создания, обучения и тестирования модели линейной регрессии с использованием Scikit-learn;

• результаты тестирования модели на тестовой выборке, включая метрики качества прогнозирования (RMSE, MAE, R2 ) и визуализацию результатов прогнозирования;

• выводы об эффективности использования структур MPI и OpenMP (OpenCL) для решения задачи прогнозирования на основе выбранного набора данных.

Курс Вычислительные системы - Итоговая работа - «Вычислительные системы»