Ответы к экзамену Итоговое задание: «Вычислительные системы». Итоговая работа - Вариант 1 вариант 1

«Вычислительные системы». Итоговая работа - Вариант 1

Разработать программу на языке Python с использованием структур MPI и OpenMP (или OpenCL) (обязательно выделите их в листинге программы), которая решает одну из актуальных задач интеллектуального
прогнозирования с использованием линейной регрессии на основе открытых числовых данных (датасетов).

Выполнение работы.

1. Загрузите числовые данные (датасет) из Интернета согласно выбранному варианту.
2. Загрузите набор данных в Python с использованием библиотеки Pandas и проведите первичный анализ данных:
   • исследуйте структуру данных, оцените количество строк, столбцов, пропущенных значений и т.д.;
   • проведите статистический анализ данных с использованием функций Pandas и NumPy.
3. Визуализируйте данные с использованием библиотек Matplotlib и Seaborn, чтобы определить возможные зависимости между переменными:
   • создайте графики распределения для каждой переменной;
   • постройте графики парной корреляции (scatterplot) и тепловую карту корреляции (heatmap) между переменными;
   • определите переменные, которые могут быть использованы для линейной регрессии.
4. Разделите данные на обучающую и тестовую выборки (например, в соотношении 80 % на 20 %).
5. Реализуйте модель линейной регрессии с использованием библиотеки Scikit-learn, для чего:
   • создайте и обучите модель линейной регрессии на обучающей выборке;
   • протестируйте модель на тестовой выборке и оцените качество прогнозирования с использованием метрик, таких как

среднеквадратическая ошибка (RMSE), средняя абсолютная ошибка (MAE) и коэффициент детерминации (R²).

1. Напишите программу, решающую аналогичную задачу без использования библиотек Python, но с использованием MPI и OpenMP (OpenCL).
2. Визуализируйте результаты прогнозирования с использованием Matplotlib и Seaborn, сравнивая предсказанные значения с истинными значениями.
3. Подготовьте отчет о проделанной работе, включая:
   • описание выбранного набора данных и проведенного анализа данных;
   • визуализацию данных, полученных на этапе исследования зависимостей между переменными;
   • процесс создания, обучения и тестирования модели линейной регрессии с использованием Scikit-learn;
   • результаты тестирования модели на тестовой выборке, включая метрики качества прогнозирования (RMSE, MAE, R²) и визуализацию результатов прогнозирования;
   • выводы об эффективности использования структур MPI и OpenMP (OpenCL) для решения задачи прогнозирования на основе выбранного набора данных.

Gapminder Dataset: Исследование взаимосвязи между уровнем дохода, продолжительностью жизни, уровнем образования и другими социально-экономическими показателями разных стран.
Показать/скрыть дополнительное описание