Лабораторная по MapReduce: Hadoop и Python — готово
Лабораторная работа: Запуск и отладка примеров MapReduce на Hadoop с Python
Новинка
Описание
Лабораторная работа №1
Тема: Запуск примеров MapReduce. Python & Hadoop
Часть 1
Лабораторная работа выполняется на операционной системе Ubuntu.
Задания:
Часть 2. Python & Hadoop
Задания:
Заключение
В отчете необходимо описать, что было изучено и какие навыки приобретены в ходе выполнения лабораторной работы.
Показать/скрыть дополнительное описание
Тема: Запуск примеров MapReduce. Python & Hadoop
Часть 1
Лабораторная работа выполняется на операционной системе Ubuntu.
Задания:
- Скачать и распаковать Hadoop:
text
tar -xzf hadoop-3.4.0.tar.gz
- Создать переменные окружения Hadoop, для этого в файле
~/.bashrcдописать строки:export PATH="/usr/local/bin:$PATH"export HADOOP_HOME=/home/met/hadoopexport PATH=$PATH:$HADOOP_HOME/binexport JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64export PATH=$JAVA_HOME/bin:$PATH
- Просмотреть список примеров mapreduce.
- Создать входной каталог и добавить в него файлы.
- Запустить процесс Hadoop по подсчету слов.
- Проверить каталог output.
Часть 2. Python & Hadoop
Задания:
- Создать файлы
mapper.pyиreducer.py, используя nano, и сделать их исполняемыми командами:
text
chmod +x mapper.py
chmod +x reducer.py - Написать код для
mapper.py. - Написать код для
reducer.py. - Запустить и проверить результат работы файла
mapper.py. - Запустить и проверить результат работы файла
reducer.py.
Заключение
В отчете необходимо описать, что было изучено и какие навыки приобретены в ходе выполнения лабораторной работы.
Краткая лабораторная инструкция по запуску MapReduce-примеров на Hadoop с использованием Python: распаковка hadoop-3.4.0, настройка переменных окружения, создание mapper.py/reducer.py, шаги по загрузке input и проверке output. Полезно для студентов IT-специальностей..
Характеристики лабораторной работы
Предмет
Учебное заведение
МФПУ «Синергия» Семестр
Просмотров
0
Размер
461,49 Kb
Список файлов
Лабораторная.docx
🎓 Никольский - Помощь студентам 📚 Любые виды работ: тесты, сессии под ключ, практики, курсовые и дипломные с гарантией результата ✅ Все услуги под ключ ✅ Знаем все тонкости именно вашего ВУЗа ✅ Сдадим или вернем деньги
nikolskypomosh
Вчера в 19:19
Комментарии
Нет комментариев
Стань первым, кто что-нибудь напишет!
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
