Homework2 (1185390)
Текст из файла
Домашнее задание №2Срок сдачи: 4 ноября, 23:59:59. Решения, присланные позже данного срока, непринимаются.Обратите внимание, что в данном задании оценивается временная эффективностьрешения!Формулировка задания: На вход подается .csv файл (разделители – запятые) сфинансовыми данными, доступный по адресу:wasb://financedata@bigdatamsu.blob.core.windows.net/Столбцы данного файла имеют следующие названия:#SYMBOL,SYSTEM,MOMENT,ID_DEAL,PRICE_DEAL,VOLUME,OPEN_POS,DIRECTIONгде #SYMBOL – название финансового инструмента;MOMENT – время (дата);PRICE_DEAL – цена.Пример строки в файле:SVH1,F,20110111100000080,255223067,30.46000,1,8714,SДанный файл отсортирован по дате и времени.Внимание! Так как данный файл с финансовыми данными очень большого размера,отладку программы следует производить на данных меньшего размера и толькоубедившись, что все работает, запускать программу на данных большого размера.Указанный файл с финансовыми данными меньшего размера Вы можете скачать поадресу http://bigdata.cs.msu.ru/images/9/99/Finance_example.zipВам необходимо:1) Найти максимальную и минимальную цену каждого финансового инструмента закаждый день2) Упорядочить найденную в первом пункте статистику по дате (и времени) иинструменту.
Данную подзадачу можно решать как без использования hadoop(используя gnu sort), так и с hadoop (при решении с hadoop Вам будут начисленыдополнительные бонусные баллы)3) Сделать отчет о переданном по сети трафике и времени исполнения для двух ичетырех рабочих A3- узлов в кластере, подобрать оптимальное число редьюсеровдля обоих вариантов по времени исполнения. Включить в отчет таблицы порезультатам проведенных экспериментов, сформулировать соответствующиевыводы.Далее Вам необходимо на почту курса bigdata@cs.msu.ru отправить архив в форматеTask2-Фамилия.rar (фамилия на англ.), содержащий следующие файлы:1) Файл finance.java, в котором производится поиск максимальной и минимальнойцен каждого финансового инструмента за каждый день, а также сортировкастатистики по дате и инструменту (если сделали)2) Сформированный finance.jar файл3) Файл finance.txt с отсортированной статистикой в формате:Дата(и время) ПРОБЕЛ инструмент ПРОБЕЛ максимальная_цена ПРОБЕЛминимальная_цена4) Файл finance.pdf с выполненным отчетом5) Вспомогательные файлы для сборки (если используются)6) Файл readme.txt с описанием того, как Вы компилировали и запускали программы.
Характеристики
Тип файла PDF
PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.
Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.