Homework4 (1185393)

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла

Домашнее задание №4Срок сдачи: 25 ноября, 23:59:59. Решения, присланные позже данного срока, непринимаются.Обратите внимание, что в данном задании оценивается временная эффективностьрешения!Формулировка задания:На вход подаются источники данных, каждый источник данных содержит японские свечипо одному инструменту, упорядоченные по времени. Каждый источник данных можетбыть представлен единственным файлом или файлами, состоящими из нескольких частей,соответствующим результатам работы MapReduce задачи, формирующей свечи, при этомчасти файлов с одинаковыми номерами partitions должны содержать одинаковыедиапазоны времени и в рамках partitions каждого источника должна обеспечиватьсяглобальная сортировка по времени.Напомним, каждая свеча – это:MOMENT – время начала свечи;OPEN – цена первой сделки за свечу;HIGH – максимальная цена за свечу;LOW – минимальная цена за свечу;CLOSE – цена последней сделки за свечу.Формат входных данных (каждого файла) без шапки:SYMBOL,MOMENT,OPEN,HIGH,LOW,CLOSEВам необходимо:Программа должна посчитать коэффициент корреляции Пирсона для каждой парыинструментов (всего n(n-1)/2) за выбранный промежуток времени и отсортировать парыинструментов согласно убыванию модуля коэффициента корреляции.Формат строки вывода:инстр1,инстр2\tкоэфф_кореллКоэффициент корреляции считается для величин (CLOSEi+1-CLOSEi)/CLOSEi, где i номер свечи.

В случае присутствия данных по одному инструменту и отсутствию данныхпо другому инструменту за некий момент времени, данные по этому моменту невключаются в расчет коэффициента.Входными параметрами программы являются:candle.date.from = 19000101 #первый день периода времени (ГГГГММДД);candle.date.to = 20200101 #первый день после последнего дня периода(ГГГГММДД);candle.time.from = 1000 #время (ЧЧММ) начала первой свечи;candle.time.to = 1800 #время (ЧЧММ) после начала последней свечи;Название входной директории;Название выходной директории.Необходимо сделать отчет о переданном по сети трафике и времени исполнения для двухи четырех рабочих A3-узлов в кластере, подобрать оптимальное число редьюсеров дляобоих вариантов по времени исполнения.

Включить в отчет таблицы по результатампроведенных экспериментов, сформулировать соответствующие выводы.Далее Вам необходимо на почту курса bigdata@cs.msu.ru отправить архив в форматеTask4-Фамилия.rar (фамилия на англ.), содержащий следующие файлы:1) Файл Correlation.java c Вашим кодом (либо архив Correlation с исходнымифайлами);2) Файл Correlation.jar;3) Файл Correlation.pdf с выполненным отчетом;4) Вспомогательные файлы для сборки (если используются);5) Файл readme.txt с описанием того, как Вы компилировали и запускали программы;6) Так как выходные данные слишком большого объема (и их выкачивание стоитдорого), для быстрой проверки корректности работы программы просимдополнительно запустить программу с входными параметрами, указанными ниже,и прислать полученный в результате файл Correlation.txt.Входные данные для дополнительного запуска:candle.date.from = 20110111;candle.date.to = 20110112;candle.time.from = 1000;candle.time.to = 1020.Необходимо провести дополнительный запуск на финансовых инструментах SVH1 иGDH1..

Характеристики

Тип файла PDF

PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.

Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.

Список файлов курсовой работы