Лекция 3. Введение в Hadoop (2014 Лекции)
Описание файла
Файл "Лекция 3. Введение в Hadoop" внутри архива находится в папке "2014 Лекции". PDF-файл из архива "2014 Лекции", который расположен в категории "". Всё это находится в предмете "(смрхиод) современные методы распределенного хранения и обработки данных" из 10 семестр (2 семестр магистратуры), которые можно найти в файловом архиве МГУ им. Ломоносова. Не смотря на прямую связь этого архива с МГУ им. Ломоносова, его также можно найти и в других разделах. .
Просмотр PDF-файла онлайн
Текст из PDF
Введение в Hadoophttp://bigdata.cs.msu.ru/ДанныеFA C E B O O K : Х РА Н И Т Н А С В О И Х С Е Р В Е РА Х П Р И М Е Р Н О 1 0 М Л РД .КАРТИНОК• Ф О Н ДО В А Я Б И Р Ж А Н Ь Ю - Й О Р К А : Е Ж Е Д Н Е В Н О Г Е Н Е Р И Р У Е Т О КО Л О 1ТБ НОВЫХ ДАННЫХ• G O O G L E : В 2 0 0 8 Г ОД У О Б РА Б АТ Ы В А Л Е Ж Е М Е С Я Ч Н О 4 0 0 П Б• TWITTER: 55 МИЛЛИОНОВ " TWEET" - СООБЩЕНИЙ В ДЕНЬ И ЭТОТ О Л Ь КО 0 . 5 % О Т О Б Щ Е Г О Ч И С Л А Д А Н Н Ы Х• YA H O O : Б И Л Л И О Н Ы " Т РА Н З А К Ц И Й " В Д Е Н Ь , 5 0 0 M + У Н И К А Л Ь Н Ы ХП О Л Ь З О В АТ Е Л Е Й В М Е С Я Цhttp://bigdata.cs.msu.ru/Зачем это нужноhttp://bigdata.cs.msu.ru/MapReduceЦель: подсчитать количество книг в библиотекеMap: Ты посчитай нечётные полки, а я посчитаю чётные(чем больше у нас людей, тем быстрее выполним этучасть)Reduce: Мы соберёмся и сложим количества,полученные каждым из насhttp://bigdata.cs.msu.ru/MapReduce.
Пример.file1: “hello world hello moon”file2: “goodbye world goodnight moon”First map:< hello, 1 >< world, 1 >< hello, 1 >< moon, 1 >MAPSecond map:< goodbye, 1 >< world, 1 >< goodnight, 1 >< moon, 1 >COMBINEFirst map:Second map:< moon, 1 >< goodbye, 1 >< world, 1 >< world, 1 >< hello, 2 >< goodnight, 1 >< moon, 1 >REDUCE< goodbye, 1 >< goodnight, 1 >< moon, 2 >< world, 2 >< hello, 2 >http://bigdata.cs.msu.ru/HDFShttp://bigdata.cs.msu.ru/Когда нужен Hadoop?• Сотни мегабайт данных• 10 ГБ• 100 ГБ/500 ГБ/1 ТБ• больше 5 ТБ• Точечная обработка активных данных• Потоковая обработка в реальном времени• Пакетная обработка исторических данныхhttp://bigdata.cs.msu.ru/Apache HadoopApache Hadoop – набор утилит для разработки и выполнения распределенных программ на кластерах, состоящихиз сотен и тысяч узловНачало разработки – 2005 годИдейная основа – публикация сотрудников Google в 2004 году о парадигме распределенных вычисленийMapReduce2006 год –Yahoo создает отдел по разработке Hadoop2008 год – Hadoop переходит под крыло Apache2010 год – Google предоставляет права на MapReduce ApacheВ течение 2010 года возникают несколько подпроектов – Avro, HBase, Hive, Pig, ZookeeperОсенью 2013 года состоялся выход Hadoop 2.0http://bigdata.cs.msu.ru/HDFSФайловая система HDFS спроектирована для хранения большихфайлов (терабайты и петабайты) с потоковой схемой доступа кданным к кластерам обычных машинhttp://bigdata.cs.msu.ru/HDFS – основные понятия• NameNode – сервис, который хранит информацию ораспределенной файловой системе HDFS• SecondaryNameNode – сервис, который ускоряет работу HDFS,храня информацию о самых последних изменениях в ней• DataNode – осуществляет доступ к данным, находящимся на узлекластера• Client – пользовательская машина с установленной на ней Hadoophttp://bigdata.cs.msu.ru/HDFS – хранение файлов• Каждый файл разделяется на блоки, размер блока существеннобольше, чем в других файловых системах• Каждый блок файла имеет реплики• За размещение реплик отвечает NameNodehttp://bigdata.cs.msu.ru/HDFS – локальность данныхhttp://bigdata.cs.msu.ru/MapReduceЛог-файл намашине 1...
"GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ... 34ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_9_2 ... 25ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 11ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_8_5 ... 20ms...
"GET / HTTP/1.1" ... X11; Linux x86_64 ... 23msЛог-файл намашине 2... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 23ms... "GET / HTTP/1.1" ... Windows NT 6.1; WOW64 ... 54ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 19ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_7_5 ...
27ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 16msЛог-файл намашине 3... "GET / HTTP/1.1" ... Windows NT 6.2; WOW64 ... 34ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_9_2 ... 31ms... "GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ... 47ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 29ms...
"GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ... 66mshttp://bigdata.cs.msu.ru/Map... "GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ... 34ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_9_2 ... 25ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 11ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_8_5 ... 20ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 23ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 23ms... "GET / HTTP/1.1" ... Windows NT 6.1; WOW64 ...
54ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 19ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_7_5 ... 27ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 16ms... "GET / HTTP/1.1" ... Windows NT 6.2; WOW64 ... 34ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_9_2 ... 31ms... "GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ...
47ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 29ms... "GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ... 66mshttp://bigdata.cs.msu.ru/MapMapMapWindows34Macintosh25Linux11Macintosh20Linux23Linux23Windows54Linux19Macintosh27Linux16Windows34Macintosh31Windows47Linux29Windows66Sorthttp://bigdata.cs.msu.ru/Windows34Linux11Macintosh25Linux23Linux11Macintosh25Macintosh20Macintosh20Linux23Windows34Linux23Linux23Windows54Linux19Linux19Linux16Macintosh27Macintosh27Linux16Windows54Windows34Linux29Macintosh31Macintosh31Windows47Windows34Linux29Windows47Windows66Windows66SortSortSortCopyCopyLinux11Linux23Macintosh25Macintosh20Windows34Linux23Linux19Linux16Macintosh27Windows54Linux29MacintoshMacintosh31WindowsWindows34Windows47http://bigdata.cs.msu.ru/Windows66Reduce 1LinuxReduce 2MergeMap 1Map 2Map 3Map 1Map 2Map 3http://bigdata.cs.msu.ru/Linux11Linux11Linux23Linux23Linux23Linux23Linux19Linux19Linux16Linux16Linux29Linux29Macintosh25Macintosh25Macintosh20Macintosh20Windows34Macintosh27Macintosh27Macintosh31Windows54Windows34Macintosh31Windows54Windows34Windows34Windows47Windows47Windows66Windows66MergeMergeReduceLinux11Linux23Linux23Linux19Linux16Linux29Macintosh25Macintosh20Macintosh27Macintosh31Windows34Windows54Windows34Windows47Windowshttp://bigdata.cs.msu.ru/66ReduceLinuxReduce20,16Macintosh25,75Windows47,00Linux20,16Macintosh25,75Windows47,00Итогоhttp://bigdata.cs.msu.ru/Выполнение заданий• Job – совокупность задач, которые пользователь хочет выполнить(входные данные и MapReduce-приложение)• Task – конкретная Map или Reduce задача• JobTracker – сервис который принимает Job и отправляет Task наисполнение• TaskTracker – сервис на второстепенных узлах, которыйвыполняет Tasks• Master – обозначение для главного узла кластера• Slave (Worker) – обозначение для второстепенных узловhttp://bigdata.cs.msu.ru/Пример организации кластера c однимузломMaster, SlaveJobTrackerTaskTrackerNameNodeDataNodeSecondaryNameNodehttp://bigdata.cs.msu.ru/Пример организации кластера снесколькими узламиhadoop-masterhadoop-node-1TaskTrackerJobTrackerDataNodeNameNodehadoop-node-2SecondaryNameNodeTaskTrackerDataNodeMasterhttp://bigdata.cs.msu.ru/SlavesВыполнение заданийhttp://bigdata.cs.msu.ru/Обновление статуса выполненияhttp://bigdata.cs.msu.ru/Hadoop 2.0 (YARN)http://bigdata.cs.msu.ru/Hadoop 2.0 (YARN)http://bigdata.cs.msu.ru/Выполнение заданий (YARN)http://bigdata.cs.msu.ru/Обновление статуса (YARN)http://bigdata.cs.msu.ru/Hadoop 1.0 vs 2.0http://bigdata.cs.msu.ru/Hadoop 1.0 vs 2.0http://bigdata.cs.msu.ru/Sparksc = ...
# создаём контекст (SparkContext)rdd = sc.textFile("/path/to/server_logs") # создаём указатель наданныеrdd.map(parse_line) \ # разбираем строки и переводим их в удобныйформат.filter(contains_error) \ # фильтруем записи без ошибок.saveAsTextFile("/path/to/result") # сохраняем результаты на дискhttp://bigdata.cs.msu.ru/Поставщики• Cloudera• Hortonworks• MapRhttp://bigdata.cs.msu.ru/Инструменты• Hive• Pig• Impala• Shark• Spark SQL• Drillhttp://bigdata.cs.msu.ru/Машинное обучение• Mahout• MLlibhttp://bigdata.cs.msu.ru/Прочее• ZooKeeper• Hue• Flume• Sqoop• Oozie• Azkabanhttp://bigdata.cs.msu.ru/Данныеdobbsdobbsdoctordoctorhttp://bigdata.cs.msu.ru/20072008200720082022545525668666182036613644603415125731372694ProjectionMapper.javapackage com.tom_e_white.drdobbs.mapreduce;Import …public class ProjectionMapper extends Mapper<LongWritable, Text, Text, LongWritable> {private Text word = new Text();private LongWritable count = new LongWritable();@Overrideprotected void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException {String[] split = value.toString().split("\t+");word.set(split[0]);if (split.length > 2) {try {count.set(Long.parseLong(split[2]));context.write(word, count);} catch (NumberFormatException e) {// cannot parse - ignore}}}http://bigdata.cs.msu.ru/}LongSumReducer.javapublic class LongSumReducer<KEY> extends Reducer<KEY, LongWritable,KEY,LongWritable> {private LongWritable result = new LongWritable();public void reduce(KEY key, Iterable<LongWritable> values,Context context) throws IOException, InterruptedException {long sum = 0;for (LongWritable val : values) {sum += val.get();}result.set(sum);context.write(key, result);}}http://bigdata.cs.msu.ru/AggregateJobpublic class AggregateJob extends Configured implements Tool {@Overridepublic int run(String[] args) throws Exception {Job job = new Job(getConf());job.setJarByClass(getClass());job.setJobName(getClass().getSimpleName());FileInputFormat.addInputPath(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));job.setMapperClass(ProjectionMapper.class);job.setCombinerClass(LongSumReducer.class);job.setReducerClass(LongSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(LongWritable.class);return job.waitForCompletion(true) ? 0 : 1;}public static void main(String[] args) throws Exception {int rc = ToolRunner.run(new AggregateJob(), args);System.exit(rc);http://bigdata.cs.msu.ru/}Ссылки• http://www.drdobbs.com/• http://habrahabr.ru/• http://www.dataart.ru/blog/• http://www.codeinstinct.pro/2012/08/mapreduce-design.html• http://ruhadoop.blogspot.ru/2012/01/hdfs.htmlhttp://bigdata.cs.msu.ru/.
