Лекция 3. Введение в Hadoop (1185404)
Текст из файла
Введение в Hadoophttp://bigdata.cs.msu.ru/ДанныеFA C E B O O K : Х РА Н И Т Н А С В О И Х С Е Р В Е РА Х П Р И М Е Р Н О 1 0 М Л РД .КАРТИНОК• Ф О Н ДО В А Я Б И Р Ж А Н Ь Ю - Й О Р К А : Е Ж Е Д Н Е В Н О Г Е Н Е Р И Р У Е Т О КО Л О 1ТБ НОВЫХ ДАННЫХ• G O O G L E : В 2 0 0 8 Г ОД У О Б РА Б АТ Ы В А Л Е Ж Е М Е С Я Ч Н О 4 0 0 П Б• TWITTER: 55 МИЛЛИОНОВ " TWEET" - СООБЩЕНИЙ В ДЕНЬ И ЭТОТ О Л Ь КО 0 . 5 % О Т О Б Щ Е Г О Ч И С Л А Д А Н Н Ы Х• YA H O O : Б И Л Л И О Н Ы " Т РА Н З А К Ц И Й " В Д Е Н Ь , 5 0 0 M + У Н И К А Л Ь Н Ы ХП О Л Ь З О В АТ Е Л Е Й В М Е С Я Цhttp://bigdata.cs.msu.ru/Зачем это нужноhttp://bigdata.cs.msu.ru/MapReduceЦель: подсчитать количество книг в библиотекеMap: Ты посчитай нечётные полки, а я посчитаю чётные(чем больше у нас людей, тем быстрее выполним этучасть)Reduce: Мы соберёмся и сложим количества,полученные каждым из насhttp://bigdata.cs.msu.ru/MapReduce.
Пример.file1: “hello world hello moon”file2: “goodbye world goodnight moon”First map:< hello, 1 >< world, 1 >< hello, 1 >< moon, 1 >MAPSecond map:< goodbye, 1 >< world, 1 >< goodnight, 1 >< moon, 1 >COMBINEFirst map:Second map:< moon, 1 >< goodbye, 1 >< world, 1 >< world, 1 >< hello, 2 >< goodnight, 1 >< moon, 1 >REDUCE< goodbye, 1 >< goodnight, 1 >< moon, 2 >< world, 2 >< hello, 2 >http://bigdata.cs.msu.ru/HDFShttp://bigdata.cs.msu.ru/Когда нужен Hadoop?• Сотни мегабайт данных• 10 ГБ• 100 ГБ/500 ГБ/1 ТБ• больше 5 ТБ• Точечная обработка активных данных• Потоковая обработка в реальном времени• Пакетная обработка исторических данныхhttp://bigdata.cs.msu.ru/Apache HadoopApache Hadoop – набор утилит для разработки и выполнения распределенных программ на кластерах, состоящихиз сотен и тысяч узловНачало разработки – 2005 годИдейная основа – публикация сотрудников Google в 2004 году о парадигме распределенных вычисленийMapReduce2006 год –Yahoo создает отдел по разработке Hadoop2008 год – Hadoop переходит под крыло Apache2010 год – Google предоставляет права на MapReduce ApacheВ течение 2010 года возникают несколько подпроектов – Avro, HBase, Hive, Pig, ZookeeperОсенью 2013 года состоялся выход Hadoop 2.0http://bigdata.cs.msu.ru/HDFSФайловая система HDFS спроектирована для хранения большихфайлов (терабайты и петабайты) с потоковой схемой доступа кданным к кластерам обычных машинhttp://bigdata.cs.msu.ru/HDFS – основные понятия• NameNode – сервис, который хранит информацию ораспределенной файловой системе HDFS• SecondaryNameNode – сервис, который ускоряет работу HDFS,храня информацию о самых последних изменениях в ней• DataNode – осуществляет доступ к данным, находящимся на узлекластера• Client – пользовательская машина с установленной на ней Hadoophttp://bigdata.cs.msu.ru/HDFS – хранение файлов• Каждый файл разделяется на блоки, размер блока существеннобольше, чем в других файловых системах• Каждый блок файла имеет реплики• За размещение реплик отвечает NameNodehttp://bigdata.cs.msu.ru/HDFS – локальность данныхhttp://bigdata.cs.msu.ru/MapReduceЛог-файл намашине 1...
"GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ... 34ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_9_2 ... 25ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 11ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_8_5 ... 20ms...
"GET / HTTP/1.1" ... X11; Linux x86_64 ... 23msЛог-файл намашине 2... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 23ms... "GET / HTTP/1.1" ... Windows NT 6.1; WOW64 ... 54ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 19ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_7_5 ...
27ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 16msЛог-файл намашине 3... "GET / HTTP/1.1" ... Windows NT 6.2; WOW64 ... 34ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_9_2 ... 31ms... "GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ... 47ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 29ms...
"GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ... 66mshttp://bigdata.cs.msu.ru/Map... "GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ... 34ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_9_2 ... 25ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 11ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_8_5 ... 20ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 23ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 23ms... "GET / HTTP/1.1" ... Windows NT 6.1; WOW64 ...
54ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 19ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_7_5 ... 27ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 16ms... "GET / HTTP/1.1" ... Windows NT 6.2; WOW64 ... 34ms... "GET / HTTP/1.1" ... Macintosh; Intel Mac OS X 10_9_2 ... 31ms... "GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ...
47ms... "GET / HTTP/1.1" ... X11; Linux x86_64 ... 29ms... "GET / HTTP/1.1" ... Windows NT 6.3; WOW64 ... 66mshttp://bigdata.cs.msu.ru/MapMapMapWindows34Macintosh25Linux11Macintosh20Linux23Linux23Windows54Linux19Macintosh27Linux16Windows34Macintosh31Windows47Linux29Windows66Sorthttp://bigdata.cs.msu.ru/Windows34Linux11Macintosh25Linux23Linux11Macintosh25Macintosh20Macintosh20Linux23Windows34Linux23Linux23Windows54Linux19Linux19Linux16Macintosh27Macintosh27Linux16Windows54Windows34Linux29Macintosh31Macintosh31Windows47Windows34Linux29Windows47Windows66Windows66SortSortSortCopyCopyLinux11Linux23Macintosh25Macintosh20Windows34Linux23Linux19Linux16Macintosh27Windows54Linux29MacintoshMacintosh31WindowsWindows34Windows47http://bigdata.cs.msu.ru/Windows66Reduce 1LinuxReduce 2MergeMap 1Map 2Map 3Map 1Map 2Map 3http://bigdata.cs.msu.ru/Linux11Linux11Linux23Linux23Linux23Linux23Linux19Linux19Linux16Linux16Linux29Linux29Macintosh25Macintosh25Macintosh20Macintosh20Windows34Macintosh27Macintosh27Macintosh31Windows54Windows34Macintosh31Windows54Windows34Windows34Windows47Windows47Windows66Windows66MergeMergeReduceLinux11Linux23Linux23Linux19Linux16Linux29Macintosh25Macintosh20Macintosh27Macintosh31Windows34Windows54Windows34Windows47Windowshttp://bigdata.cs.msu.ru/66ReduceLinuxReduce20,16Macintosh25,75Windows47,00Linux20,16Macintosh25,75Windows47,00Итогоhttp://bigdata.cs.msu.ru/Выполнение заданий• Job – совокупность задач, которые пользователь хочет выполнить(входные данные и MapReduce-приложение)• Task – конкретная Map или Reduce задача• JobTracker – сервис который принимает Job и отправляет Task наисполнение• TaskTracker – сервис на второстепенных узлах, которыйвыполняет Tasks• Master – обозначение для главного узла кластера• Slave (Worker) – обозначение для второстепенных узловhttp://bigdata.cs.msu.ru/Пример организации кластера c однимузломMaster, SlaveJobTrackerTaskTrackerNameNodeDataNodeSecondaryNameNodehttp://bigdata.cs.msu.ru/Пример организации кластера снесколькими узламиhadoop-masterhadoop-node-1TaskTrackerJobTrackerDataNodeNameNodehadoop-node-2SecondaryNameNodeTaskTrackerDataNodeMasterhttp://bigdata.cs.msu.ru/SlavesВыполнение заданийhttp://bigdata.cs.msu.ru/Обновление статуса выполненияhttp://bigdata.cs.msu.ru/Hadoop 2.0 (YARN)http://bigdata.cs.msu.ru/Hadoop 2.0 (YARN)http://bigdata.cs.msu.ru/Выполнение заданий (YARN)http://bigdata.cs.msu.ru/Обновление статуса (YARN)http://bigdata.cs.msu.ru/Hadoop 1.0 vs 2.0http://bigdata.cs.msu.ru/Hadoop 1.0 vs 2.0http://bigdata.cs.msu.ru/Sparksc = ...
# создаём контекст (SparkContext)rdd = sc.textFile("/path/to/server_logs") # создаём указатель наданныеrdd.map(parse_line) \ # разбираем строки и переводим их в удобныйформат.filter(contains_error) \ # фильтруем записи без ошибок.saveAsTextFile("/path/to/result") # сохраняем результаты на дискhttp://bigdata.cs.msu.ru/Поставщики• Cloudera• Hortonworks• MapRhttp://bigdata.cs.msu.ru/Инструменты• Hive• Pig• Impala• Shark• Spark SQL• Drillhttp://bigdata.cs.msu.ru/Машинное обучение• Mahout• MLlibhttp://bigdata.cs.msu.ru/Прочее• ZooKeeper• Hue• Flume• Sqoop• Oozie• Azkabanhttp://bigdata.cs.msu.ru/Данныеdobbsdobbsdoctordoctorhttp://bigdata.cs.msu.ru/20072008200720082022545525668666182036613644603415125731372694ProjectionMapper.javapackage com.tom_e_white.drdobbs.mapreduce;Import …public class ProjectionMapper extends Mapper<LongWritable, Text, Text, LongWritable> {private Text word = new Text();private LongWritable count = new LongWritable();@Overrideprotected void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException {String[] split = value.toString().split("\t+");word.set(split[0]);if (split.length > 2) {try {count.set(Long.parseLong(split[2]));context.write(word, count);} catch (NumberFormatException e) {// cannot parse - ignore}}}http://bigdata.cs.msu.ru/}LongSumReducer.javapublic class LongSumReducer<KEY> extends Reducer<KEY, LongWritable,KEY,LongWritable> {private LongWritable result = new LongWritable();public void reduce(KEY key, Iterable<LongWritable> values,Context context) throws IOException, InterruptedException {long sum = 0;for (LongWritable val : values) {sum += val.get();}result.set(sum);context.write(key, result);}}http://bigdata.cs.msu.ru/AggregateJobpublic class AggregateJob extends Configured implements Tool {@Overridepublic int run(String[] args) throws Exception {Job job = new Job(getConf());job.setJarByClass(getClass());job.setJobName(getClass().getSimpleName());FileInputFormat.addInputPath(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));job.setMapperClass(ProjectionMapper.class);job.setCombinerClass(LongSumReducer.class);job.setReducerClass(LongSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(LongWritable.class);return job.waitForCompletion(true) ? 0 : 1;}public static void main(String[] args) throws Exception {int rc = ToolRunner.run(new AggregateJob(), args);System.exit(rc);http://bigdata.cs.msu.ru/}Ссылки• http://www.drdobbs.com/• http://habrahabr.ru/• http://www.dataart.ru/blog/• http://www.codeinstinct.pro/2012/08/mapreduce-design.html• http://ruhadoop.blogspot.ru/2012/01/hdfs.htmlhttp://bigdata.cs.msu.ru/.
Характеристики
Тип файла PDF
PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.
Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
