Лекция 6. Введение в GFS и Google MapReduce (2015 Лекции), страница 2

И получает от функции список key2,value2, которыенакапливает в ОЗУПериодически списки key2,value2 записываются в локальные файлы с номерами hash(key2)%R, их имена передаются master для оповещения reducers.Master оповещает reducer’ов о появлении файлов и с этого момента reducers начинаютполучают списки своих key2,value2 через сеть. После получения всех данных reducersвыполняют сортировку по ключу (при необходимости внешнюю)После сортировки reducer запускает последовательный проход по отсортированным данными вызов функции reduce для групп значений, относящихся к общему ключу.Дополнения●●●●●●Перезапуск map/reduce задания при поломке узлаСпекулятивное исполнениеCustom hash partitioning (например, группировка URL’ов по доменам)Combiner для коммутативных и ассоциативных функцийCustom input/output formatСчетчики и мониторинг исполненияGFS+MapReduce: что получил разработчик?1.2.3.4.5.6.7.Распределенная файловая система.Распределенное параллельное исполнение функции map (k1,v1) → list(k2,v2).Распределенная параллельная сортирвка по ключу пар (ключ,значение).Распределенное параллельное исполнение функции reduce (k2,list(v2))→ list(v3).Учет локальности данных при планировании map вычислений.Восстановление после сбоев.Масштабируемость.Базовые команды HDFShadoop fs -cmd <args>hadoop fs -ls /hadoop fs - lsr /hadoop fs - cat example.txthadoop fs -mkdir /user/sergunhadoop fs -put example.txt .hadoop fs - put example.txt /user/sergunhadoop fs -get example.txt .hadoop fs -cat example.txt | headhadoop fs -tail example.txthadoop fs -rm example.txthadoop fs -help <cmd>WordCountcat input.txt | tr -d '[:punct:]' | tr ' ' '\n' | tr 'A-Z' 'a-z' | sort | uniq -c | sort -rnWordCountimport java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WordCount {public static class MapClass extends Mapper<LongWritable, Text, Text, IntWritable> {public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {String[] words = value.toString().split(" ");for (String word: words) {context.write(new Text(word), new IntWritable(1));}}}public static class ReduceClass extends Reducer<Text,IntWritable,Text,IntWritable> {public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {int sum = 0;for (IntWritable val : values) {sum += val.get();}context.write(key, new IntWritable(sum));}}WordCountpublic static void main(String[] args) throws Exception {Configuration conf = new Configuration();Job job = Job.getInstance(conf, "word count");FileInputFormat.addInputPath(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));job.setJarByClass(WordCount.class);job.setMapperClass(MapClass.class);job.setReducerClass(ReduceClass.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);Компиляция с помощью команды hadoopexport JAVA_HOME=/usr/java/defaultexport PATH=${JAVA_HOME}/bin:${PATH}export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar$ bin/hadoop com.sun.tools.javac.Main WordCount.java$ jar cf wc.jar WordCount*.classКомпиляция с помощью javac/jar под Windows$ mkdir classes$ javac -classpath “c:\distr\share\hadoop\common\hadoopcommon-2.6.0.jar;c:\distr\share\hadoop\mapreduce\hadoopmapreduce-client-core-2.6.0.jar” -d classes WordCount.java$ jar cvf wc.jar -C classes .job.setNumReduceTasks(2);System.exit(job.waitForCompletion(true) ? 0 : 1);}}Компиляция с помощью javac/jar на узле HDInsight$ mkdir classes$ javac -classpath /usr/lib/ambari-metrics-collector/hadoopcommon-2.6.0.2.2.0.0-2041.jar:/usr/lib/ambari-metricscollector/hadoop-mapreduce-client-core-2.6.0.2.2.1.0-2340.jar -dclasses WordCount.javaЗапуск на исполнение$ hadoop jar wc.jar WordCount /example/data/gutenberg/davinci.txt wasb://mmm@serhran2.blob.core.windows.net/3Демонстрация HDInsightHadoop with Microsoft Azure.

Основные этапы1.2.3.4.Регистрация на сайте, получение подпискиhttps://www.microsoftazurepass.com/howtoГенерация ключей для удаленного подключенияLinux: https://azure.microsoft.com/da-dk/documentation/articles/hdinsighthadoop-linux-use-ssh-unix/Windows:https://azure.microsoft.com/da-dk/documentation/articles/hdinsight-hadooplinux-use-ssh-windows/Адрес нового портала Microsoft Azure: https://portal.azure.com/Адрес старого портала Microsoft Azure: https://manage.windowsazure.comHadoop with Microsoft Azure.

Основные этапы(2)1.2.3.4.5.6.7.8.Создание хранилищаСоздание кластера (Желательно: один рабочий узел, два головных.Оптимально A3 Standard)Написание программы, компиляция и формирование .jar-файла: https://azure.microsoft.com/da-dk/documentation/articles/hdinsight-develop-deploy-javamapreduce-linux/Перенос созданного .jar-файла на созданный кластерЗапуск программы на выполнение через sshПросмотр результатаУдаление кластера и хранилища (ОБЯЗАТЕЛЬНО!!!)Альтернативные способы создания хранилища и кластера: Azure PowerShell,Azure CLIДомашнее заданиеРеализовать WordLenStatЧисло вхожденийв текстДлина словаЧто почитать?Подробнее и лучшеНа англ. есть 4е издание.