Теоретический минимум по Распределённым Операционным Системам (1158867), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

Hadoop и MapReduce (GFS, …) – состав – Common (компоненты, стыковка с файловой системой, …) + HDFS + MapReduce (под java, …)

1. Концепции –

   1. Функциональное программирование (подобно lisp) + перемещение вычислений к данным

   2. Данные почти не пишутся – очень много читаются

   3. Простота использования при автоматическом распараллеливании

   4. Перемещаются лишь промежуточные списки – их объём мал.

   5. Дёшево и сердито, всёгда что-то ломается

2. HDFS – Namenode – знает где и что лежит, DataNode – в нём лежит, Rack1 – шкафы, в которые собраны DataNode

Адресное пространство общее, файл разбивается на независимые блоки, которые реплицируются

Права доступа – дискреционные, команды для работы с файловой системой – свои.

1. MapReduce – Последовательно делается Map данных с получением промежуточных списков, потом их Shuffle (перегруппировка), а потом их Reduce – и результат reduce в совокупности – и есть ответ.

2. Архитектура – Клиент даёт задачу JobTracker, тот её может соптимизировать (сам решить, как данные разбить, …) и отдаёт TackTracker – который выполнит нужную операцию.

Примеры систем hadoop – Hive, Pig, Cassandra

10

Характеристики

Список файлов ответов (шпаргалок)