Вопросы
Описание файла
PDF-файл из архива "Вопросы", который расположен в категории "". Всё это находится в предмете "(смрхиод) современные методы распределенного хранения и обработки данных" из 10 семестр (2 семестр магистратуры), которые можно найти в файловом архиве МГУ им. Ломоносова. Не смотря на прямую связь этого архива с МГУ им. Ломоносова, его также можно найти и в других разделах. .
Просмотр PDF-файла онлайн
Текст из PDF
Вопросы к экзамену по курсу "Современные методы распределенного хранения и обработки данных" 1. Проблема больших данных. 2. Транзакционные и аналитические базы данных. Определения и примеры. 3. Транзакционные и аналитические базы данных. Проблемы и общие принципы их решения. 4. Универсальные СУБД. 5. Вертикальное и горизонтальное масштабирование. Достоинства и недостатки. 6.
Хранилища данных. Основные характеристики. 7. Хранилища данных. Схема формирования реального “физического” хранилища данных. 8. Хранилища данных. Виртуальные хранилища данных. 9. OLAP. Основные понятия. 10. OLAP. Понятие гиперкуба. 11. OLAP. Примеры операций над многомерными кубами (срез, вращение, обобщение, детализация). 12. OLAP. 12 признаков OLAPданных, сформулированных Коддом. 13. OLAP. Три типа OLAP: многомерная, реляционная, гибридная. Основные их характеристики. 14. MDX. Основные понятия. 15. MDX. Работа с измерениями и иерархиями измерений. 16. MDX. Понятие кортежа. 17.
MDX. Примеры MDXзапросов. 18. ETL. Основные понятия и принципы. 19. ETL. Работа с данными. Основные стадии процесса загрузки данных. Преобразование данных. 20. SSIS. Основные понятия и принципы. 21. SSIS. Виды преобразований. 22. Что такое большие данные. Правило 4х “V”. 23. Основные математические задачи машинного обучения. 24. Примеры практических применений больших данных сегодня. 25. GFS. Компоненты, их функции и взаимодействие, ключевые понятия, операции 26. MapReduce. Компоненты, их функции и взаимодействие, ключевые понятия. Стадии MapReduce. 27.
HDFS. Компоненты, их функции и взаимодействие. Операции. Отличия от GFS. 28. HDFS. Защита от сбоев (включая механизмы HDFS 2.0) 29. HDFS 2.0. 30. HDFS. Последовательность действий при чтении и записи, стратегия размещения реплик. 31. Hadoop MapReduce. Компоненты, их функции и взаимодействие. Стадии Hadoop MapReduce. Детали реализации стадии “Тасовка”. 32.
Hadoop MapReduce. Типы для поддержки сериализации. Роль RawComparator. 33. Hadoop MapReduce. Входные форматы (InputFormat), примеры существующих реализаций. Подробности TextInputFormat. Разбиение (splitting). Размер сплита в случае FileInputFormat. Структура классов Hadoop Java API для реализации своего InputFormat. 34. Hadoop MapReduce. Распределитель (Mapper). Функции распределителя. Число распределителей. 35. Hadoop MapReduce. Редуктор (Reducer). Комбинатор (Combiner). Функции редуктора и комбинатора. Число редукторов. Типы агрегационных функций с т.зр. применимости комбинатора. Стадии MapReduce, на которых работают комбинаторы. Преимущества от использования комбинатора. 36.
Разделитель (Partitioner). Функции разделителя. Реализация по умолчанию. Структура классов для реализации своего разделителя. 37. SequenceFiles: устройство, типы, предпосылки к появлению. Использование сжатия данных в Hadoop (на каких этапах, какие типы архиваторов, достоинства и недостатки от использования сжатия). 38. Обработка ошибок и сбоев оборудования в Hadoop MapReduce 39. Обеспечение глобальной сортировки результатов. 40. Вторичная сортировка (Secondary Sort). 41. YARN: компоненты их свойства и взаимодействие, основные настройки. Использование YARN для Hadoop MapReduce (основные настройки). Uber task. 42. Планирование в Hadoop. FIFO планировщик. 43.
Планирование в Hadoop. Capacity планировщик 44. Планирование в Hadoop. Fair планировщик. Вытеснение. 45. Отложенное планирование. Принцип Dominant Resource Fairness 46. Hadoop Streaming. Принципы, возможности, ограничение, способ использования. Aggregate. 47. Join на стороне Mapper: CompositeInputFormat. 48. Join на стороне Reducer. 49. Pig. Основные концепции и возможности, области применения. Отличия от MapReduce. 50. Pig. Операторы диагностики. Понятие схемы отношения. 51. Pig. Режимы запуска Pig. 52. Pig Latin. Основные понятия и особенности. Операторы и массивы. 53. Pig Latin. Типы данных, базовые операции, встроенные функции. 54. Pig. Написание скриптов. Особенности парсинга. 55.
Сходства и отличия Pig, Hive и SQL. 56. Hive. Основные концепции и возможности, области применения. 57. Hive. Особенности Hive. 58. Hive. Компоненты Hive. 59. Hive. Типы данных, встроенные агрегатные функции. 60. Hive. Написание скриптов. 61. Apache Spark. Основные компоненты, их функции и взаимодействие. Концепция RDD, преобразования и действия. Модель вычислений. 62. Apache Spark. Кеширование RDD (функции, настройки кеширования). 63.
Apache Spark. Объединение нескольких RDD по ключу. Свойство RDD.partitioner. 64. Apacha Spark. DataFrame и SQL. .
