Вопросы (1185401)
Текст из файла
Вопросы к экзамену по курсу "Современные методы распределенного хранения и обработки данных" 1. Проблема больших данных. 2. Транзакционные и аналитические базы данных. Определения и примеры. 3. Транзакционные и аналитические базы данных. Проблемы и общие принципы их решения. 4. Универсальные СУБД. 5. Вертикальное и горизонтальное масштабирование. Достоинства и недостатки. 6.
Хранилища данных. Основные характеристики. 7. Хранилища данных. Схема формирования реального “физического” хранилища данных. 8. Хранилища данных. Виртуальные хранилища данных. 9. OLAP. Основные понятия. 10. OLAP. Понятие гиперкуба. 11. OLAP. Примеры операций над многомерными кубами (срез, вращение, обобщение, детализация). 12. OLAP. 12 признаков OLAPданных, сформулированных Коддом. 13. OLAP. Три типа OLAP: многомерная, реляционная, гибридная. Основные их характеристики. 14. MDX. Основные понятия. 15. MDX. Работа с измерениями и иерархиями измерений. 16. MDX. Понятие кортежа. 17.
MDX. Примеры MDXзапросов. 18. ETL. Основные понятия и принципы. 19. ETL. Работа с данными. Основные стадии процесса загрузки данных. Преобразование данных. 20. SSIS. Основные понятия и принципы. 21. SSIS. Виды преобразований. 22. Что такое большие данные. Правило 4х “V”. 23. Основные математические задачи машинного обучения. 24. Примеры практических применений больших данных сегодня. 25. GFS. Компоненты, их функции и взаимодействие, ключевые понятия, операции 26. MapReduce. Компоненты, их функции и взаимодействие, ключевые понятия. Стадии MapReduce. 27.
HDFS. Компоненты, их функции и взаимодействие. Операции. Отличия от GFS. 28. HDFS. Защита от сбоев (включая механизмы HDFS 2.0) 29. HDFS 2.0. 30. HDFS. Последовательность действий при чтении и записи, стратегия размещения реплик. 31. Hadoop MapReduce. Компоненты, их функции и взаимодействие. Стадии Hadoop MapReduce. Детали реализации стадии “Тасовка”. 32.
Hadoop MapReduce. Типы для поддержки сериализации. Роль RawComparator. 33. Hadoop MapReduce. Входные форматы (InputFormat), примеры существующих реализаций. Подробности TextInputFormat. Разбиение (splitting). Размер сплита в случае FileInputFormat. Структура классов Hadoop Java API для реализации своего InputFormat. 34. Hadoop MapReduce. Распределитель (Mapper). Функции распределителя. Число распределителей. 35. Hadoop MapReduce. Редуктор (Reducer). Комбинатор (Combiner). Функции редуктора и комбинатора. Число редукторов. Типы агрегационных функций с т.зр. применимости комбинатора. Стадии MapReduce, на которых работают комбинаторы. Преимущества от использования комбинатора. 36.
Разделитель (Partitioner). Функции разделителя. Реализация по умолчанию. Структура классов для реализации своего разделителя. 37. SequenceFiles: устройство, типы, предпосылки к появлению. Использование сжатия данных в Hadoop (на каких этапах, какие типы архиваторов, достоинства и недостатки от использования сжатия). 38. Обработка ошибок и сбоев оборудования в Hadoop MapReduce 39. Обеспечение глобальной сортировки результатов. 40. Вторичная сортировка (Secondary Sort). 41. YARN: компоненты их свойства и взаимодействие, основные настройки. Использование YARN для Hadoop MapReduce (основные настройки). Uber task. 42. Планирование в Hadoop. FIFO планировщик. 43.
Планирование в Hadoop. Capacity планировщик 44. Планирование в Hadoop. Fair планировщик. Вытеснение. 45. Отложенное планирование. Принцип Dominant Resource Fairness 46. Hadoop Streaming. Принципы, возможности, ограничение, способ использования. Aggregate. 47. Join на стороне Mapper: CompositeInputFormat. 48. Join на стороне Reducer. 49. Pig. Основные концепции и возможности, области применения. Отличия от MapReduce. 50. Pig. Операторы диагностики. Понятие схемы отношения. 51. Pig. Режимы запуска Pig. 52. Pig Latin. Основные понятия и особенности. Операторы и массивы. 53. Pig Latin. Типы данных, базовые операции, встроенные функции. 54. Pig. Написание скриптов. Особенности парсинга. 55.
Сходства и отличия Pig, Hive и SQL. 56. Hive. Основные концепции и возможности, области применения. 57. Hive. Особенности Hive. 58. Hive. Компоненты Hive. 59. Hive. Типы данных, встроенные агрегатные функции. 60. Hive. Написание скриптов. 61. Apache Spark. Основные компоненты, их функции и взаимодействие. Концепция RDD, преобразования и действия. Модель вычислений. 62. Apache Spark. Кеширование RDD (функции, настройки кеширования). 63.
Apache Spark. Объединение нескольких RDD по ключу. Свойство RDD.partitioner. 64. Apacha Spark. DataFrame и SQL. .
Характеристики
Тип файла PDF
PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.
Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
