Введение в технологии Big Data - ответы на вопросы на СтудИзбе

Сколько Петабайт в Зеттабайте?

• 1024
• 128
• 32
• 4

Отметьте причину создания NoSQL баз данных…

• высокая стоимость горизонтальной масштабируемости RDBMS при сохранении требования
• высокой доступности
• недостаточная гибкость языка запросов SQL
• невозможность хранить большие объёмы
• данных дороговизна лицензий RDBMS

… – это разделение звуковых образов, которое применяется для восстановления записей с мест преступлений или инцидентов, где важно изолировать речь или другие звуки из фонового шума для дальнейшего анализа

• Преобразование Фурье
• Форензика
• Временные окна фильтров
• Развертка временных рядов

… – это процесс преобразования входных данных в выходные в контексте алгоритмов

• Компиляция
• Итерация
• Отображение
• Энкодинг

Что представляет из себя Apache Hadoop?

• Система управления базами данных
• Графический редактор
• Язык программирования
• Веб-браузер
• Фреймворк для обработки и хранения больших данных

Процесс определения эмоционального оттенка текста, например, определение того, является ли отзыв положительным, негативным или нейтральным, – это …

• информативный анализ текста
• анализ настроений
• стилистический анализ текста
• лингвистический анализ текста

… цветовая модель – это модель, в которой цвета создаются путем поглощения (вычитания) некоторых волн света, отражая другие; примером является CMYK-модель

Говоря о том, как временные окна фильтров влияют на аудиосигнал, можно утверждать, что они …

• повышают его частоту дискретизации
• изменяют амплитуду аудиосигнала во временной области
• позволяют анализировать и модифицировать сигнал в различные моменты времени

Теория … – это раздел прикладной математики, изучающий поведение динамических систем и способы их управления для достижения желаемых результатов

… – это распределенная база данных, разработанная для обработки больших объемов данных на множестве серверов без единой точки отказа; обеспечивает высокую доступность и масштабируемость

• MongoDB
• Cassandra
• Redis

Аналитик это …

• специалист в области анализа и моделирования
• специалист в предметной области
• человек, решающий определенные задачи
• человек, который имеет опыт в программировании

В широком смысле алгоритм можно определить как …

• процесс шифрования данных
• набор инструкций или правил для выполнения определенной задачи
• устройство для обработки информации
• программа для обучения искусственного интеллекта

… – это раздел компьютерных наук, посвященный созданию машин, способных выполнять задачи, требующие человеческого интеллекта

Расстояние … – это мера различия между двумя строками одинаковой длины, определяемая количеством позиций, на которых соответствующие символы этих строк различны

Проклятием размерности в анализе данных называют …

• увеличение времени обработки данных с увеличением их объема
• сложности, возникающие при работе с данными большого объема
• возрастание сложности и уменьшение точности анализа данных при увеличении их размерности
• проблемы с хранением больших объемов данных

Установите правильную последовательность шагов разработки системы стабилизации беспилотных летательных аппаратов (БПЛА):

• 1 моделирование поведения системы
• 2 применение алгоритмов управления
• 3 аналитика реального времени
• 4 тестирование прототипа

… – это графическое представление распределения тонов в изображении, где по горизонтальной оси отложены уровни яркости, а по вертикальной – количество пикселей для каждого уровня

• Томограмма
• Гистограмма
• График
• Диаграмма рассеяния

… объектов – это линии или границы, которые обозначают края объектов на изображении и помогают отделить объекты друг от друга и от фона

Разработчики систем стабилизации, несмотря на их значительные достижения и предложенные усовершенствования, сталкиваются с рядом технических и физических ограничений. Что требуется для преодоления существующих ограничений систем стабилизации и управления беспилотных летательных аппаратов (БПЛА)?

• Требуется получение принципиально новой технологии стабилизации, без такой технологии преодолеть существующие ограничения невозможно.
• Требуется разработать новые более надежные и чувствительные сенсоры. Только это может помочь преодолеть существующие ограничения.
• Требуется комплексный подход, включающий исследования и разработку новых материалов, сенсоров и актуаторов с улучшенными характеристиками.

Интегрированные среды разработки (IDE) – это комплексные программные решения, которые предоставляют разработчикам удобный интерфейс для написания, тестирования и отладки кода. В числе наиболее популярных IDE – мощная среда от Microsoft для разработки на C#, VB.NET, C++ и других языках. Поддерживает разработку приложений для Windows, мобильных платформ и веба. Назовите данный продукт.

• IntelliJ IDEA
• Visual Studio
• Eclipse

Этот процесс в контексте текстовой информации включает группировку слов или предложений на основе их семантической близости или других схожих характеристик. Эта задача позволяет структурировать большие объемы текстовых данных, выявляя в них скрытые паттерны и темы. Данный метод может использоваться для идентификации синонимов или тематически связанных терминов в больших корпусах текста. Например, слова «автомобиль», «машина» и «транспортное средство» могут быть сгруппированы в одну группу – это значительно упрощает анализ текста, позволяя системам обработки естественного языка (NLP) лучше понимать контекст и смысл текстов. О каком процессе идет речь?

• кластеризация
• токенизация
• лемматизация

Расписание движения поездов может рассматриваться как пример…

• Табличной модели
• Натурной модели
• Математической модели
• Графической модели

Сокращение «ПИД-регуляторы» расшифровывается как «пропорционально-…-дифференциальные регуляторы»

Одной из наиболее распространенных и важных задач в области аудиообработки является отделение голосов людей от фоновых звуков или эмбиента. Используя методы разделения звуковых образов, можно эффективно изолировать голосовые сигналы от фоновых шумов. Разделение звуковых образов используется для множества целей, включая ремикширование и мастеринг треков. Например, технология разделения позволяет инженерам извлекать вокальные партии из существующих записей для их последующего использования в ремиксах или для создания новой музыки. Также это применяется для улучшения качества записи путем отделения и детальной обработки инструментальных и вокальных дорожек. Какую область использования разделения звуковых образов иллюстрируют эти примеры?

• Музыкальная продукция.
• Видеопродакшен.
• Область коммуникационных технологий.

Область искусственного интеллекта, занимающаяся разработкой алгоритмов, способных обучаться и делать предсказания или решения на основе данных, – это …

• машинное обучение
• глубокое обучение
• экспертные системы
• компьютерное зрение

Интегрированные среды разработки (IDE) – это комплексные программные решения, которые предоставляют разработчикам удобный интерфейс для написания, тестирования и отладки кода. Например, специализированная IDE для Python от JetBrains, предоставляет широкий набор инструментов для разработки на Python, включая фреймворки для веб-разработки и научных вычислений Назовите данный продукт.

• IntelliJ IDEA
• Visual Studio
• PyCharm

Для создания HDR-изображений требуются как специализированный софт, так и аппаратные средства. Какие аппаратные требования предъявляются к оборудованию для создания исходных снимков для HDR-изображений?
Тип ответа: Одиночный выбор • с выбором одного правильного ответа из нескольких предложенных вариантов

• Для создания исходных снимков подойдет большинство современных цифровых камер и даже смартфонов с режимом HDR.
• Для создания исходных снимков подойдет большинство современных цифровых камер, но смартфоны использовать для этой цели нельзя.
• Для создания исходных снимков подойдет только зеркальная цифровая камера профессионального уровня, большинство современных цифровых камер для этой цели не могут быть использованы.

… – это примеры использования временных рядов в области экономики и финансов

• Ежедневные цены акций, курс валют, экономические индикаторы, (например, индексы потребительских цен)
• Ежечасные или ежедневные данные о температуре, осадках, влажности
• Ежемесячные или годовые данные о продажах, показатели трафика веб-сайтов, статистика клиентских обращений

Для выявления и анализа взаимосвязей между переменными используют … анализ, позволяющий не только выявить взаимосвязи между переменными, но и моделировать будущие тенденции на основе этих связей

Одним из ключевых преимуществ тепловых карт является их способность наглядно представлять плотность и распределение данных. Цвета на карте могут варьироваться от холодных до теплых тонов, где теплые цвета обычно представляют более высокие значения, а холодные – более низкие. Например, тепловые карты могут демонстрировать распределение населения по городам или регионам, показывая более плотно населенные районы в более теплых цветах. К какой области применения тепловых карт относится данный пример?

• Анализе веб-данных.
• Биоинформатика.
• География.

Сегментация изображений, ключевой этап в обработке визуальных данных, требует применения специализированных инструментов и языков программирования для эффективной обработки и анализа. В частности, есть библиотека для глубокого обучения от Google, позволяющая эффективно реализовывать и тренировать сверточные нейронные сети (CNN), которые являются основой для многих современных методов сегментации изображений. Эта библиотека обеспечивает не только возможность обучения моделей на высоком уровне, но и их быстрое применение для обработки изображений в реальном времени. О какой библиотеке идет речь?

• TensorFlow
• OpenCV
• Pillow

… представляет собой данные, которые не поддаются легкому разделению и хранению в традиционных реляционных базах данных из-за их неоднородной структуры; эти данные часто содержат элементы, которые могут быть интерпретированы и обработаны только с помощью специфических или сложных алгоритмов

• Детекция объектов
• Слабоструктурированная информация
• Цифровое изображение
• Текстурный масштаб

… нейросети – это класс глубоких нейронных сетей, специализированных на анализе визуальных данных, способных автоматически и эффективно извлекать важные признаки из изображений

Упорядочьте шаги создания HDR-изображения:

• 1 съемка с разной экспозицией
• 2 комбинирование снимков
• 3 тоновая коррекция

…, или элемент изображения, является базовой единицей, определяющей визуальное представление изображения на экране или в цифровом файле. Каждый пиксель содержит информацию о цвете и яркости, что позволяет создавать сложные и многоцветные изображения

Как происходит обучение нейронной сети?

• эксперты настраивают нейронную сеть
• сеть запускается на обучающем множестве, и незадействованные нейроны выкидываются
• сеть запускается на обучающем множестве, и подстраиваются весовые значения
• сеть запускается на обучающем множестве, и добавляются или убираются соединения между нейронами

Установите соответствие характеристик больших данных и их описаний:

• A. Объем (Volume)
• B. Скорость (Velocity)
• C. Разнообразие (Variety)
• D. характеристика больших данных, относящаяся к количеству генерируемых и хранимых данных
• E. характеристика больших данных, относящаяся к темпу, с которым данные генерируются, обрабатываются и анализируются
• F. аспект больших данных, относящийся к различным типам и форматам данных, с которыми необходимо работать

Выберите технологию потоковой обработки событий в режиме реального времени

• Apache Kafka
• Apache Hadoop
• MapReduce
• Spark Streaming

Отказоустойчивость Big Data – это, когда…

• активируются до 1000 компьютеров
• сбой в одном звене системы не ведет к сбоям в других звеньях
• недостоверные данные удаляются из системы
• данные обрабатываются на других серверах

Искусственные нейронные сети (ИНС) — модели машинного обучения, использующие комбинации распределенных простых операций, зависящих от обучаемых параметров, для обработки входных данных. Какого вида ИНС не существует?

• Наивные
• Рекуррентные
• Импульсные
• Противоборствующие

Установите соответствие понятий и их определений:

• A. Диаграммы разброса
• B. Методы уменьшения размерности
• C. Временные ряды
• D. графические представления, показывающие взаимосвязь между двумя переменными, где каждая точка представляет одно наблюдение в системе координат
• E. техники, применяемые для сокращения количества переменных в анализе данных, с сохранением при этом важной информации
• F. последовательность точек данных, собранных в последовательные моменты времени, часто используемая для анализа тенденций и паттернов в данных, которые изменяются со временем

Слова, которые очень часто встречаются в тексте, но не несут значимой семантической нагрузки для анализа текста (например, предлоги, союзы, местоимения) – это …

• слова-символы
• стоп-слова
• омонимы
• слова-сигналы

Разработчиками беспилотных летательных аппаратов (БПЛА) была создана система, использующая комбинацию гироскопических сенсоров и алгоритмов машинного обучения для мгновенной коррекции полетного пути. Благодаря этому беспилотник способен эффективно противостоять воздействию ветра, сохраняя заданную траекторию и высоту. Тестирование в экстремальных условиях показало высокую эффективность системы, подтвердив ее способность адаптироваться к резким изменениям внешней среды. Применение какой системы описано в этом примере?

• Это пример применения системы стабилизации.
• Это пример применения системы навигации.
• Это пример применения системы повышения мощности и скорости полета.

Прикладные программные решения для разделения звуковых образов играют важную роль в множестве сфер, от музыкальной индустрии до улучшения аудио в образовательных и корпоративных презентациях. Программное обеспечение предоставляет специализированные инструменты для изоляции вокала и отделения фоновых шумов или музыки от основного аудиопотока. Приведите примеры таких программных продуктов.

• iZotope RX, Adobe Audition.
• QuickTime, IINA.
• MediaMonkey, JRiver MediaCenter.

Преобразование … – это математический инструмент, позволяющий переходить между временным и частотным представлениями звукового сигнала, выявляя составляющие его частоты.

Анализ временных рядов включает в себя несколько ключевых аспектов. Например, временные ряды используют для обнаружения неожиданных изменений в данных, которые могут указывать на важные события или проблемы, требующие дальнейшего исследования. Назовите данный аспект.

• Идентификация трендов.
• Выявление сезонности и цикличности.
• Анализ аномалий.

… – это процесс приведения слова к его базовой форме (лемме), с учетом его семантических характеристик

Что означает термин «Big Data» в информационных технологиях?

• Комплексный набор методов обработки структурированных и неструктурированных данных колоссальных объемов
• Представление времени, дня, месяца и года в качестве значения количества миллисекунд, прошедших с начала нашей эры
• Файлы с большим количеством данных
• Комплексный набор методов для создания файлов большого объёма

В 2016 году программа AlphaGo обыграла одного из мировых по шахматам чемпионов Ли Седоля. Какая компания разработала ИИ AlphaGo?

• Facebook
• Google
• Microsoft
• Yandex

Изначально Big Data применяли лишь в…

• геологии
• академической среде
• спутниковой связи
• криптовалютах

Какой язык программирования из перечисленных является наиболее важным для аналитика?

• C++
• PHP
• F#
• R

Интеллектуальный анализ данных или Data Mining…

• Информация, которая организована и проанализирована с целью сделать ее понятной и применимой для решения задачи или принятия решений.
• Оперативная обработка транзакций
• Термин, используемый для описания открытия знаний в базах данных, выделения знаний, изыскания данных, исследования данных, обработки образцов данных, очистки и сбора данных; здесь же подразумевается сопутствующее ПО
• Оперативная обработка транзакций

Традиционные методы визуализации могут находить следующее применение…Представлять пользователю информацию в наглядном виде

• Компактно описывать закономерности, присущие исходному набору данных
• Снижение размерности или сжатие информации

Программа от Google научилась рисовать на основе эскизов, сделанных людьми. Что при этом учитывала программа?

• стиль типичный для похожих изображений
• только конечный результат
• концепцию (идею) рисунка
• цветовую гамму типичную для похожих изображений

Укажите фактор, способствовавший появлению тренда больших данных...

• маркетинговые кампании крупных корпораций
• повышение издержек на хранение данных
• появление новых технологий обработки потоковых данных
• выпуск баз данных с обработкой данных в памяти

Какое из нижеперечисленных понятий не относится к перечню необходимых критериев для создания проекта, связанного с Большими данными?

• Географическое положение
• Производительность
• Гибкость анализа
• Скорость принятия решения

Данные могут быть получены в результате...

• Измерений
• Экспериментов
• Арифметических и логических операций

Принципом Big Data не является…

• горизонтальная масштабируемость
• локализация данных
• отказоустойчивость обработки
• мобильность приложений

Что означает термин NoSQL?

• Не SQL
• Не только SQL
• Без SQL
• SQL – плохо

На основе какого языка был создан R?

• C
• S
• Java
• Python

Какая компания создала технологию MapReduce?

• Google
• Yahoo
• EMC
• Oracle

Одна из главных целей Data Mining – это получение…

• связей малых выборок данных, распространение их на большие массивы
• скриншотов всех обработок данных
• аудита сайтов, веб-ресурсов
• гарантированной сетевой безопасности

В краудсорсинге вклад в проект каждого участника осуществляется…

• лишь финансами
• лишь затратами времени
• ресурсами – компьютер, время и др.
• привлечением аутсорсинга

Примером применения Big Data не может быть…

• зондирование Земли из космоса
• родительский контроль
• хранение данных клиентов в соцсетях
• доступ к крупнейшим библиотекам

Эффективно применять Data Mining с целью защиты от…

• мошенников
• инфицирующих ботов
• инфицированных клиентов
• инсайдеров

Дайте определение Big Data

• Комплексный набор инструментов обработки структурированных данных колоссальных объемов
• Комплексный набор подходов, инструментов и методов обработки структурированных и неструктурированных данных колоссальных объемов
• Комплексный набор методов обработки неструктурированных данных колоссаль
• Комплексный набор методов обработки структурированных данных колоссальных объемов

Отметьте верное понимание Variety в контексте характеристик Big Data…

• высокая скорость генерирования данных
• разные типы данных в колонках таблиц реляционных СУБД
• разнообразие отраслей, являющихся источниками данных
• разнообразие типов данных, включающих в себя структурированные, полуструктурированные и неструктурированные

Итак, вы решили работать с большими данными. Какой из этих инструментов вам вряд ли пригодится?

• SQL
• Texmaker
• Python
• R

До появления Data Mining невозможно было найти связи…

• студентов вуза и их успеваемости по предмету
• течения COVID-19 и осложнений после заболевания по всей РФ
• рекламирования и покупательской активности на сайте веб-магазина
• сроков доставки заказа через службу доставки и числом курьеров

У машинного обучения есть ряд задач. Как называется та, что направлена на предсказание значения той или иной непрерывной числовой величины для входных данных?

• Кластеризация
• Классификация
• Переобучение
• Регрессия

Отметьте те из вариантов, в которых данные структурированы…

• данные о продажах компании, представленные в виде помесячных отчётов в формате MS Word
• таблица с ежедневными показаниями температуры помещения за год в файле формата csv
• текст педагогической поэмы А.С. Макаренко, представленный в формате PDF
• библиотека фильмов, представленных в формате mpeg4 на одном жестком диске

R не является…

• языком программирования для статистической обработки данных и работы с графикой, созданный на основе языка S
• свободной программной средой вычислений с открытым исходным кодом
• высокоуровневым языком программирования общего назначения, ориентированным на повышение производительности разработчика и читаемости кода
• языком программирования с динамической типизацией данных

Какое API было добавлено в Hadoop v2.0?

• YAWN
• YARN
• SARN
• DARN

В каком из приведённых примеров наиболее эффективны NoSQL решения типа ключ-значение?

• потоковая обработка логов кластера серверов и быстрого сохранения без требования оперативной аналитики
• оперативная аналитика сохранённых логов кластера серверов
• кластеризация логов кластера серверов на основе заранее известных признаков лог-файла
• хранение данных о клиентах международной

Какие модули по умолчанию yt входят в состав проекта Apache Hadoop?

• HDFS
• Spark
• MapReduce
• YARN

Выберите неверное высказывание…

• большие данные – это данные объёма свыше 1 Тб
• проблема больших данных – это проблема, когда при существующих технологиях хранения и обработки сущностная обработка данных затруднена или невозможна
• большие данные – это тренд в области ИТ, подогреваемый маркетинговыми кампаниями крупных вендоров
• большие данные как правило не структурированы

Краудсорсинг большого проекта невозможен без…

• соединения его с другими проектами, композиции
• выделения его частей, декомпозиции
• экспертной оценки
• финансирования крупным банком

Hadoop – это…

• набор утилит, и программный каркас для выполнения распределённых программ, работающих на кластерах
• распределённая СУБД, позволяющая обрабатывать большие данные
• язык выполнения заданий в парадигме MapReduce
• распределённая файловая система, предназначенная для хранения файлов большого объёма

Что из перечисленного помогает следить за эволюцией документа, над созданием которого работает одновременно большое количество авторов?

• Пространственный поток
• Исторический поток
• Визуальный поток
• Интерактивный поток

Закончите следующее предложение: "С точки зрения машины, информация становится структурированной, если...

• Машина проинструктирована, каким образом её обрабатывать
• Информация разделена на части и озаглавлена
• Информация имеет логическую взаимосвязь внутри себя
• Машина знает из каких частей состоит информация

Одна из главных целей Big Data – это…

• привлечение все больше пользователей
• рост числа обработок данных
• снижение издержек операций
• таргетирование пользователей

Что такое SQL?

• Реляционная база данных
• Язык неструктурированных запросов
• Язык структурированных запросов
• Средство для создания пайплайнов

Какие из задач решаются Big Data?

• Мониторинг оборудования
• Анализ социальных сетей
• Оптимизация автомобильного движения
• Все вышеперечисленное

Что не является целью процесса Business Intelligence?

• Интерпретация большого количества данных
• Моделирование исходов различных вариантов действий
• Модификация существующего программного обеспечения
• Отслеживание результатов решений

Перетащите в выделенную область изображение, содержащее программу, которая создаёт RDD с двумя разделами из коллекции данных.

Установите соответствие между фазой MapReduce и выполняемым во время этой фазы преобразованием данных.

• группировка и сортировка данных
• Shuffle&Sort
• генерация пар "ключ-значение"
• Map
• объединение данных
• Reduce

Установите соответствие между названием алгоритма машинного обучения и его описанием.

• ансамбль деревьев решений, применяемых последовательно
• Градиентный бустинг
• линейная модель для предсказания непрерывной зависимой переменной
• Линейная регрессия
• ансамбль деревьев решений, применяемых параллельно
• Случайный лес

Установите соответствие между компонентами Apache Hadoop и функциями, которые они выполняют.

• формирование и хранение метаданных
• Namenode
• предотвращение потери метаданных в случае сбоев
• Secondary Namenode
• хранение блоков данных
• Datanode

Расположите в хронологической последовательности этапы процесса обработки данных в DataFrame Apache Spark.
Чтение данных
Кэширование
Завершение
Создание DataFrame
Трансформации

В чём заключаются недостатки Apache Spark?

• низкая надёжность
• сравнительно более высокая стоимость
• требование значительных объёмов оперативной памяти
• нестабильная работа со структурированными данными
• низкая производительность

Какие издержки влечёт за собой репликация данных?

• невозможность хэширования данных
• увеличения требований к объёму оперативной памяти
• снижение надёжности
• расходование вычислительных ресурсов кластера
• пропорциональное увеличение дискового пространства

Какие операции с данными проводятся на этапе Shuffle&Sort алгоритма MapReduce.

• сжатие
• группировка
• индексирование
• дублирование
• сортировка

Какими средствами в технологиях Big Data обеспечивается отказоустойчивость?

• кэширование данных
• потоковая обработка данных
• обработка данных в оперативной памяти
• пакетная обработка данных
• репликация данных
• горизонтальное масштабирование

Что означает термин "распределенная обработка данных"?

• Обработка данных в облаке
• Обработка данных на одном сервере
• Обработка данных в локальной сети
• Использование квантовых вычислений
• Обработка данных на нескольких серверах

Какие принципы обеспечивают отказоустойчивость в Apache Spark?

• Работа с данными только в оперативной памяти
• Централизованное хранение данных
• Репликация данных и линейные вычисления с использованием графа
• Использование кэширования данных
• Распределенные вычисления

Что такое NoSQL в контексте Big Data?

• Базы данных для числовых данных
• Базы данных для статических данных
• Только SQL базы данных
• Базы данных для графических данных
• Системы управления базами данных с использованием не только SQL

Какой принцип работы лежит в основе MapReduce в Apache Hadoop?

• Работа с графикой
• Распределенная обработка данных в два этапа: Map и Reduce
• Работа с файловой системой
• Работа с базами данных
• Однопоточная обработка данных

Какое достоинство Apache Spark связано с поддержкой нескольких языков программирования?

• Распределенная обработка данных
• Масштабируемость
• Отказоустойчивость
• Удобство разработки благодаря поддержке Java, Scala, Python и R
• Эффективное использование хранилища

Какой язык программирования используется в Apache Spark?

• Python
• C
• Swift
• C++
• Ruby

Какие задачи могут решать методы машинного обучения в Big Data?

• Классификация и кластеризация данных
• Оптимизация алгоритмов сортировки
• Генерация данных в реальном времени
• Распределенное хранение данных
• Анализ связей изображений