💯Проектирование систем обработки больших данных (Big Data) / Темы 1-5 / На отлично!

Проектирование систем обработки больших данных (Big Data)
Учебные материалы
Введение в курс
Тема 1. Большие данные: термины, проблемы
Тема 2. Обработка структурированной информации
Тема 3. Обработка слабоструктурированной информации
Тема 4. Обработка визуальной информации
Тема 5. Неструктурированная информация на примере корпуса текстов
Заключение
Итоговая аттестация

... данные представляют собой высокоорганизованную, фактическую и точную информацию и обычно представлены в форме букв и цифр, которые хорошо вписываются в строки и столбцы таблиц
Структурированные
Неструктурированные
Любые

Подборка тематически связанных данных, расположенных на одном рабочем листе, - это ...

Для работы с реляционными базами данных и хранилищами используется специальный язык программирования -язык структурированных запросов ..., который был разработан IBM в 1970-х гг.

Среди разработчиков программного обеспечения, реализующих передовые поисковые лингвистические технологии, следует выделить ЗАО «...» - такие разработки этой фирмы, как «Следопыт», «Классификатор» и «Аннотатор», позволяют осуществлять оперативный поиск документов, их индексирование, классификацию и автоматическое аннотирование

... данные обычно существуют в таблицах, подобных файлам Excel и электронным таблицам Google Docs

Макрокоманда, содержащая последовательность действий, записанных пользователем, - это ...

... данных являются соцсети, приложения, веб-визоры, камеры наблюдения, видеорегистраторы, датчики и другие системы, где генерируются разнородные данные
Методами обработки
Наборами
Источниками

... - проект фонда Apache Software Foundation, платформа с открытым исходным кодом для обработки больших данных; благодаря распределенной файловой системе и распределенным вычислениям эта разработка позволяет обрабатывать и анализировать очень большие объемы данных.

Создание большого количества различных визуальных представлений одних и тех же данных - это ...
интерпретация
систематизация
прототипирование
визуализация

На рисунке ниже приведены ... списка
имена полей
названия ячеек
графы
характеристики

... впервые использовал термин «большие данные» в журнале Nature по аналогии с терминами «большая нефть», «большая руда»
Клиффорд Линч
Ян Лекун
Юрген Шмидхубер
Йошуа Бенжио

Совокупность методов и средств извлечения их организованных данных для принятия решений - это ... данных

Чтобы переименовать рабочий лист электронной таблицы, сначала нужно ... кнопки мыши вызвать контекстное меню на ярлыке листа и выбрать в нем команду «Переименовать»
щелчком правой
щелчком левой
двойным щелчком левой

После того как первая версия поискового словаря создана, дальнейшие операции ...
всегда совершаются только экспертом
производятся на основе справочников и словарей вручную
могут быть возложены на электронно-вычислительную машину

Структурированные данные часто называют ..., что означает, что их объективный и заранее определенный характер позволяет нам легко подсчитывать, измерять и выражать данные в числах
формулами
теоремами
закономерностями
количественными данными

Установите правильный порядок процедуры анализа текстовой информации, осуществляемой аналитиком:
1 первичная оценка информации
2 резюмирование информации - выделение основных фактов
3 систематизация и сопоставление информации
4 синтез данных

Установите соответствие английского обозначения признака больших данных и характеристики данного признака:
A. Volume
B. Velocity
C. Variety
D. накопленная база данных представляет собой гигантский объем информации, который нуждается в новых подходах и в более усовершенствованных инструментах
E. увеличивается как скорость накопления данных, так и скорость их обработки
F. возможна одновременная обработка структурированной и неструктурированной информации различных форматов; главным отличием структурированной информации является возможность классификации

Установите соответствие понятий и их определений:
A. Оценивание параметров законов
В. Проверка статистических гипотез
С. Методы
D. вычисление по выборке точечных и интервальных оценок
Е. установление справедливости данного утверждения по отношению к параметрам генеральной совокупности
F. общая совокупность действий, направленных на решение задачи

Такой метод обработки изображений, как ..., используется для поиска и (или) подсчета деталей, его цель заключается в упрощении и/или изменении представления изображения, чтобы его было проще и легче анализировать
сегментация
бинаризация
измерение
сопоставление шаблонов

Такой метод обработки изображения, как ..., заключается в преобразовании изображения в серых тонах в белые и черные пиксели; значения каждого пикселя условно кодируются как 0 и 1

Одной из задач машинного зрения является ..., например: определение трехмерного движения камеры; слежение, то есть следование за перемещениями объекта (машины, человека)
обнаружение
идентификация
распознавание
оценка движения

... таблица - это специальный тип таблицы, суммирующий информацию из конкретных полей списка или базы данных; допускает после построения настройку на различные разрезы данных

Карта с нанесенной на нее информацией в виде цвета или с помощью других способов - это

Согласно принципу трех V английским словом «...» обозначают разнообразие, способность обработки множества типов, источников и форматов данных

Совокупность методов и средств извлечения их организованных данных для принятия решений - это ... данных

Комплексный набор методов, подходов и инструментов обработки структурированных и неструктурированных данных колоссальных объемов - это ...

Английское название хранилищ данных масштаба предприятия, где данные хранятся в неструктурированном / необработанном виде, - Data ...

... - это полный набор объектов, связанных с поставленной перед изучением проблемой

В числе наиболее доступных источников информации на сегодня - ... (укажите 2 варианта ответа)
средства массовой информации
издания в диапазоне от художественной литературы и публицистики до специализированных научных изданий
получение информации в процессе живого общения офлайн

Программный продукт TextAnalyst научно-производственного инновационного центра ..., использует для решения задач распознавания слов нейросетевые технологии и, в основном, предназначен для решения задачи автоматического реферирования документов
«Микросистемы»
«МедиаЛингва»
«Юпитер»

... - английское сокращенное обозначение специализированных комплектов разработчика позволяющих при необходимости создавать собственное программное обеспечение, адаптированное к задачам, решаемым той или иной организацией

... - это утверждение о том, что представляют собой законы, лежащие в основе изучаемой генеральной совокупности
Статистический вывод
Оценивание параметров законов
Проверка статистических гипотез

Текстовые данные с неустойчивым форматом, которые для обработки инструментами требуют больших временных затрат на преобразование, - это ... данные
квазиструктурированные
неструктурированные
полуструктурированные

Данные, у которых нет строго зафиксированного формата, называются ...
квазиструктурированными
неструктурированными
полуструктурированными

Услуга эвристического поиска, основанного на использовании систем искусственного интеллекта, формирующих расширенный запрос на основе применения специализированных отраслевых тезаурусов и семантических сетей, в Интернете на сегодня ...
практически не представлена
получает все большее распространение
представлена очень широко

... данные - это данные текстовых файлов с определенными паттернами для их обработки

Компонентом системы машинного зрения является датчик для ... частей обнаружения (часто оптический или магнитный датчик), который служит для захвата и обработки изображений

Чтобы переименовать рабочий лист электронной таблицы, сначала нужно ... кнопки мыши вызвать контекстное меню на ярлыке листа и выбрать в нем команду «Переименовать»
щелчком правой
щелчком левой
двойным щелчком левой

Установите соответствие основания классификации и соответствующих примеров корпусов текстов:
A. По способу построения
В. По способу распространения
C. По назначению
D. статические и динамические
E. свободно или частично доступные, закрытые
F. исследовательские и иллюстративные

Установите хронологическую последовательность исторических прорывов в машинном зрении:
1 первые системы обработки изображений
2 первые беспилотные системы управления автотранспортом
3 корпоративные системы распознавания лиц

Установите правильную последовательность этапов анализа данных:
1 гипотеза
2 сбор и систематизация данных
3 подбор модели
4 тестирование и интерпретация результатов
5 использование

Установите соответствие компонентов распознавания текста и их характеристик:
A. Поиск изображений по содержанию
B. Оценка положения
C. Оптическое распознавание знаков
D. нахождение всех изображений в большом наборе изображений, которые имеют определенное различными путями содержание
E. определение ориентации определенного объекта относительно камеры
F. символы на изображениях печатного или рукописного текста распознаются обычно для перевода в текстовый формат, наиболее удобный для редактирования или индексации

Установите соответствие примеров и характеристик систем управления реляционными базами данных (СУДБ), инструментов и технологий для обработки данных:
A. MySQL
B. База данных Oracle
C. Microsoft SQL Server
D. одна из самых популярных СУБД с открытым исходным кодом, быстрая и надежная; работает на сервере и позволяет создавать как небольшие, так и большие приложения
E. продвинутая СУБД с многомодельной структурой; ее можно использовать для хранения данных, обработки онлайн-транзакций и смешанных рабочих нагрузок баз данных
F. надежная и функциональная система управления реляционными базами данных, которая позволяет хранить и извлекать данные в соответствии с запросами других программных приложений

Установите соответствие признаков больших данных и их характеристик:
A. Достоверность данных
B. Ценность накопленной информации
C. Многообразие
D. в настоящее время это важнейший критерий для пользователей, поскольку недостоверная информация приводит к затруднению анализа данных
E. большие данные должны быть полезны в усовершенствовании бизнес-процессов, составлении отчетности или оптимизации расходов компаний
F. данная характеристика означает возможность одновременной обработки структурированной и неструктурированной информации различных форматов

Установите правильную последовательность действий, если необходимо создать собственный формат данных (лс) и применить его для поля электронной таблицы «Мощность двигателя» (см. рисунок ниже):
1. сделать активной ячейку в столбце «Мощность двигателя»
2. щелчком правой кнопки мыши вызвать контекстное меню и выбрать в нем команду «Формат ячейки»
3. в появившемся окне на вкладке «Число» выбрать все форматы
4. в поле «Тип» ввести: #0" л. с"

Установите соответствие элементов специфики работы со неструктурированными данными и их содержания:
A. Преимущества использования неструктурированных данных
B. У неструктурированных данных все-таки есть структура
C. Для работы с неструктурированными данными нужны особые методы
D. запуск очередного проекта по анализу неструктурированных данных может привести к созданию новых технологий, совершению открытий или к экономии денег
E. порядок организации неструктурированных данных может быть совсем не предназначен для обработки машинными средствами, т.к. структура таких данных слишком сложна и неочевидна
F. классические компьютерные алгоритмы бесполезны при работе с неструктурированными данными – для этого существуют особые типы инструментов

Установите правильную последовательность шагов по созданию макроса, с помощью которого в поле «Цвет» определяются неповторяющиеся значения (эти значения выводятся в ячейке перечислением через запятую):
1 перейти на лист «Исходные данные»
2 в ячейку F40 ввести: «Неповторяющиеся значения по полю "Цвет":»
3 на вкладке «Вид» в разделе «Макросы» выбрать команду «Запись макроса» (так же на вкладке «Разработчик»)
4 в появившемся диалоговом окне ввести название макроса «Цвет» и нажать клавишу ОК
5 выполнить все необходимые действия по созданию макроса
6 остановить запись макроса


КОМПЕТЕНТНОСТНЫЙ ТЕСТ

Существует такой вид операций над данными, как задание критериев - точное соответствие. Например, вам необходимо определить автомобили цвета «Цвет 1» (белый) и цвета «Цвет 2» (черный). Приведите технологию выполнения данного задания.
Создать копию листа «Исходные данные». Переименовать копию листа в «IV.3». Выбрать диапазон ячеек, содержащих нужные буквенно-цифровые данные: столбец «Цвет машины». На вкладке «Данные» выбрать команду «Фильтр». Выбрать элемент управления Поле со списком ’ в поле «Цвет машины». В раскрывающемся списке в поле «Цвет машины» активизировать значения «белый» и «черный». Нажать клавишу ОК.
Создать копию листа «Исходные данные». Переименовать копию листа в «IV.3». Выбрать диапазон ячеек, содержащих нужные буквенно-цифровые данные: столбец «Цвет машины». На вкладке «Вставка» выбрать команду «Фильтр». Выбрать элемент управления Поле со списком ’ в поле «Цвет машины». В раскрывающемся списке в поле «Цвет машины» активизировать значения «белый» и «черный». Нажать клавишу ОК.
Создать копию листа «Исходные данные». Переименовать копию листа в «IV.3». Выбрать диапазон ячеек, содержащих нужные буквенно-цифровые данные: столбец «Цвет машины». На вкладке «Данные» выбрать команду «Сортировка». Выбрать элемент управления Поле со списком ’ в поле «Цвет машины». В раскрывающемся списке в поле «Цвет машины» активизировать значения «белый» и «черный». Нажать клавишу ОК.

Аналитика больших данных в различных областях человеческой деятельности имеет разные цели. В частности, одна из целей аналитики больших данных - уменьшение стоимости лечения различных заболеваний. К какой области относится данная цель?
Наука о жизни.
Здравоохранение.
Публичные сервисы.

Существует такой вид операций над данными, как Задание критериев на основе сравнения. Например, вам необходимо определить автомобили марки «Марка!» (Hyundai). Приведите технологию выполнения данного задания.
Создать копию листа «Исходные данные». Переименовать копию в лист «IV.2 (2)». Выбрать диапазон ячеек, содержащих нужные буквенно-цифровые данные: столбец «Марка машины». На вкладке «Данные» выбрать команду «Фильтр».
Щелкнуть стрелку ’ рядом с заголовком столбца «марка машины». В раскрывающемся списке в поле «марка машины» выбрать следующую последовательность команд: «Текстовые фильтры» - «заканчивается на...». В появившемся диалоговом окне ввести нужный критерий «И». Нажать клавишу ОК.
Создать копию листа «Исходные данные». Переименовать копию в лист «IV.2 (2)». Выбрать диапазон ячеек, содержащих нужные буквенно-цифровые данные: столбец «Марка машины». На вкладке «Данные» выбрать команду «Фильтр».
Щелкнуть стрелку ’ рядом с заголовком столбца «марка машины». В раскрывающемся списке в поле «марка машины» выбрать следующую последовательность команд: «Текстовые фильтры» - «начинается с...». В появившемся диалоговом окне ввести нужный критерий «И». Нажать клавишу ОК.
Создать копию листа «Исходные данные». Переименовать копию в лист «IV.2 (2)». Выбрать диапазон ячеек, содержащих нужные буквенно-цифровые данные: столбец «Марка машины». На вкладке «Данные» выбрать команду «Сортировка». Щелкнуть стрелку ’ рядом с заголовком столбца «марка машины». В раскрывающемся списке в поле «марка машины» выбрать следующую последовательность команд: «Текстовые фильтры» - «начинается с...». В появившемся диалоговом окне ввести нужный критерий «h». Нажать клавишу ОК.

В комплексе инструментов автоматизированного анализа текстов реализованы инструменты анализа и исследования текстов на этапах морфологического, синтаксического анализа, с применением статистических методов, кроме того присутствует средство исследования полученных результатов на следующем - аналитическом уровне. На основе инструментов комплекса созданы сервисы решения задач выделения ключевых слов, статистического анализа, классификации. Какие режимы имеет сервис классификации текстов?
Сервис классификации текстов имеет три режима работы: режим анализа, режим синтеза и режим обучения.
Сервис классификации текстов имеет два режима работы: режим анализа и режим обучения.
Сервис классификации текстов имеет два режима работы: режим морфологического анализа и режим синтаксического анализа.

Существуют различные инструменты управления неструктурированными данными. Один из таких инструментов представляет собой систему управления базами данных, которая ориентирована на документы, не требующие жесткой схемы или структуры таблиц. Данный инструмент считается одним из классических примеров NoSQL и использует документы, подобные JSON. О каком инструменте управления неструктурированными данными говорится в данном примере?
MongoDB.
Apache Hadoop.
Microsoft Azure.

Существуют различные инструменты управления неструктурированными данными. Один из таких инструментов представляет собой эффективную среду с открытым исходным кодом, которая используется для обработки больших объемов данных и их хранения на недорогих обычных серверах. Это не только мощный, но и гибкий инструмент, поскольку не требует наличия схемы или структуры для хранимых данных. Он помогает структурировать неструктурированные данные и затем экспортировать их в реляционные базы данных. О каком инструменте управления неструктурированными данными говорится в данном примере?
Apache Hadoop.
Microsoft Azure
Amazon DynamoDB.

Реализация данной задачи машинного зрения основана на относительно простых и быстрых вычислениях. Иногда эта задача используется для нахождения небольших участков в анализируемом изображении, которые затем анализируются с помощью приемов, более требовательных к ресурсам, для получения правильной интерпретации. О какой задаче машинного зрения здесь идет речь?
Восстановление ЗО-формы по 20-изображениям.
Восстановление сцены.
Восстановление изображений.
Обнаружение.

С помощью такого вида операций над данными, как сортировка, можно переупорядочить строки в списке в соответствии с содержанием конкретных столбцов.
Например, вам необходимо определить значения для критериев отбора:
- Марка 1 - первая марка в списке, отсортированном по полю «владелец» в возрастающем (алфавитном) порядке.
- Марка 2 - вторая марка в списке, отсортированном по полю «владелец» в возрастающем (алфавитном) порядке.
Приведите технологию выполнения данного задания.
Выбрать столбец (поле) с алфавитно-цифровыми данными в диапазоне ячеек или убедиться, что активная ячейка находится в столбце таблицы, который содержит алфавитно-цифровые данные. (столбец «владелец»). На вкладке «Данные» выбрать команду «Сортировка от А до Я (по возрастанию)». Список отсортирован в соответствии с заданием. Определить критерий «Марка 1» (первый в списке): Цвет 1. Аналогично определить критерий «Марка 2» (второй в списке): Цвет 2
Выбрать столбец (поле) с алфавитно-цифровыми данными в диапазоне ячеек или убедиться, что активная ячейка находится в столбце таблицы, который содержит алфавитно-цифровые данные (столбец «марка машины»). На вкладке «Данные» выбрать команду «Сортировка от А до Я (по убыванию)». Список отсортирован в соответствии с заданием. Определить критерий «Марка 1» (первый в списке): Цвет 1. Аналогично определить критерий «Марка 2» (второй в списке): Цвет 2.
Выбрать столбец (поле) с алфавитно-цифровыми данными в диапазоне ячеек или убедиться, что активная ячейка находится в столбце таблицы, который содержит алфавитно-цифровые данные (столбец «владелец»). На вкладке «Данные» выбрать команду «Сортировка от Я до А (по возрастанию)». Список отсортирован в соответствии с заданием. Определить критерий «Марка 1» (первый в списке): Цвет 1. Аналогично определить критерий «Марка 2» (второй в списке): Цвет 2.

Рисунок ниже отражает так называемый «принцип трех V».
Какие характеристики, согласно данному рисунку, играют решающую роль в больших данных?
Объем информации, скорость обработки и разнообразие появляющихся данных.
Объем информации, достоверность данных и скорость обработки.
Объем информации, достоверность данных и ценность накопленной информации.

Одной из задач компьютерной лингвистики является автоматическая классификация текстов, т. е. отнесение текста к той или иной области или ее подмножеству на основе некоторого алгоритма с некоторой вероятностью. Часть алгоритмов используют для этого только данные, полученные непосредственно из этого текста. Охарактеризуйте такие алгоритмы.
Такие алгоритмы всегда соответствуют решению задачи классификации, производимому человеком, или превосходят это решение.
Такие алгоритмы имеют максимально высокую точность.
Такие алгоритмы имеют невысокую точность и часто не соответствуют решению задачи классификации человеком.

Одна из характеристик больших данных определяет способность обработки множества типов, источников и форматов данных от сенсоров, умных устройств, социальных сетей. Также данная характеристика указывает на способность интегрировать все большее число источников, содержащих различные структурированные, полуструктурированные данные, извлекаемыми из веб-страниц, e-mail, документов и др. О какой характеристике больших данных идет речь?
Объем информации.
Скорость обработки.
Разнообразие появляющихся данных.

Изучите приведенный ниже рисунок.
Реализация какой из задач машинного зрения здесь отражена?
Идентификация.
Обнаружение.
Восстановление 30-формы по 20-изображениям.Показать/скрыть дополнительное описание