Ответы на вопросы из коллекции "Введение в аналитику больших массивов данных"

большинство данных в мире в 2011 году содержалось:

• в цифровом виде
• в аналоговом виде

базовая библиотека для data science на Python

• Scipy stack (NumPy & SciPy)
• Theano
• MDP
• Mahout

Какая из приведённых функций реализует алгоритм классификации

• kmeans()
• hcclust()
• randomForest()
• classify()

Клиент покупает билет на самолет через интернет. В момент покупки, он хочет знать насколько может упасть стоимость этого билета в ближайшем будущем и когда. К какому типу относится эта задача анализа данных?

• прогнозирование
• кластеризация
• классификация
• цензурирование

Для каких аргументов функция is.finite вернет false?

• 1
• NA
• NaN
• (+Inf)

Инвестиционный фонд имеет ряд проектов, который успешно переходят на второй год финансирования и тех, кто не переходит. Фонд поставил задачу определить критерий успешности проекта. К какому типу задач анализа данных наиболее близка эта задача?

• прогнозирование
• построение решающего правила
• поиск информативных признаков
• цензурирование

Начиная с каких размеров данных обоснованно применение кластера Hadoop для хранения данных?

• 100Гб
• 1Пб
• 1Тб
• 100Тб

Какие характеристики объединяют следующие СУБД: Greenplum и BigTable?

• высокая-доступность
• консистентность
• распределённость
• колоночная ориентация

Отметьте СУБД, не обладающие встроенной поддержкой MapReduce

• CouchDB
• Redis
• Cassandra
• MongoDB

В каких из перечисленных случаях требуется СУБД со свойством расширяемости записей?

• в проекте требуется индексировать веб-страницы интернета. Каждый месяц аналитики анализируют и добавляют новые признаки, которые вычисляются по проиндексированной веб-странице
• требуется сохранять логи кластера серверов без требования оперативной аналитики
• требуется добавлять оценки пользователей музыкальным композициям для целей дальнейшей выдачи рекомендаций
• требуется сохранять все сообщения электронной почты, проходящие через корпоративный узел

Присваивание в языке R можно осуществить с помощью оператора:

• =
• <-
• ->
• :=

В кардиологическом центре проводятся операции. До и во время операционного вмешательства с пациента снимаются определённые показания. Известны случаи осложнений во время проведения операций, эти случаи описаны тем же набором данных. Как бы в данном случае формулировалась задача классификации?

• сгруппировать пациентов по похожим дооперационным показаниям
• часть данных о пациентах не содержит некоторых полей, требуется заполнить эти данные на основе статистики, чтобы включить данные об этих пациентах в выборку
• ранее были определены три группы риска среди пациентов. Все предыдущие случаи осложнений отнесены к определённым группам риска. Стоит задача определить группу риска для нового пациента, прошедшего дооперационные обследования
• спрогнозировать по дооперационным данным вероятность возникновения осложнений во время операции

Инвестиционный фонд имеет ряд проектов, который успешно переходят на второй год финансирования и тех, кто не переходит. Как бы в данном случае формулировалась задача поиска информативных признаков?

• определить для нового проекта, перейдёт ли он через год на второй этап финансирования или нет
• определить, почему ряд проектов успешно переходят на второй год, а ряд – нет
• восстановить некоторые характеристики проектов, которые изначально не заполнялись
• определить критерий успешности

Какая из следующих СУБД не относится к типу документо-ориентированных?

• Cassandra
• MongoDB
• CouchDB
• Greenplum

Выберите неверный ответ:

• большие данные как правило не структурированы
• проблема больших данных – это проблема, когда при существующих технологиях хранения и обработки сущностная обработка данных затруднена или невозможна
• большие данные – это тренд в области ИТ, подогреваемый маркетинговыми кампаниями крупных вендоров
• большие данные – это данные объёма свыше 1 Тб

Hadoop – это:

• распределённая файловая система, предназначенная для хранения файлов большого объёма
• распределённая СУБД, позволяющая обрабатывать большие данные
• набор утилит, и программный каркас для выполнения распределённых программ, работающих на кластерах
• язык выполнения заданий в парадигме MapReduce

С некоторой периодичностью персонал предприятия списывает группы расходных материалов на различных участках учета. Для выявления ошибок, акты списания выборочно проверяются аудитором. Определены три категории: "ошибочные", "под сомнением", "безошибочные". К какому типу задач анализа данных относится задача о построении правила автоматического отнесения списаний к этим категориям.

• цензурирование
• поиск информативных признаков
• кластеризация
• классификация

Какая типизация в языке R?

• статическая с элементами динамической
• динамическая
• типизация отсутствует
• статическая

Компания, проводящая социологические опросы, испытывает сложности с верификацией данных, поступающих от волонтеров непосредственно опрашивающих респондентов: многие анкеты заполнены не полностью; волонтеры фальсифицируют результаты опроса, самостоятельно заполняя часть анкет. К какому типу задач анализа данных здесь прибегать не придётся?

• цензурирование
• классификация
• прогнозирование
• заполнение пробелов

R является:

• свободной программной средой вычислений с открытым исходным кодом
• высокоуровневым языком программирования общего назначения, ориентированным на повышение производительности разработчика и читаемости кода
• языком программирования с динамической типизацией данных
• языком программирования для статистической обработки данных и работы с графикой, созданный на основе языка S

Назовите отличия RDBMS от NoSQL:

• RDBMS гарантирует консистентость, а NoSQL в общем случае – нет
• изоляция транзакций
• поддержка горизонтальной масштабируемости
• все данные имеют строго определённый тип

p.x=1.y=2 Что выведет print(p)?

• NaN
• ошибка
• (1,2)
• {x=1;y=2}

Ниже приведена последовательность этапов проекта аналитики в соответствии с CRISP-DM, укажите первый этап.

• моделирование (Modeling)
• подготовка данных (Data Preparation)
• понимание данных (Data Understanding)
• оценка (Evaluation)
• внедрение (Deployment)
• понимание бизнеса (Business understanding)

Какие характеристики объединяют СУБД Hbase и BigTable

• расширяемость записей
• распределённость
• высокая доступность
• консистентность

Какие из вариантов присвоения не вызовут ошибки:

• x -> 3
• x <- 3
• 3 <- x
• 3 -> x

Какие характеристики объединяют следующие СУБД: Cassandra и CouchDB?

• консистентность
• высокая-доступность
• распределённость
• колоночная ориентация

Какие типы СУБД поддерживают одновременно высокую-доступность, консистентность и распределённость?

• NoSQL
• RDBMS
• построенные на базе HDFS
• никакие

Алгоритм какого типа реализует функция randomForest()?

• кластеризации
• классификации
• регрессии
• визуализации в виде деревьев

К какому типу шкал относится шкала "очень плохо"-"плохо"-"средне"-"хорошо-"очень хорошо"?

• порядковая
• абсолютная
• бинарная
• номинальная

Выберите верное утверждение:

• каждый Data Warehouse должен содержать "песочницу"
• Data Warehouse создаются для проверки гипотез при анализе больших данных
• "Песочница" необходима для любого процесса аналитики
• "Песочница" используется для снижения нагрузки на основной Data Warehouse

Какие из следующих технологий СУБД не используют принцип MapReduce

• Hadoop
• Cassandra
• HDInsight
• Redis

Перечислите четыре основных характеристики Big Data:

• Virtualization, Volume, Variability, Vehicle
• Variety, Velocity, Volume, Value
• Verification, Volume, Velocity, Visualization
• Video, Value, Variety, Volume

Отметьте СУБД, обладающие встроенной поддержкой MapReduce

• Cassandra
• Redis
• CouchDB
• MongoDB

Выберите неверные утверждения:

• язык R имеет статическую типизацию
• язык R имеет динамическую типизацию
• язык R имеет статическую типизацию с элементами динамической
• язык R не имеет типизации

Каким будет округленный результат прогнозирования пустого значения в таблице с помощью функции ТЕНДЕНЦИЯ:Год1234Тыс. руб67120160

• 209
• 210
• 220
• 301

Для чего аналитику необходима "песочница"?

• для высокопроизводительной аналитики за счёт использования оперативной памяти и inDB операций
• для хранения всех полученных от заказчика данных
• для построения отчётов о результатах анализа
• для снижения затрат, связанных с репликацией данных

Какой тип NoSQL решения наиболее эффективен для потоковой обработки логов кластера серверов и быстрого сохранения без требования оперативной аналитики?

• документоориентированные
• колоночно-ориентированные
• ключ-значение
• графовая

В каких из следующих случаях исполнение выдаст ошибку?

• (7,7,7)
• [7,7,7]
• {7,7,7}
• c(7,7,7)

Почему Hbase не подходит для большинства веб-приложений с высокой посещаемостью?

• там требуется высокая доступность, а HBase не обладает этим свойством
• из-за по колоночного хранения данных
• там требуется распределённость, а HBase не обладает этим свойством
• для большинства веб-приложений не требуется распределённость

Для каких аргументов функция is.finite вернет true?

• 1
• NA
• NaN
• (+Inf)

Является ли ошибкой использование такой записи: x.x=1?

• да
• нет

Какие из перечисленных языков оказали влияние на R?

• Ruby
• Matlab
• Scheme
• S

Основное преимущество Python перед R – это

• быстродействие
• элементы функционального программирования
• Python превосходит R, как язык программирования
• строго типизирован

Клиент покупает билет на самолет через интернет. Как бы в данном случае формулировалась задача прогнозирования?

• в момент покупки предсказать, насколько и когда может упасть стоимость этого билета в ближайшем будущем
• в момент покупки определить, к какому сегменту относится пользователь и предложить выгодные для него условия сделки
• выдать пользователю прогноз погоды для того места, куда он летит
• спрогнозировать вероятность дополнительных покупок (отель, страховка, туристический тур) и предложить наиболее вероятные пользователю

С некоторой периодичностью персонал предприятия списывает группы расходных материалов на различных участках учета. Для выявления ошибок, акты списания выборочно проверяются аудитором. Руководство компании заинтересовано в сокращении количества проверок, при сохранении точности выявления ошибочного списания на уровне 97%. Требуется выявлять сомнительные акты списания, подлежащие обязательной проверке аудитором. К какому типу относится эта задача анализа данных?

• прогнозирование
• кластеризация
• классификация
• цензурирование

укажите фактор, способствовавший появлению тренда больших данных

• снижение издержек на хранение данных
• появление новых технологий обработки потоковых данных
• выпуск баз данных с обработкой данных в памяти
• маркетинговые кампании крупных корпораций

Каким образом можно сформировать вектор (FALSE, FALSE, TRUE)?

• c(FALSE, FALSE, TRUE)
• 2:4>3
• 2:4<3
• -c(TRUE, TRUE, FALSE)

Есть список на Python s = [1, 2, 3, 4, 6], что вернет выражение s[2:-2]

• [2, 4]
• [1,2,4,6]
• [2,-2]
• [3]

Какие задачи решают графовые БД?

• встроенная обработка данных сетевыми методами
• хранение информации о графах
• распределенное хранение с учетом минимизации передачи информации
• использование графа серверов для распределенного хранения больших данных

Коммерческая клиника обладает некоторыми данными о клиентах и о доходах от них. Руководителем поставлена задача определить, к какой группе "инноватор"-"последователь"-"консерватор" относится данный клиент. К каким из типов задач анализа данных близка эта задача?

• классификация
• таксономия
• прогнозирование
• кластеризация

Какие СУБД полностью полагаются на оперативную память при хранении информации:

• Oracle Exalytics
• SAP HANA
• BigTable
• HBase

Необходимо реализовать интерактивную визуализацию данных, которая будет доступна широкому кругу людей, выберите наиболее подходящие инструменты

• Weka
• Tableau
• Python matplotlib
• JS фреймворк визуализации данных, например, D3

Существуют ли встроенные ограничения в Excel 2013 на количество элементов данных в одном ряду данных для плоских диаграмм?

• да, не более 32 000
• да, не более 1 048 576
• да, не более 32 767
• нет, размер ограничен только объемом доступной оперативной памяти

Продукты аналогичные Knime, RapidMiner хорошо подойдут для

• визуализации данных
• для разработки новых алгоритмов
• создания гибкой интерактивной модели обработки данных
• быстрого прототипирования модели обработки данных

В кардиологическом центре проводятся операции. До и во время операционного вмешательства с пациента снимаются определённые показания. Известны случаи осложнений во время проведения операций, эти случаи описаны тем же набором данных. Ранее были определены три группы риска среди пациентов. Все предыдущие случаи осложнений отнесены к определённым группам риска. Стоит задача определить группу риска для нового пациента, прошедшего дооперационные обследования. К какому типу относится эта задача анализа данных?

• прогнозирование
• классификация
• кластеризация
• цензурирование

Перечислите основные свойства графовых БД

• возможность хранить данные в качестве вершины графа с её свойствами
• возможность запускать адаптированные под графы алгоритмы обхода путей
• возможность хранить и обрабатывать триплеты RDF
• возможность хранить данные в качестве ребра графа со свойствами

Чего не могут стандартные реляционные базы (MySQL, Oracle, MS SQL)?

• хранить данные с изменяющейся структурой
• обрабатывать запросы большого количества клиентов (миллионы)
• хранить большие объемы (терабайты+)
• хранить данные на нескольких физических серверах

Отметьте ту характеристику, которая объединяют СУБД Redis и CouchDB

• колоночная ориентированность
• поддержка MapReduce
• высокая доступность
• NoSQL

В чём состоит свойство расширяемости записей СУБД?

• СУБД имеет чёткую, но расширяемую структуру, в каждую запись можно добавить новую колонку, также как и узнать значение любой записи по добавленной колонке
• СУБД не имеет чёткой структуры, поэтому любую запись можно расширить
• повышение отказоустойчивости системы при добавлении новых записей в СУБД
• в любую таблицу СУБД можно добавить новую колонку, предварительно изменив структуру этой таблицы

Какая из NoSQL СУБД подходит для организации консистентного и распределённого хранилища?

• BigTable
• Hbase
• Redis
• Cassandra

Какая из следующих СУБД подходит для организации высоко-доступного и распределённого хранилища?

• Hbase
• MongoDB
• CouchDB
• Cassandra

Необходимо реализовать решение по анализу данных и передать его стороннему заказчику в эксплуатацию, выберите наиболее подходящие инструменты

• Weka
• RapidMiner
• R
• Python

Что будет присвоено переменной res (Python) в следующем выражении res = [x for x in xrange(1,5, 2)]

• [1,2,3,4,5,1,2,3,4,5]
• [1, 3]
• [1,5,2]
• [152]

Назовите преимущества R, как инструмента data mining, перед другими языками

• удобная работа с данными
• быстродействие
• работа с большими данными
• большое кол-во библиотек алгоритмов ИАД и статистических пакетов

В каком случае применение Tableau наиболее оправдано

• не оправдано
• необходимо реализовать гибкое интерактивное визуальное представление данных
• проведено исследование, результатом которого стала таблица объект-свойства, необходимо предоставить отчетность
• имеются данные, необходимо более получить ясное понимание этих данных

Каково ограничение в Excel 2013 на количество строк при загрузке csv-файла?

• нет, размер ограничен только объемом доступной оперативной памяти
• 2147483648
• 65535
• 1048576

Каким образом можно описать вектор (1,2,3,4,5,6)?

• 1:6
• 2:12/2
• 1:8-7:8
• 1:2+4:6

Как правильно присвоить p значение типа данных, имеющих две координаты x=1 и y=2?

• p.x=1.y=2
• p = c(y=2, x=1)
• p(x,y)<-c(1,2)
• p = c(x=1, y=2)

Что вернет следующее выражение sum(1:3>2)?

• 2
• 1
• 0
• 3. Ошибка

Как сделать вектор из трех чисел?

• {7,7,7}
• c(7,7,7)
• [7,7,7]
• (7,7,7)

На основе какого языка был создан R?

• S
• Java
• C
• Python

Кардиологический центр исследовал возможность прогнозирования возникновения осложнений во время операционного вмешательства по до-операционным данным о пациенте: результатам физиологического и диагностического обследований. К какому типу задача анализа данных относится задача прогнозирования операционных осложнений?

• поиск информативных признаков
• кластеризация
• классификация
• цензурирование

С некоторой периодичностью персонал предприятия списывает группы расходных материалов на различных участках учета. Для выявления ошибок, акты списания выборочно проверяются аудитором. Как бы в данном случае формулировалась задача классификации?

• определить характерные признаки ошибочных списаний
• классифицировать типичные ошибки и составить их список
• научиться автоматически выявлять ошибочные списания с ожидаемой ошибкой не ниже 97%
• определить три категории: "ошибочные", "под сомнением", "безошибочные" и найти правило отнесения к этим категориям

Компания, проводящая социологические опросы получает анкеты от волонтеров, непосредственно опрашивающих респондентов. При каких условиях разумна постановка задачи цензурирования?

• многие анкеты заполнены не полностью
• от заказчика поступило требование уничтожить часть анкет, содержащих информацию о руководителях страны
• стало известно, что волонтеры фальсифицируют результаты опроса, самостоятельно заполняя часть анкет
• Часть анкет пришла в негодность, что не позволяет считать информацию с них со 100% уверенностью

Коммерческая клиника обладает некоторыми данными о клиентах и о доходах от них. Как бы в данном случае формулировалась задача кластеризации?

• определить, сколько денег принесёт тот или иной клиент в следующем периоде
• определить, когда вернётся тот или иной клиент
• определить основные сегменты клиентов
• определить, к какой группе "инноватор"-"последователь"-"консерватор" относится данный клиент

Клиент покупает билет на самолет через интернет. В момент покупки стоит задача определить вероятность дополнительных покупок (отель, страховка, туристический тур) и предложить наиболее вероятные пользователю. К какому типу относиятся эта задача анализа данных?

• цензурирование
• классификация
• заполнение пробелов
• прогнозирование

Пример благоразумного использования Hadoop

• построение графика пульса пациента в реальном времени
• посекундное сохранение данных температуры, поступающих со всех городов России (по одному показанию на город, всего городов 1100 шт)
• анализ 10 Гб данных
• ежедневное сохранение данных температуры, поступающих со всех городов России (по одному показанию на город, всего городов 1100 шт)

На каком из этапов процесса CRISP-DM происходит проверка гипотез?

• понимание бизнеса (Business understanding)
• моделирование (Modeling)
• оценка (Evaluation)
• понимание данных (Data Understanding)

В чём преимущество колоночно-ориентированных СУБД?

• они позволяют выполнять более сложные SQL-запросы по сравнению с реляционными СУБД
• они позволяют эффективно делать межколоночные сравнения
• они позволяют динамически дополнять содержание записей новыми полями
• они имеют более гибкие возможности аналитики

Отметьте те из вариантов, в которых данные структурированы:

• текст педагогической поэмы А.С. Макаренко, представленный в формате PDF
• данные о продажах компании, представленные в виде помесячных отчётов в формате MS Word
• таблица с ежедневными показаниями температуры помещения за год в файле формата csv
• библиотека фильмов, представленных в формате mpeg4 на одном жестком диске

Отметьте значимые события, повлиявшие на формирование тренда больших данных:

• разработка Hadoop
• разработка языка Pyhton
• изобретение принципа MapReduce
• победа Deepblue в матче с Г.Каспаровым

Какая из функций реализует алгоритм кластеризации

• pam()
• nnet()
• cluster()
• party()

В каких из приведённых примеров наиболее эффективны NoSQL решения типа ключ-значение?

• Хранение данных о клиентах международной корпорации
• кластеризация логов кластера серверов на основе заранее известных признаков лог-файла
• оперативная аналитика сохранённых логов кластера серверов
• потоковая обработка логов кластера серверов и быстрого сохранения без требования оперативной аналитики

Объём накопленных человечеством цифровых данных на 2012 год измеряется:

• петабайтами
• зеттабайтами
• йоттабайтами
• экзабайтами

Компания, проводящая социологические опросы, испытывает сложности с верификацией данных, поступающих от волонтеров непосредственно опрашивающих респондентов: многие анкеты заполнены не полностью; волонтеры фальсифицируют результаты опроса, самостоятельно заполняя часть анкет. К какому типу наиболее близка эта задача анализа данных?

• классификация
• прогнозирование
• кластеризация
• цензурирование

Операция с диапазонами x=1:3y=4:6Чему будет равно x+y?

• 1 2 3 4 5 6
• 1:6
• 5 7 9
• 5:9

Принцип MapReduce состоит в том, чтобы

• использовать функциональное программирование для решения задач массивно-параллельной обработки
• производить вычисления на узлах, где информация изначально была сохранена
• использовать вычислительные мощности систем хранения

Вы являетесь владельцем и аналитиком в компании из 10 человек, в которой требуется проанализировать продажи за 1 год (1 млн. продаж). Какие из этапов CRISP-DM можно опустить:

• понимание бизнеса (Business understanding)
• подготовка данных (Data Preparation)
• моделирование (Modeling)
• оценка (Evaluation)

Какая из следующих СУБД обладает свойством расширяемости записей?

• Hbase
• Redis
• MySQL
• Cassandra

Какие из следующих шкал в точности являются порядковыми?

• показания термометра
• "Красный", "Желтый", "Зеленый"
• "удовлетворительно", "хорошо", "отлично"
• "Слабо", "Сильно"

Какая из следующих СУБД подходит для организации высоко-доступного и консистентного хранилища?

• CouchDB
• Greenplum
• BigTable
• Cassandra

Присваивание в R нельзя осуществить с помощью оператора:

• ->
• =
• :=
• <-

Инвестиционный фонд интересуется тем, почему часть финансируемых им проектов успешно переходят на второй год, а часть - нет. К какому типу относится эта задача анализа данных?

• поиск информативных признаков
• цензурирование
• построение решающего правила
• классификация

Какой из языков наиболее богат библиотеками/фреймворками для интерактивной визуализации данных

• Python
• с
• Java Script
• R

Какие из следующих средств разумно использовать для анализа данных, представленных единственным csv-файлом размера более 100Гб:

• Python
• "Песочница"
• Hadoop
• Data Warehouse

Коммерческая клиника желает установить структуру своих клиентов с точки зрения вклада в доход клиники. К какому типу относится эта задача анализа данных?

• прогнозирование
• классификация
• цензурирование
• кластеризация

Какой результат будет у функции is.finite(Inf-Inf)?

• FALSE
• NAN
• TRUE
• ошибка

Отметьте верное представление типа данных "очень плохо"-"плохо"-"средне"-"хорошо-"очень хорошо" в файле типа ARFF:

• @attribute estimation { очень плохо, плохо, средне, хорошо, очень хорошо}
• @attribute estimation { “очень плохо”, плохо, средне, хорошо, “очень хорошо”}
• @attribute estimation { [очень ]плохо, средне, [очень] хорошо}
• @attribute estimation { “[очень ]плохо”, средне, “[очень ]хорошо”}

Необходимо провести предварительный анализ данных для их лучшего понимания, выберите наиболее подходящие инструменты

• Tableau, Weka/Knime/Rapidminer
• R
• Python
• HBase

Выберите верный ответ

• большие данные – это явление, когда цифровые данные наиболее полно представляют изучаемый объект
• большие данные – это огромная PR-акция крупных вендоров и не более того
• проблема больших данных – это такая проблема, когда при существующих технологиях хранения и обработки сущностная обработка данных затруднена или невозможна
• большие данные – это обработка или хранение более 1 Тб информации