Ответы на вопросы из коллекции "Проектирование систем обработки больших данных (Big Data)"

Структурированные и неструктурированные данные обрабатывают и анализируют по-разному. Классические компьютерные алгоритмы бесполезны при работе с неупорядоченными данными. Поэтому существуют отдельные типы инструментов, созданные специально на этот случай. В частности, существует тип инструментов, который включает в себя классификаторы, нейронные сети, векторные машины – особые математические модели, которые могут работать практически с любыми типами данных. Они могут предсказывать, преобразовывать, распознавать и даже создавать новые данные. Назовите данный тип инструментов для работы с неструктурированными данными.

С помощью такого вида операций над данными, как сортировка, можно переупорядочить строки в списке в соответствии с содержанием конкретных столбцов.
Например, вам необходимо определить значения для критериев отбора:
- Марка 1 – первая марка в списке, отсортированном по полю «владелец» в возрастающем (алфавитном) порядке.
- Марка 2 – вторая марка в списке, отсортированном по полю «владелец» в возрастающем (алфавитном) порядке.
Приведите технологию выполнения данного задания.
Выбрать столбец (поле) с алфавитно-цифровыми данными в диапазоне ячеек или убедиться, что активная ячейка находится в столбце таблицы, который содержит алфавитно-цифровые данные. (столбец «владелец»).

Одной из задач компьютерной лингвистики является автоматическая классификация текстов, т. е. отнесение текста к той или иной области или ее подмножеству на основе некоторого алгоритма с некоторой вероятностью. Часть алгоритмов используют для этого только данные, полученные непосредственно из этого текста. Охарактеризуйте такие алгоритмы.

Существует такой вид операций над данными, как задание критериев – точное соответствие.
Например, вам необходимо определить автомобили цвета «Цвет 1» (белый) и цвета «Цвет 2» (черный).
Приведите технологию выполнения данного задания.

Аналитика больших данных в различных областях человеческой деятельности имеет разные цели. В частности, одна из целей аналитики больших данных – уменьшение стоимости лечения различных заболеваний. К какой области относится данная цель?

Существуют различные инструменты управления неструктурированными данными. Один из таких инструментов представляет собой систему управления базами данных, которая ориентирована на документы, не требующие жесткой схемы или структуры таблиц. Данный инструмент считается одним из классических примеров NoSQL и использует документы, подобные JSON. О каком инструменте управления неструктурированными данными говорится в данном примере?

В комплексе инструментов автоматизированного анализа текстов реализованы инструменты анализа и исследования текстов на этапах морфологического, синтаксического анализа, с применением статистических методов, кроме того присутствует средство исследования полученных результатов на следующем – аналитическом – уровне. На основе инструментов комплекса созданы сервисы решения задач выделения ключевых слов, статистического анализа, классификации. Какие режимы имеет сервис классификации текстов?