Основы обработки текстов - ответы на вопросы на СтудИзбе

Выберите, какие из утверждений НЕ верны.

• Методы кластеризации текстов обязательно требуют разметки людьми
• Обработка естественного языка и лингвистика — это одно и то же
• Задачу языкового моделирования часто формулируют как задачу предсказания следующего слова
• Каждая задача NLP имеет во всех языках примерно одинаковую сложность

Выберите, какие из утверждений верны.

• Задача машинного перевода заинтересовала учёных лишь в 21 веке
• Автор Грамматического словаря русского языка - академик Андрей Петрович Ершов
• Цепи Маркова названы в честь Андрея Андреевича Маркова
• Глубокое обучение - это точный синоним теории информации

Выберите верные утверждения

• Стемминг — это деление текста на слова
• Токенизация - это алгоритм выделения из текста знаков препинания
• В основе инструментов для лемматизации текста часто лежат словари

Выберите верные утверждения

• Для всех рассмотренных инструментов текст нужно заранее поделить на токены
• В настоящий момент для русского языка нет морфологического анализатора с какой-либо обработкой случаев морфологической неоднозначности
• Pymorphy2 очень быстро работает, так как в его основе - нейросетевые методы
• Для рассмотренных инструментов морфологического анализа русского языка есть интерфейс на языке Python

Пусть дана фраза:
Быль не сказка: из неё слово не выкинешь
Выполните токенизацию и лемматизацию указанной фразы, удалите небуквенные токены. Удалите стоп-слова из полученной фразы, учитывая, что
Список стоп слов = {и, в, во, не, что, он, на, я, из, с, со, как, а, то, все, она}.
Введите полученные биграммы (все буквы строчные) через точку с запятой (составляющие биграмм отделите пробелами).

Пусть даны 2 слова:
w1 = перспектива,
w2 = абстракция.
Реализуйте алгоритм Левенштейна (средствами какого-либо языка программирования или, например, в Excel) и вычислите расстояние между двумя этими словами.