Курсовая работа: разработке процедуры тестирования и сравнения различных морфологических анализаторов

Оглавление
Введение
1. Объект, предмет, проблема и цель исследования
1.1. Характеристика анализа словоформ
1.2. Характеристика морфоанализаторов
1.2.1. Pymorphy
1.2.2. Snowball
1.2.3. TreeTagger
1.2.4. Mystem
1.2.5. spaCy, uralicNLP
1.2.6. Результаты исследования
2. Создание процедуры тестирования морфоанализаторов
2.1. Разработка процедуры тестирования морфоанализаторов
2.2. Программная реализация тестирования морфоанализаторов
Заключение
Список использованных источников

Введение

Современный мир насыщен текстовой информацией, объем, разнообразие и необходимость в обработке которой постоянно растут. Это связано как с увеличением областей применения систем распознавания текста (автоматический перевод, диалоговые ассистенты, распознавание речи, суммаризация и т.д.), так и с появлением Big Data, что в первую очередь интересует крупные компании и корпорации. Данные факторы обуславливают непрекращающееся развитие методов обработки естественных языков (Natural language processing), которые являются важными инструментами, позволяющими обрабатывать и анализировать текстовую информацию с высокой точностью и скоростью.
Одним из основных этапов обработки естсвенного языка является анализ словоформ или морфологический анализ, заключающийся в получении основы слова и его необходимых морфологических параметров, что помогает существенно повысить качество обработки текста и сделать его более точным и информативным. Для решения стоящих перед анализом словоформ задач существуют различные алгоритмы и программы, однако их работу осложняют особенности естественных языков, в частности, русского, из-за чего появляется необходимость в оценке качества таких решений.
Цель данной работы заключается в разработке процедуры тестирования и сравнения различных морфологических анализаторов. Основная задача заключается в проведении анализа результатов работы различных морфологических анализаторов с использованием разработанной процедуры тестирования.