ВКР: Разработка алгоритма оценки эмоционально окраски веб ресурсов реализованного в телеграм боте

СОДЕРЖАНИЕ
1 ВВЕДЕНИЕ
1.1 Тема работы
1.2 Цель работы
1.3 Задачи работы
1.4 Актуальность темы
2 Анализ существующих решений
2.1 Google Analytics
2.2 Яндекс Метрика
2.3 Youtube Analytics
2.4 IBM WATSON
2.5 Amazon Comprehend
3 Требования к системе
3.1 Описание функциональных требований
3.2 Описание нефункциональных требований
4 Архитектура приложения
5 Разработка модели классификатора
5.1 Обзор NLP методик
5.2 Используемые библиотеки
5.3 Поиск и разметка данных
5.4 Выбор метода векторизации
5.5 Выбор классификатора и fine tuning
5.6 Экспорт модели
6 Разработка контроллера
6.1 Используемые библиотеки
6.2 Разработка обработчика запросов
6.3 Разработка обработчика ошибок
6.4 Разработка модуля анализа и визуализации данных
6.5 Подключение контроллера к Telegram API
7 Отчет по тестированию
7.1 Сценарий 1 - начало работы нового пользователя
7.2 Сценарий 2 - пользователь предоставил некорректную ссылку
7.3 Сценарий 3 - контроллер перегружен запросами
7.4 Сценарий 4 - пользователь предоставил корректную ссылку
8 Используемые инструменты
9 Заключение
10 Список используемой литературы

1. ВВЕДЕНИЕ
1.1 Тема работы
Разработка алгоритма оценки эмоциональной окраски веб ресурсов реализованного в телеграм боте.
1.2 Цель работы
Создание алгоритма способного определить эмоциональный окрас восприятия видеоконтента путем анализа комментариев и вывести визуализированную статистику в Telegram
1.3 Актуальность темы
В современном мире стремительно нарастает объем данных для анализа. Порождается все больше информации и далеко не всегда удается быстро и разумно ее обработать, чтобы принять эффективное бизнес решение.
По данным Google ежеминутно на YouTube обрабатывается около 300 часов видео. Но несмотря на то, что Youtube является крупнейшим видеохостингом даже его трафик не сравнится с трафиком общемировых видеохостингов. Так, в 2016 году оценка общемировых показателей показала, что во всемирной сети ежеминутно стримится около 100 Тб видео. Сложно переоценить насколько эти параметры возросли во времена пандемии.
Бесчисленные комментарии, сообщения и цитирования не оставляют аналитикам и шанса обработать необходимую информацию стандартным набором инструментов. Кажется, что необходима сила современных технологий автоматизации и ML, в частности естественной обработки языка.
Проблема обработки естественного языка была и остается приоритетной в развитии искусственного интеллекта в течение десятилетий. В 1980–90-е годы были предприняты значительные усилия по созданию чат-ботов для общения с человеком и выдачи заранее написанного ответа на заданный вопрос. Такой тип системы обычно называют конечным автоматом, или детерминированным конечным автоматом.
Основным недостатком такой системы была реализация на основе правил и условного оператора if-else, которая может быть сложной структурой для декодирования и обновления.
К основным направлениям обработки естественного языка относят:
• проверку орфографии;
• автозаполнение предложений;
• обобщение документов;
• ответ на вопрос;
• распознавание именованных сущностей;
• машинный перевод.
По данным исследовательской компании «Gather», клиенты в области обработки естественного языка сталкиваются со следующими проблемами :
• 80% времени исследователей данных тратится на утомительные задачи, которые можно было бы автоматизировать;
• 63% компаний рассматривают наличие технических навыков как проблему для внедрения;