ВКР: Методы и алгоритмы машинного обучения для анализа тональности высказываний в сети Интернет

Содержание

Введение.................................................................................................... 7

1 Обзор предметной области....................................................................... 9

1.1 Терминология..................................................................................... 9

1.2 Уровни классификации...................................................................... 10

1.3 Проблемы автоматического определения тональности........................ 11

1.4 Предварительная обработка данных................................................... 13

2 Методы анализа тональности текста....................................................... 17

2.1 Машинное обучение.......................................................................... 18

2.1.1 Машинное обучение с учителем.................................................. 18

2.1.1.1 Вероятностные классификаторы...................................................... 18

2.1.1.1.1 Наивный Байесовский классификатор............................... 19

2.1.1.1.2 Сеть Байеса...................................................................... 21

2.1.1.1.3 Классификация методом максимальной энтропии.............. 22

2.1.1.2 Линейные классификаторы............................................................. 24

2.1.1.2.1 Метод опорных векторов.................................................. 25

2.1.1.2.2 Нейронная сеть................................................................. 27

2.1.1.3 Дерево принятия решений............................................................... 30

2.1.1.4 Обучение без учителя..................................................................... 31

2.2 Подходы на основе лингвистической информации.............................. 33

2.2.1 Основанные на правилах классификаторы.................................... 33

2.2.2 Подход, основанный на словарях................................................. 35

3 Архитектура глубоких нейронных сетей................................................. 37

3.1 Описание сверточной нейронной сети................................................ 37

3.2 Описание рекуррентной нейронной сети............................................ 38

4 Описание процесса обработки информации и архитектура реализованных

глубоких нейронных сетей........................................................................ 42

4.1 Описание корпуса данных................................................................. 42

4.2 Предварительная обработка данных................................................... 43

4.3 Реализация классических классификаторов........................................ 44



5

4.4 Реализация реккурентной нейронной сети с LSTM-блоками.

Предлагаемая архитектура сети............................................................... 45

4.5 Реализация сверточной нейронной сети. Предлагаемая архитектура.... 46

4.6 Показатели качества.......................................................................... 48

5 Программная реализация и результаты экспериментальных исследований 49

5.1 Результаты работы классических классификаторов............................. 49

5.2 Результаты работы рекуррентной нейронная сети с LSTM-блоками.... 50

5.3 Результаты работы сверточной нейронной сети.................................. 52

5.4 Сравнение и обсуждение результатов................................................. 53

5.5 Написание приложения. Выбор программных средств разработки...... 54

5.6 Структура приложения...................................................................... 55

Заключение.............................................................................................. 58

Список использованных источников......................................................... 59

Приложение A.......................................................................................... 61









































6

Введение

• последнее десятилетие в интернете генерируются огромные объемы данных, которые несут в себе множество полезной информации, в том числе потребительское мнение, политические настроения, экстремистские взгляды и высказывания. Такие данные, как правило, являются неструктурированным текстом. Для того, чтобы стало возможным использовать данную информации, необходимо ее классифицировать и систематизировать. Одной из самых сложных проблем классификации является анализ тональности текста.

Классификация лежит в основе человеческого мышления и машинного интеллекта. Понимание того, какая буква, слово или изображение были представлены, распознавание лиц или голоса, сортировка почты - все это примеры присвоения класса или категории для входных данных. Одной из самых сложных проблем классификации является анализ тональности высказываний (Sentiment Analysis).

Тональность — это мнение автора высказывания об объекте, событии, процессе и их свойствах, выраженное в эмоциональной оценке. Анализ тональности можно рассматривать как процесс классификации, целью которого является присвоение текстам некоторой категории из конкретного набора. Наиболее простой считается классификация в одномерном эмотивном пространстве, то есть в пространстве двух тональностей: позитивной или негативной.