Диссертация (Тональность текста синтаксические паттерны выражения отношений между сущностями), страница 9

Тем не менее, анализ устной речи с цельювыделения отрывков, содержащих эмоции, возможен и без примененияинструментованализатональности,достаточноанализаакустическиххарактеристик звукового сообщения [Валуйцева, Хухуни, 2016, с. 46]. Анализтональности может быть полезен для синтеза экспрессивной речи, в таком случае,тональность фрагмента речи будет влиять на его озвучивание синтезатором[Vanmassenhove, Cabral, Haider, 2016].Морфологический анализ играет большую роль для систем выявлениямнений, так как лемматизация или стемминг являются одним из этаповпредварительной обработки текстов. Тем не менее, в рамках проведения анализане создаются самостоятельные описания элементов, вместо этого используютсяотдельные пакеты для морфологического анализа [Семина, 2019г].

Выбор пакетаи метода анализа (лемматизация или стемминг) зависит от целей исследования иот языка текста, стемминг является более быстрым и простым алгоритмом,46поэтому, он чаще применяется, если есть подобная возможность [Elhadad, Li,Gebali, 2019, p.

339]. Для русского языка используется лемматизация, чаще всегоэто пакеты морфологического анализа, находящиеся в свободном доступе, такиекак MyStem [Электронный ресурс] или PyMorphy2 [Электронный ресурс]. Вцелом, морфологически богатые языки представляют отдельную сложность дляобработки, в некоторых случаях служебные морфемы могут оказывать влияние натональность [A sentiment treebank and morphologically enriched recursive deepmodels for effective sentiment analysis in Arabic, 2017].Главной языковой единицей в современном анализе тональности являетсялексема. Лексика объединяется в тональные словари, на основе которых можетпроводиться принятие решений о полярности оценки; слова являются основнымиединицами при использовании вероятностных подходов, при машинном обучениидля построения вектора признаков.

Это связано с тем, что словоформа (а точнее,нормализованная словоформа) проще всего поддается автоматическому анализу,кроме того, лексическое значение слов оказывает большое влияние на выявлениемнений [Семина, 2019г].Применение тональных словарей в анализе тональности позволяетувеличить показатели качества классификации при машинном обучении.Некоторые лексиконы давать точность классификации в пределах 75%–77% приправильной расстановке весов [Khoo, Johnkhan, 2018].Выделяют несколько подходов к созданию тонального лексикона: ручной,основанный на словаре и основанный на корпусе текстов [Kochergina, 2015].Тональные словари можно разделить на три вида:1. тональные словари, содержание только слова;2.

тональные словари, содержащие слова и полярность оценки;3. тональные словари, содержащие слова, полярность и уровень оценки[Araque, Zhu, Iglesias 2019].Кроме указанной выше информации, тональный словарь может содержатьчасть речи, является ли она мнением или фактом. Если лексикон создан на основетезауруса, в описании может присутствовать отсылка на понятие в тезаурусе-47источнике,такиеотсылкинужныдляразделенияразличныхзначениймногозначного слова.

Описание словосочетаний проводится таким же образом,они могут присутствовать в тональных лексиконах вместе с лексемами [Семина,2019г].Для английского языка представлено несколько тональных лексиконов,например, SentiWordnet [Baccianella, Esuli, Sebastiani, 2010], LIWC [Tausczik,Pennebaker, 2010], NTU [Chen, Huang, Chen, 2018] и the Harvard inquirer [Stone,Dunphy, Smith, 1966].Для русского языка в свободном доступе находится РуСентиЛекс[Лукашевич, Левчик, 2016], кроме того, русский язык входит в пакет списковоценочных слов, собранный Й. Ченом и С.

Скиеной [Chen, Skiena, 2014].Последний был составлен путем машинного перевода, что является частымспособом создания лексикона для большого количества языков, но это можетпривести к потере компонентов смысла у элементов словаря или добавлениюнеправильной лексики [Generating a gold standard for a Swedish sentiment lexicon,2018]. Для нивелирования этого вместо перевода лексики можно проводить«адаптацию» – машинной перевод с последующей правкой [Lexicon Adaptation forSpanish Emotion Mining, 2018]. Лексика в тональных словарях будет отличаться посоставу, что связано с данными, использованными для сбора оценочных слов.Другим подходом к использованию лексики для анализа тональностиявляется создание лексико-семантических паттернов.

В основе идеи лежитгипотеза, что для выражения мнений люди применяют схожие структуры [Aspectbased sentiment analysis using lexico-semantic patterns, p.36]. Для оценочныхпредикатов можно установить, что гипотеза подтверждена Н.В. Сердобольской иС.Ю. Толдовой [Сердобольская, Толдова, 2005; Сердобольская, Толдова, 2014].Лексико-семантические паттерны могут состоять из лексических паттернов,частеречныхпаттернов,синономичныхпаттернов,атакжевозможныхкомбинаций этих структур [Поляков, Калинина, Плешко, 2015].В настоящее время большое внимание уделяется синтаксическому уровнюязыка. В ряде исследований обработка синтаксиса ограничивается написанием48набора правил для обработки ряда особенностей мнений, например, отрицаний[Hangya, Szántó, Farkas, 2017, p.

248].Есть несколько способов применения синтаксической информации ванализе тональности, одним из них является использование данных примашинном обучении для выбора признаков как в модели А. Дейва и Ф. Сонга[Dave, Song, 2012]. Несмотря на качество работы таких систем, они дольшеобучаются, кроме того, создание обучающей выборки будет дорогим и долгим[Deep unordered composition rivals syntactic methods for text classification, p. 1681].Информацией, применяемой для машинного обучения, могут быть не простосинтаксические роли или часть речи, но и синтаксические отношения [Адаскина,Паничева, Попов, 2015].Помимомашинногообучениясинтаксическаяинформацияможетприменяться при тематическом моделировании для анализа тональности.Подобные модели, основанные на латентном распределении Дирихле, учитываютчастеречную информацию для анализа мнений [Modeling Sentiment and AspectUsing Syntax: A Topic Model Approach, 2017].

Кроме того, деревья зависимостеймогут являться основой для обработки отношений между словами при анализетональности с тематическим моделированием [Sentiment analysis using dependencytrees and named-entities, 2014].Другим подходом будет создание тональных трибанков. В настоящее времясоздан и находится в свободном доступе размеченный корпус предложений наанглийском языке для анализа тональности с указанием полярности некоторыхязыковых единиц. Группа исследователей университета Стэнфорд представилакорпус Stanford Sentiment Treebank, объем которого составляет 9645 предложений[Recursive deep models for semantic compositionality over a sentiment treebank,2013].

Предложения в корпусе имеют метку полярности на каждой вершине, припродвижении по дереву на каждой вершине метка зависит от показателей вершинпод ней. В корпусе представлена шкала оценок от 1 до 25, где 1 – крайнеотрицательная полярность оценки, 25 – крайне положительная. Сам корпуспозволяет выбирать предложения с нужными токенами, с заданной полярностью49или определенной длины. Этот корпус используется для создания систем анализатональности для английского языка и может использоваться совместно с разнымиметодами автоматической классификации.Анализ выражений, содержащих отрицание, усиление или контраст (а такжеслучаи комбинации этих факторов) является одной из проблемных областейанализа тональности, поэтому все чаще применяют синтаксический анализ илиподход, подобный системе Стэнфорда [Ibid.], когда синтаксический анализ неявляется отдельным этапом предобработки текста, а сочетается с процессомизвлечения тональности. Вложенная структура выражения мнения может бытьсмоделирована образом, схожим со статистическим синтаксическим парсингом.Данный подход открывает новые возможности для анализа тональности, тем неменее, стоит проблема поиска данных для обучения.

Для подобных системнеобходимы полностью размеченные предложения и теги тональности длякомпонентов структуры предложения [A statistical parsing framework for sentimentclassification, 2015, p. 295].В рамках привлечения синтаксической информации к анализу тональностивозможна комбинация различных структур. Синтаксическая структура можетбыть представлена в виде дерева непосредственных составляющих или в видедерева зависимостей. Эти способы представления структуры в комбинации могутнивелировать недостатки друг друга в извлечении оценочных выражений[Effective Sentiment Analysis of Chinese Online Reviews with Syntax Tree andLinguistics Heuristics, 2013, p. 10].Синтаксические зависимости применялись и в работе Р.Р.

Мавлютова иН.А. Остапука. Они начали с создания тезауруса объектов для трех классов:фильмы, книги и камеры. Тезаурус включал в себя: существительные,являющиеся средствами номинации объектов класса, имена собственные,существительные, описывающие параметры объекта. Далее определялись фразы,которые синтаксически связаны с объектами тезауруса, в том числе отрицания.Элементами тонального словаря становились подобные фразы, после эта50информация применялась для анализа тональности текста [Mavljutov, Ostapuk,2013].Синтаксический уровень является важным аспектом при анализе мнений поотношению к объекту (или сущности). В работе И.А. Карпова, М.В.