Автореферат (Метод, алгоритмы и программная cистема аспектно-эмоционального анализа текстов), страница 4

XMLфайлы доступны для просмотра и редактирования даже простыми текстовымиредакторами.Система аспектно-эмоционального анализа реализована с применениемпринципов структурного и объектно-ориентированного программирования наязыке Python. Интерфейсная часть системы выполнена для платформыMicrosoft.NET. При реализации использованы библиотеки машинногообучения: scikit-learn 13 и gensim 14 , а также лингвистические инструменты:mystem 15 и FreeLing 16 .Четвёртая глава содержит описание текстовых корпусов и результатыэкспериментальныхисследованийполученнойсистемыаспектноэмоционального анализа текста.Текстовые корпусаДля тестирования разработанных метода и алгоритмов использовалосьнесколько текстовых корпусов.

Основным являлся корпус отзывов омедицинских учреждениях (поликлиники, больницы, диспансеры, медицинскиецентры и др.). Тестовая часть корпуса состоит из 12 033 отзывов размеченныхпо шести аспектным категориям: качество, сервис, аппаратура, питание,размещение, в целом. Оценки тональности определены для пятибалльнойшкалы тональности: 5 – отлично; 4 – хорошо; 3 – средне; 2 – плохо; 1 – оченьплохо. Также тестирование выполнено на корпусах отзывов о ресторанах и13Библиотека машинного обучения scikit-learn для языка Python. URL: http://scikit-learn.org/stable.Библиотека тематического моделирования текста gensim. URL: http://radimrehurek.com/gensim.15Морфологический анализатор русского языка mystem. URL: https://tech.yandex.ru/mystem.16Библиотека обработки естественного языка FreeLing.

URL: http://nlp.lsi.upc.edu/freeling.1416автомобилях, предложенных на российском семинаре по оценке систем анализатональности SentiRuEval-2015 17 и корпусах Российского семинара по ОценкеМетодов Информационного Поиска (РОМИП) 18 .Результаты тестирования метода аспектно-эмоционального анализана корпусе медицинской тематикиРазработанный метод аспектно-эмоционального анализа сравнивался сбазовым методом и методом на основе скрытого размещения Дирихле.Базовый метод используется в качестве начальной точки отсчёта присравнениипроизводительностиразличныхсистем.Длякорпусовпользовательских отзывов наблюдается значительный дисбаланс относительнопозитивных оценок тональности, поэтому в качестве базового метода частоиспользуют метод, приписывающий наиболее частую оценку, в данном случае– 5 (отлично).Для сравнения был реализован следующий метод на основе машинногообучения без учителя:1) Для извлечения аспектных терминов используется алгоритм на основескрытого размещения Дирихле 19 .Однако при таком подходе трудно настроить точное соответствие тем иаспектных категорий.

Аспектные термины некоторых категорий оказываются«разбросаны» по нескольким темам. Например, термины аспекта сервисвстречаются в двух темах:• врач, доктор, анестезиолог, медсестра, улыбка, рука, штифт, месяц,пациент, атерома, …;• акушерка, персонал, терапевт, педиатрия, лечение, лекарство,обход, стоматолог, …Также можно отметить довольно большое количество шумовых слов,извлеченных с помощью LDA, которые не встречаются при отборе на основеразработанного алгоритма ITE.2) Для определения тональности извлечённых аспектных терминовиспользуется словарь оценочной лексики с весами кандидатов только на основевзаимной информации (6).3) Для вычисления оценки тональности аспектной категориитональности терминов суммируются без учёта важности каждого из терминов,т.

е. все термины вносят равный вклад в общую оценку тональности.Сравнительные результаты работы всех методов для каждого аспектаприведены в таблице 2.17Семинар по оценке систем анализа тональности SentiRuEval. URL: http://www.dialog-21.ru/evaluation/2015/tonality.18Российский семинар по Оценке Методов Информационного Поиска (РОМИП). URL: http://romip.ru.19Blei D., Ng A., Jordan M. Latent Dirichlet allocation // Journal of Machine Learning Research. 2003.

Vol. 3. P. 993–1022.17Таблица 2 – Результаты определения тональности аспектных категорийна корпусе медицинской тематики (F1-мера, %)Метод на основеБазовыйРазработанныйАспектскрытого размещенияметодметодДирихлеКачество12,4625,8132,40Сервис11,8124,7631,55Аппаратура12,8626,7630,43Питание11,0723,4630,00Размещение12,0024,9930,84В целом11,6725,0131,7211,9825,13Среднее31,16Таким образом, разработанный метод аспектно-эмоционального анализапревосходит результаты аналогичного метода, основанного на машинномобучении без учителя, по метрике F1-меры в среднем на 6,03%.Тестирование разработанного метода и алгоритмов ITE и TSD в рамкахроссийского семинара по тестированию систем анализа тональности позволилозанять первые места в нескольких номинациях, значительно превзойдярезультаты других участников [10].В заключении приведены основные результаты диссертационнойработы.В первом приложении приведен акт о внедрении разработаннойсистемы.Во втором приложении приведено свидетельство о государственнойрегистрации программы для ЭВМ [13].ЗАКЛЮЧЕНИЕ1.

Разработан алгоритм извлечения аспектных терминов, отличающийсяот известных итеративным способом отбора терминов на основе пространствараспределённых представлений слов. Алгоритм позволяет производитьизвлечение аспектных терминов, даже при наличии ошибок и опечаток.2. Разработансловарныйалгоритмопределениятональностиизвлечённых аспектных терминов, отличающийся от известных способомвзвешивания оценочных выражений на основе взаимной информации и мерысемантической близости слов. Использование двух схем взвешивания позволяетосуществлять взаимодополнение оценок и более точно отражатьдействительные тональности аспектных терминов.3. На основании разработанных алгоритмов извлечения аспектныхтерминов и определения тональности, разработан метод аспектноэмоционального анализа текста, отличающийся от известных способомвычисления интегральных оценок тональности.

Метод позволяет выполнятьанализ тональности по аспектам, используя минимальное количествоаприорной информации о предметной области.184. На основании разработанного метода аспектно-эмоциональногоанализа предложена структура системы по выявлению мнений в тексте, а такжевыполнена программная реализация этой системы. Предложенная системаможет быть использована как самостоятельный инструмент для анализамнений, либо интегрирована в более сложные системы автоматическойобработки текста в качестве отдельного модуля.5.

Экспериментально подтверждена эффективность разработанныхметода и алгоритмов, позволяющих осуществлять аспектно-эмоциональныйанализ текстов, качество которого превышает результаты аналогичных систем.СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ АВТОРОМПО ТЕМЕ ДИССЕРТАЦИИВ ведущих рецензируемых научных изданиях, рекомендованных ВАК:1. Блинов, П. Д.

Автоматическое выделение именованных сущностей врусскоязычных текстах / П. Д. Блинов // Научно-технический вестникПоволжья. – 2013. – № 3. – С. 91–96.2. Блинов, П. Д. Метод определения тональности аспектных терминов /П. Д. Блинов, Е. В. Котельников // В мире научных открытий. – 2014. –№ 12.1 (60). – С. 333–351.3. Блинов, П. Д. Программная система аспектно-эмоционального анализатекста / П. Д. Блинов // Программная инженерия. – 2015.

– № 11. –С. 41–48.В изданиях, индексируемых SCOPUS:4. Blinov, P. D. Using Distributed Representation for Aspect-Based SentimentAnalysis / P. D. Blinov, E. V. Kotelnikov // Computational Linguistics andIntellectual Technologies: Papers from the Annual International Conference«Dialogue». – 2014. – № 13. – P. 68–79.5.

Blinov, P. D. Semantic Similarity for Aspect-Based Sentiment Analysis /P. D. Blinov, E. V. Kotelnikov // Computational Linguistics and IntellectualTechnologies: Papers from the Annual International Conference «Dialogue». –2015. – № 14, Vol. 2. – P. 25–34.6. Loukachevitch, N. V. SentiRuEval: Testing Object-oriented SentimentAnalysis Systems in Russian / N. V. Loukachevitch, P. D. Blinov,E. V. Kotelnikov, Yu.

V. Rubtsova, V. V. Ivanov, E. Tutubalina //Computational Linguistics and Intellectual Technologies: Papers from theAnnual International Conference «Dialogue». – 2015. – № 14, Vol. 2. –P. 2–13.В других изданиях:7. Блинов, П. Д. Модели, методы и системы извлечения информации изтекстов / Блинов П. Д // Вятский государственный гуманитарныйуниверситет, Киров, 2012. – 34 с. – Деп. в ВИНИТИ 27.04.2012, № 199–В2012.198. Блинов, П.

Д. Автоматическое выделение именованных сущностейновостного домена / П. Д. Блинов // Труды XIII Международнойконференции «Информатика: проблемы, методология, технологии»(Воронеж, 7–8 февраля 2013 г.) – Воронеж, 2013. – Т. 1. – С. 202–206.9. Blinov, P. D. Research of Lexical Approach and Machine Learning Methodsfor Sentiment Analysis / P. D. Blinov, M. V.