Диссертация (1090484), страница 12
Текст из файла (страница 12)
Обучающая выборка Wikinews-Ru состоит из 7233 текстов - новостей на русском языке, её количество категорий равно 8. Обучающая выборка Wikinews-En состоит из 23588112текстов - новостей на английском языке, её количество категорий равно 11.Скорость и точность алгоритма «К» ближайших соседей с использованием двоичного дерева и без него [32]:Корпус и алгоритмWikinews-EnWikinews-Ru4.3Время тести- Точность (%)рования (с)KNN48257KNN с двоичным дере- 13795вом87.388.9KNN9168KNN с двоичным дере- 4866вом72.571.7ВыводыНа основании проведенных экспериментов можно сделать следующие выводы:1.
Нейро-семантическая сеть и рекурсивного автоэнкодера на основе морфологического анализа лучше работает с текстами с более стандартной грамматикой, такими как новостями, чем с текстами в разговорной речи;2. Нейро-семантической сети и рекурсивный автоэнкодер на основе морфологического анализа позволяет повышать точность классификации текстов на5-13% по сравнению с другими методами классификации.3. Алгоритм «К» ближайших соседей с использованием двоичного дерева существенно повышает скорость классификации текстов, при этом точность классификации почти не изменяется;113ЗаключениеОсновные результаты диссертационной работы заключаются в следующем:1. Проведен критический анализ существующих методов представления иклассификации текстов.2.
Проведен анализ методов глубокого обучения посредством искусственныхнейронных сетей для обработки и классификации текстов.3. Разработан вычислительный комплекс морфологического анализа для предварительной обработки текстов, позволяющий методом развитых словоформвыделять морфологические признаки слов для последующей классификации.4. Разработан вычислительный комплекс нейро-семантической сети для определения адекватного векторного представления грамматических структур текстов, который позволяет повышать точность классификации текстов на 5-12%по сравнению с другими методами классификации.5.
Разработан вычислительный комплекс рекурсивного автоэнкодера с объединием векторов-слов и векторов-морфологий, который позволяет повышатьточность классификации текстов на 7-13% по сравнению с другими методамиклассификации.6. Разработан вычислительный комплекс алгоритма «К» ближайших соседейс использованием двоичного дерева для уменьшения количества вычислительных операций, который позволяет увеличить скорость классификации текстовв 2-4 раза.7. Разработаны архитектура сервер-клиент и веб-интерфейс демо комплексадля морфологического анализа и классификации текстов.8. Внедрение полученных в диссертации результатов в пратические разработки.
Результаты диссертационного исследования были использованы в технологиях научно-производственного инновационного центра МИКРОСИСТЕМЫ и в исследованиях Института Военных Автоматизированных Технологий,Академия Военных Наук и Технологий, Министерство Обороны Вьетнама, чтоподтверждено актами о внедрении.
Получен патент на изобретение «Голосоваясвязь на естественном языке между человеком и устройством» (RU 2583150).114Литература[1] Chowdhury GG. Natural language processing. Annual review of informationscience and technology. 2003 Jan 1;37(1):51-89.[2] Periñán-Pascual C, Arcas-Túnez F.
Cognitive modules of an NLP knowledgebase for language understanding. Procesamiento del Lenguaje Natural. 2007;39.[3] Manning CD, Schütze H. Foundations of statistical natural language processing.Cambridge: MIT press; 1999 Jun 18.[4] Socher R, Lin CC, Manning C, Ng AY. Parsing natural scenes and naturallanguage with recursive neural networks. InProceedings of the 28th internationalconference on machine learning (ICML-11) 2011 (pp. 129-136).[5] Gao J, Nie JY, Wu G, Cao G. Dependence language model for informationretrieval.
InProceedings of the 27th annual international ACM SIGIR conferenceon Research and development in information retrieval 2004 Jul 25 (pp. 170-177).ACM.[6] Forman G. An extensive empirical study of feature selection metrics for textclassification. Journal of machine learning research.
2003;3(Mar):1289-305.[7] Жонин А. А., Сергиевский Н.А., Смирнов С.А., Харламов А.А. Интеллектуализация сервисов элетронных библиотек на основе самообучаемой системыклассификации контента // Программная инженерия No 8, 2012г.[8] Yu B. An evaluation of text classification methods for literary study. Literaryand Linguistic Computing. 2008 Sep 1;23(3):327-43.115[9] Харламов А. А. Способ автоматизированной классификации текстов на естественном языке.
Заявка на патент на изобретение No 2013139069 от 22 августа 2013[10] Sebastiani F. Machine learning in automated text categorization. ACMcomputing surveys (CSUR). 2002 Mar 1;34(1):1-47.[11] Collobert R, Weston J. A unified architecture for natural language processing:Deep neural networks with multitask learning. InProceedings of the 25thinternational conference on Machine learning 2008 Jul 5 (pp.
160-167). ACM.[12] Kawahara D, Kurohashi S. Case frame compilation from the web using highperformance computing. InProceedings of the 5th International Conference onLanguage Resources and Evaluation 2006 May (pp. 1344-1347).[13] Fabrizio Sebastiani. Machine learning in automated text categorization. ACMComputing Surveys, 34(1):1–47, 2002.[14] Kosala R, Blockeel H. Web mining research: A survey.
ACM Sigkdd ExplorationsNewsletter. 2000 Jun 1;2(1):1-5.[15] Lai CC, Tsai MC. An empirical performance comparison of machine learningmethods for spam e-mail categorization. InHybrid Intelligent Systems, 2004.HIS’04. Fourth International Conference on 2004 Dec 5 (pp. 44-48). IEEE.[16] Pang B, Lee L, Vaithyanathan S. Sentiment classification using machine learningtechniques. InProceedings of the ACL-02 conference on Empirical methods innatural language processing-Volume 10 2002 Jul 6 (pp. 79-86).
Association forComputational Linguistics.[17] Fan TK, Chang CH. Sentiment-oriented contextual advertising. Knowledge andinformation systems. 2010 Jun 1;23(3):321-44.[18] Иомдин ЛЛ, Апресян ЮД, Большаков ИА. Автоматическая обработка текста на естественном языке: модель согласования. Nauka; 1990.116[19] Галушкин А. И. Нейрокомпьютеры в информационных и экспертных системах. Серия "Нейрокомпьютеры и их применение книга 27, Из-во "Радиотехника М., 2007 г.[20] Бородкин А.
А., Некрасов И. В., Толчеев В. О. Методы повышения быстродействия непараметрических классификаторов в задачах обработки и анализа библиографических текстовых документов. Приложение к журналу «Информационные технологии», №11, 2013, с.1-32.[21] Киселев М. В.
Асинхронно-полихронный метод кодирования информациив импульсных нейронных сетях. Нейроинформатика 2016.[22] Жуков Д. О. Программное обеспечение мультимедийных систем обученияи диагностики знаний. Радио и связь; 2003.[23] Цветков В.Я. Разработка и исследование моделей и методов семантическогоуправления интенсифицированными потоками мультимедиа в образовательном пространстве // Научная монография // Федеральное государственноебюджетное образовательное учреждение высшего профессионального образования «Московский государственный технический университет радиотехники, электроники и автоматики» – М., 2013.[24] Казенников А.
О. Разработка моделей и алгоритмов для комплекса автоматической обработки и анализа потоков новостных сообщений на основеметодов компьютерной лингвистики // Диссертации на соискание степеникандидата технических наук, 2014.[25] Ng A. CS229 Lecture notes. CS229 Lecture notes. 2000;1(1):1-3.[26] Martin JH, Jurafsky D. Speech and language processing. International Edition.2000;710:25.[27] Socher R, Huval B, Manning CD, Ng AY. Semantic compositionality throughrecursive matrix-vector spaces. InProceedings of the 2012 Joint Conference onEmpirical Methods in Natural Language Processing and Computational Natural117Language Learning 2012 Jul 12 (pp.
1201-1211). Association for ComputationalLinguistics.[28] Mikolov T. , Chen K. , Corrado G. , Dean J. Efficient estimation of wordrepresentations in vector space. arXiv preprint arXiv:1301.3781. 2013 Jan 16.[29] Романенко А. А., Кудинов М. С., Ле М. Х., Пионтковская И. И., Музычка С.А. Голосовая связь на естественном языке между человеком и устройством,патент RU 2583150, 2016.[30] Ле Мань Ха. Свёрточная нейронная сеть для решения задачи классификации // Труды МФТИ. 2016. Т.8, No 3. С.91–97.[31] Ле Мань Ха. Прогнозирование настроения человека по анализу текста //Информатизация и связь. 2012.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
