Большакова Е.И. и др. - Автоматическая обработка текстов на естественном языке и компьютерная лингвистика (1027379), страница 33
Текст из файла (страница 33)
(ed.):Handbook of Computational Linguistics. Oxford University Press, 2003. р. 599-615.10313. Kilgarriff, A., G. Grefenstette. Introduction to the Special Issue on the Web as Corpus.Computational linguistics, V. 29, No. 3, 2003, p. 333-347.14. Manning, Ch. D., H. Schütze. Foundations of Statistical Natural Language Processing.MIT Press, 1999.15.
Matsumoto Y. Lexical Knowledge Acquisition. In: The Oxford Handbook ofComputational Linguistics. Mitkov R. (ed.). Oxford University Press, 2003, р. 395-413.16. The Oxford Handbook on Computational Linguistics. R. Mitkov (Ed.). OxfordUniversity Press, 2005.17. Oakes, M., Paice C. D. Term extraction for automatic abstracting. Recent Advances inComputational Terminology. D. Bourigault, C.
Jacquemin and M. L'Homme (Eds),John Benjamins Publishing Company, Amsterdam, 2001, p.353-370.18. Pedersen, T. A decision tree of bigrams is an accurate predictor of word senses. Proc. 2ndAnnual Meeting of NAC ACL, Pittsburgh, PA, 2001, p. 79-86.19. Samuelsson C. Statistical Methods. In: The Oxford Handbook of ComputationalLinguistics. Mitkov R. (ed.). Oxford University Press, 2003, р. 358-375.20. Salton, G.
Automatic Text Processing: the Transformation, Analysis, and Retrieval ofInformation by Computer. Reading, MA: Addison-Wesley, 1988.21. Somers, H. Machine Translation: Latest Developments. In: The Oxford Handbook ofComputational Linguistics. Mitkov R. (ed.). Oxford University Press, 2003, р. 512-528.22. Strzalkowski, T. (ed.) Natural Language Information Retrieval. Kluwer,1999. 385 p.23. Woods W.A.
Transition Network Grammers forNatural language Analysis/Communications of the ACM, V. 13, 1970, N 10, p. 591-606.24. Word Net: an Electronic Lexical Database. /Edit. by Christiane Fellbaum. Cambridge,MIT Press, 1998.25. Wu J., Yu-Chia Chang Y., Teruko Mitamura T., Chang J.
Automatic CollocationSuggestion in Academic Writing // Proceedings of the ACL 2010 Conference ShortPapers, 2010.26. Апресян Ю.Д. и др. Лингвистическое обеспечение системы ЭТАП-2. М.: Наука,1989.27. Барсегян А.А. и др. Технологии анализа данных: Data Mining, Visual Mining, TextMining, OLAP – 2-e изд.
– СПб.: БХВ-Петербург, 2008.28. Большаков, И.А. КроссЛексика – большой электронный словарь сочетаний исмысловых связей русских слов. // Комп. лингвистика и интеллект. технологии:Труды межд. Конф. «Диалог 2009». Вып. 8 (15) М.: РГГУ, 2009, с.. 45-50.29. Большакова Е.И.,Большаков И.А.Автоматическоеобнаружениеиавтоматизированное исправление русских малапропизмов // НТИ. Сер. 2, № 5,2007, с.27-40.30. Ван Дейк Т.А., Кинч В. Стратегия понимания связного текста.// Новое взарубежной лингвистике.
Вып. XXIII– М., Прогресс, 1988, с. 153-211.31. Васильев В. Г., Кривенко М. П. Методы автоматизированной обработки текстов. –М.: ИПИ РАН, 2008.32. Виноград Т. Программа, понимающая естественный язык – М., мир, 1976.33. ГладкийА.В.Синтаксическиеструктурыестественногоязыкававтоматизированных системах общения. – М., Наука, 1985.34. Гусев, В.Д., Саломатина Н.В. Электронный словарь паронимов: версия 2. // НТИ,Сер. 2, № 7, 2001, с.
26-33.35. Захаров В.П. Веб-пространство как языковой корпус// Компьютерная лингвистика104и интеллектуальные технологии: Труды Межд. конференции Диалог ‘2005 / Подред. И.М. Кобозевой, А.С. Нариньяни, В.П.Селегея – М.: Наука, 2005, с. 166-171.36. Касевич В.Б. Элементы общей лингвистики. — М., Наука, 1977.37. Леонтьева Н. Н. Автоматическое понимание текстов: Системы, модели, ресурсы:Учебное пособие – М.: Академия, 2006.38.
Лингвистический энциклопедический словарь /Под ред. В. Н. Ярцевой, М.:Советская энциклопедия, 1990, 685 с.39. Лукашевич Н.В., Салий А.Д. Тезаурус для автоматического индексирования ирубрицирования: разработка, структура, ведение. // НТИ, Сер. 2, №1, 1996.40. Люгер Дж. Искусственный интеллект: стратегии и методы решения сложныхпроблем. М., 2005.41. Маккьюин К. Дискурсивные стратегии для синтеза текста на естественном языке //Новое в зарубежной лингвистике.
Вып. XXIV. М.: Прогресс, 1989, с.311-356.42. Мельчук И.А. Опыт теории лингвистических моделей «СМЫСЛ ↔ ТЕКСТ». —М., Наука, 1974.43. Национальный Корпус Русского Языка. http://ruscorpora.ru44. Хорошевский В.Ф. OntosMiner: семейство систем извлечения информации измультиязычных коллекций документов // Девятая Национальная конференция поискусственному интеллекту с международным участием КИИ-2004.
Т. 2. – М.:Физматлит, 2004, с.573-581.45. Шевченко Н.В. Основы лингвистики текста: учебное пособие – М.: Приор-издат,2003.105ЧАСТЬ III.НАЧАЛЬНЫЕ ЭТАПЫ АНАЛИЗА ТЕКСТА(КЛЫШИНСКИЙ Э.С.)Глава 1.Этапы анализа текстаСамые большие возможности и высокое качество анализа текстов можнополучить, проведя его полный анализ. Однако сложности, возникающие при созданииподобного анализа таковы, что на практике до сих пор не реализованы всетеоретические положения, разработанные на данный момент. Основнымипроблемами здесь являются сложность синтаксического анализа текста и сложностьсоздания полноценной экспертной системы, реализующей полноценную модельокружающего мира.
Сложность анализа текста заключается в том, что текстэллиптичен, неполон и насквозь пронизан умолчаниями. Ярким примером можетслужить китайский театр, в котором человек, который при ходьбе выбрасывает встороны несгибающиеся ноги и поглаживает бороду, воспринимается какположительный гражданский герой, тогда как «обольстительная красавица» должнапереступать плотно сжав колени. Аналогично и в тексте встречаются конструкции,предназначенные скорее для живого воображения, чем для формальной обработки:«давить мух», «сделать ноги».
Анализ подобных текстов может составить серьезнуюпроблему не только для ЭВМ, но и для человека, так как большинство ситуацийимело под собой какую-то реальную или вымышленную основу и вставка их в текстслужит как бы ссылкой на такую ситуацию (хотя зачастую большинство может уже ине помнить о чем идет речь, а просто восстанавливает истинный смысл фразы).Для полноценной работы система анализа текста должна иметь возможностьпроанализировать тест, поданный пользователем на вход, с точки зрения синтаксиса(структуры предложений), семантики (понятий, применяемых в тексте) и прагматики(правильности употребления понятий и целей их употребления). Далее системадолжна сгенерировать свой отклик во внутреннем представлении, пригодном длялогического вывода, и просинтезировать свой отклик на естественном языке.В целом система, поддерживающая полный анализ, должна содержать в себеследующие модули.Графематический анализ – обеспечивает выделение синтаксических илиструктурных единиц из входного текста, который может представлять собойлинейную структуру, содержащую единый фрагмент текста.
Однако в более общемслучае текст может состоять из многих структурных единиц: основного текста,заголовков, вставок, врезок, комментариев и т.д. При машинном переводе ставитсязадача сохранить подобную структуру текста. Однако в случае диалоговых системобычно используется первый вариант (без вставок). Но и в этом случаеграфематический анализ должен выделять синтаксические единицы: абзацы,предложения, отдельные слова и знаки препинания.
В ряде случаев здесь жепроводится предморфологический анализ – объединение неразрывных неизменяемыхсловосочетаний в одну единицу: «_что_-_то_», «_таким_образом_», «_и_так_далее_»,….Морфологический анализ – обеспечивает определение нормальной формы, откоторой была образована данная словоформа, и набора параметров, приписанныхданной словоформе. Это делается для того, чтобы ориентироваться в дальнейшемтолько на нормальную форму, а не на все словоформы, использовать параметры,например, для проверки согласования слов.106Предсинтаксический анализ отвечает за две противоположные задачи:объединение отдельных лексических единиц в одну синтаксическую или, наоборот,ее разделение на несколько.
В одну синтаксическую единицу объединяютсяизменяемые неразрывные словосочетания (например, «бить баклуши»). Делениемслов особенно необходимо заниматься, например, в немецком языке, где несколькопроизвольных связанных между собой слов могут объединяться в одно сложное «налету», а помещать в морфологический анализ все подобные сочетания непредставляется возможным. Еще одной задачей предсинтаксического анализаявляется проведение синтаксической сегментации. Её задачей является разметкалинейного текста на фрагменты, привязанные правилам следующего этапа –синтаксического анализа, который является задачей с экспоненциальным ростомсложности.
В связи с этим любая помощь при его проведении может привести ксущественному ускорению его работы.Синтаксический анализ – самая сложная часть анализа текста. Здесь необходимоопределить роли слов и их связи между собой. Результатом этого этапа являетсянабор деревьев, показывающих такие связи.
Выполнение задачи осложняетсяогромным количеством альтернативных вариантов, возникающих в ходе разбора,связанных как с многозначностью входных данных (одна и та же словоформа можетбыть получена от различных нормальных форм), так и неоднозначностью самихправил разбора.Постсинтасический анализ служит двум целям. С одной стороны намнеобходимо уточнить смысл, заложенный в слова и выраженный при помощиразличных средств языка: предлогов, префиксов или аффиксов, создающих ту илииную словоформу. С другой стороны, одна и та же мысль может быть выраженаразличными конструкциями языка.
В случае с многоязыковой диалоговой системой,одну и ту же мысль можно выразить различными синтаксическими конструкциями. Всвязи с этим дерево необходимо нормализовать, т.е. конструкция, выражающаянекоторое действие различным образом для различных языков или ситуаций, должнабыть сведена к одному и тому же нормализованному дереву. Кроме того, на этом жеэтапе может проводиться обработка разрывных изменяемых словосочетаний, вкоторых слова словосочетания могут изменяться и могут быть разделены другимисловами («белый офицер» vs «белый корниловский офицер»).Семантический анализ проводит анализ текста «по смыслу».
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
