М.Г. Мальковский, Т.Ю. Грацианова, И.Н. Полякова - Прикладное программное обеспечение - системы автоматической обработки текстов, страница 3

Правительства, особенно в Европе, начинают вводитьстандарты на подготовку документации, нормы, по которым требуется использованиеограниченных языков, особенно в международной торговле. В связи с этим возникаетпотребность автоматизации проверки соответствия текста правилам ограниченного языка;появляется задача создания систем, осуществляющих перевод с естественного языка наограниченный.Boeing, Caterpillar и несколько других компаний призвали вести всю документациютолько на ограниченном языке.

Ими разработана система Boeing Simplified English Checkerдля проверки соответствия текстов различным промышленным стандартам игосударственным нормам. На ее базе создается программа Clearcheck, не толькоконтролирующая правильность текста на ограниченном языке, но и исправляющая ошибки.Некоторые разработчики прогнозируют создание систем с использованиемограниченных языков, в которых полный и корректный перевод документации будетпроизводиться без вмешательства человека.1.5. Создание текстовых документов (ввод, редактирование,исправление ошибок)Нет необходимости говорить о многообразии систем для подготовки текстовыхдокументов: текстовых редакторов, издательских систем и т.п.

Они прочно вошли в нашужизнь, без них не может обойтись ни один пользователь и ни одна область деятельности.Более того, создание текстовых документов - одна из основных сфер примененияперсональных компьютеров. Использование текстовых редакторов обусловлено не толькотем, что они облегчают работу, но и тем, что в последнее время во многих сферахдеятельности введены стандарты на подготовку текстов, основанные на примененииопределенных редакторов.В отличие от машинного перевода разработка систем редактирования текстов еще назаре своего развития, в 60-е годы, считалась коммерчески перспективной прикладнойобластью.

В настоящее время рынок перенасыщен подобными системами; среди ихсоздателей существует жесткая конкуренция, поэтому при введении одним из поставщиковкаких-либо новых возможностей (например, проверка стиля) остальные вынуждены вводитьв свои системы нечто подобное. Одним из первых массовых нововведений стало включениев состав текстового редактора программ проверки правописания и внесения необходимыхисправлений - автокорректоров . Чтобы придать своему продукту новые коммерческиперспективные свойства, создатели вынуждены все больше использовать лингвистическиезнания, применять методы морфологического и синтаксического анализа. На очереди создание систем, выполняющих функции научного редактора, т.е. осуществляющихлитературную и научную правку текстов, способных производить сложноеавтоматизированное редактирование текстов на естественном языке.Проверка текста в таких системах может вестись в режиме "off-line" - когдаформируется протокол замечаний по тексту, либо в режиме "on-line" - когда исправлениеошибок ведется по мере их обнаружения (возможно, после получения соответствующегоподтверждения от пользователя).

При обнаружении ошибки система может предложитьвариант ее исправления (при наличии нескольких вариантов - их упорядоченный список).Замечания по тексту также могут носить различный характер. Они могут быть локальными(указывается фрагмент текста с ошибкой) и глобальными (выдается диагностическоесообщение, касающееся всего текста, например: "данный текст труден для восприятия"). Втретьей главе мы рассмотрим подробнее проблемы создания систем подобного рода.1.6. Поиск информацииНе вызывает сомнений необходимость автоматизации поиска заданных текстовыхфрагментов в текстах на естественном языке.Однако часто даже при поиске информации другого рода (например, аудио- и видео-)работа на самом деле ведется с описаниями на естественном языке (например, дляорганизации поиска фотографий необходимо снабдить каждую из них набором словесныххарактеристик типа "портрет, профиль, полный рост, женщина", "пейзаж, лес, осень" и т.п.).В последних разработках классических систем поиска текста основное вниманиеуделяется дополнению их разнообразными средствами текстовой обработки, что приводит красширению возможностей и облегчению работы для пользователя-непрофессионала.Применение компьютеров не только ускоряет создание и обработку документов, но ичрезвычайно стимулирует рост их количества и объема.

Очень многие пользователирегулярно сталкиваются с необходимостью быстро просматривать большой объемдокументов и выбирать из них действительно нужные. Эта задача возникает при работе стекстовыми базами данных, с электронной почтой, при поиске в Интернете. Сократитьколичество просматриваемых документов могут помочь системы категоризации . Большойпоток входных документов эти системы распределяют по небольшому количеству классов.При категоризации могут учитываться как чисто внешние показатели документов (объем,расширение имени соответствующего файла и т.п.), так и их содержательные характеристики(название, фамилия автора, ключевые слова), которые могут позволить отнести текст к тойили иной тематической рубрике. В последнем случае мы имеем дело с рубрицированиемтекстов.Часто бывает, что в крупных организациях, особенно государственных, правиладелопроизводства предписывают сопровождать каждый документ кратким описанием илинабором ключевых слов.

Во всех указанных случаях была бы весьма полезна возможностьавтоматически составлять сжатые описания содержания документов - рефераты.К сожалению, автоматические методы не настолько совершенны, чтобы создатьполноценный реферат путем генерации предложений текста. Однако уже сейчас возможноавтоматическое реферирование- составление более или менее информативных исвязных рефератов заданного объема (квазирефератов) - путем выбора информативныхпредложений из исходного текста, а также выделение достаточно представительного спискаключевых слов.В качестве ключевых слов система может выбирать слова, наиболее частовстречающиеся в тексте (и являющиеся при этом информативными, т.е. не предлоги, союзыи проч.), либо использовать для отбора какие-либо синтактико-семантические признаки (изфрагмента: "Определение. Интегралом ...

называется ..." можно заключить, что интеграл- ключевое слово).При реферировании из текста отбираются предложения, в наибольшей степенихарактеризующие его содержание. Таковыми могут считаться, например, предложения,содержащие ключевые слова (чем больше, тем лучше), либо отобранные по некоторымособым признакам. Размер реферата (коэффициент сжатия) или количество ключевых словзадается пользователем. Результатом работы такой системы может являться некоторыйновый текстовый документ (реферат или набор ключевых слов) или же данный документ, вкотором ключевые слова или наиболее информативные предложения выделены по тексту.В главе 4 мы рассмотрим проблемы информационного поиска подробнее.2. Лингвистическое обеспечение систем автоматической обработкитекстовОдин из главных путей развития функциональных возможностей прикладныхАОТ-систем и повышения качества их работы - создание и внедрение более полных иточных моделей естественных языков, более совершенных алгоритмов анализа и синтезатекста.

В данной главе мы рассмотрим некоторые проблемы построения, формализации икомпьютерной реализации моделей естественного языка на примере русской морфологии(словоизменения).2.1. Лингвистические банки данныхПод лингвистическими банками данных(ЛБД) понимаются представленные вэлектронной форме языковые источники (корпусы текстов) и лингвистические описания.Отметим, что в наше время, в ситуации, когда надежность работы систем оптическогораспознавания близка (на хороших по качеству печатных текстах) к 100%, в электроннуюформу легко переводимы и традиционные источники информации о языке.

Поэтому можносчитать, что в ЛБД можно перевести любые полиграфические источники: тексты на том илиином естественном языке, словари, справочники, книги по лингвистике. Спектр ЛБДдостаточно широк: это как необработанные ("сырые") корпусы текстов, так и тексты снекоторыми добавлениями, например грамматическими характеристиками слов,стилистическими пометами (разговорное, специальное и т.п.), или описаниямисинтаксической структуры предложений. Сюда также входят разнообразные компьютерныесловари: частотные, грамматические, словоформ, тезаурусы, словари словосочетаний имоделей управления, своды грамматических правил и т.п.Различаться может и назначение лингвистических банков данных.