Методичка по первой части ModernLib.Ru (pdf) (1157206), страница 3
Текст из файла (страница 3)
Правительства, особенно в Европе, начинают вводитьстандарты на подготовку документации, нормы, по которым требуется использованиеограниченных языков, особенно в международной торговле. В связи с этим возникаетпотребность автоматизации проверки соответствия текста правилам ограниченного языка;появляется задача создания систем, осуществляющих перевод с естественного языка наограниченный.Boeing, Caterpillar и несколько других компаний призвали вести всю документациютолько на ограниченном языке.
Ими разработана система Boeing Simplified English Checkerдля проверки соответствия текстов различным промышленным стандартам игосударственным нормам. На ее базе создается программа Clearcheck, не толькоконтролирующая правильность текста на ограниченном языке, но и исправляющая ошибки.Некоторые разработчики прогнозируют создание систем с использованиемограниченных языков, в которых полный и корректный перевод документации будетпроизводиться без вмешательства человека.1.5. Создание текстовых документов (ввод, редактирование,исправление ошибок)Нет необходимости говорить о многообразии систем для подготовки текстовыхдокументов: текстовых редакторов, издательских систем и т.п.
Они прочно вошли в нашужизнь, без них не может обойтись ни один пользователь и ни одна область деятельности.Более того, создание текстовых документов - одна из основных сфер примененияперсональных компьютеров. Использование текстовых редакторов обусловлено не толькотем, что они облегчают работу, но и тем, что в последнее время во многих сферахдеятельности введены стандарты на подготовку текстов, основанные на примененииопределенных редакторов.В отличие от машинного перевода разработка систем редактирования текстов еще назаре своего развития, в 60-е годы, считалась коммерчески перспективной прикладнойобластью.
В настоящее время рынок перенасыщен подобными системами; среди ихсоздателей существует жесткая конкуренция, поэтому при введении одним из поставщиковкаких-либо новых возможностей (например, проверка стиля) остальные вынуждены вводитьв свои системы нечто подобное. Одним из первых массовых нововведений стало включениев состав текстового редактора программ проверки правописания и внесения необходимыхисправлений - автокорректоров .
Чтобы придать своему продукту новые коммерческиперспективные свойства, создатели вынуждены все больше использовать лингвистическиезнания, применять методы морфологического и синтаксического анализа. На очереди создание систем, выполняющих функции научного редактора, т.е. осуществляющихлитературную и научную правку текстов, способных производить сложноеавтоматизированное редактирование текстов на естественном языке.Проверка текста в таких системах может вестись в режиме "off-line" - когдаформируется протокол замечаний по тексту, либо в режиме "on-line" - когда исправлениеошибок ведется по мере их обнаружения (возможно, после получения соответствующегоподтверждения от пользователя).
При обнаружении ошибки система может предложитьвариант ее исправления (при наличии нескольких вариантов - их упорядоченный список).Замечания по тексту также могут носить различный характер. Они могут быть локальными(указывается фрагмент текста с ошибкой) и глобальными (выдается диагностическоесообщение, касающееся всего текста, например: "данный текст труден для восприятия").
Втретьей главе мы рассмотрим подробнее проблемы создания систем подобного рода.1.6. Поиск информацииНе вызывает сомнений необходимость автоматизации поиска заданных текстовыхфрагментов в текстах на естественном языке.Однако часто даже при поиске информации другого рода (например, аудио- и видео-)работа на самом деле ведется с описаниями на естественном языке (например, дляорганизации поиска фотографий необходимо снабдить каждую из них набором словесныххарактеристик типа "портрет, профиль, полный рост, женщина", "пейзаж, лес, осень" и т.п.).В последних разработках классических систем поиска текста основное вниманиеуделяется дополнению их разнообразными средствами текстовой обработки, что приводит красширению возможностей и облегчению работы для пользователя-непрофессионала.Применение компьютеров не только ускоряет создание и обработку документов, но ичрезвычайно стимулирует рост их количества и объема.
Очень многие пользователирегулярно сталкиваются с необходимостью быстро просматривать большой объемдокументов и выбирать из них действительно нужные. Эта задача возникает при работе стекстовыми базами данных, с электронной почтой, при поиске в Интернете. Сократитьколичество просматриваемых документов могут помочь системы категоризации . Большойпоток входных документов эти системы распределяют по небольшому количеству классов.При категоризации могут учитываться как чисто внешние показатели документов (объем,расширение имени соответствующего файла и т.п.), так и их содержательные характеристики(название, фамилия автора, ключевые слова), которые могут позволить отнести текст к тойили иной тематической рубрике.
В последнем случае мы имеем дело с рубрицированиемтекстов.Часто бывает, что в крупных организациях, особенно государственных, правиладелопроизводства предписывают сопровождать каждый документ кратким описанием илинабором ключевых слов. Во всех указанных случаях была бы весьма полезна возможностьавтоматически составлять сжатые описания содержания документов - рефераты.К сожалению, автоматические методы не настолько совершенны, чтобы создатьполноценный реферат путем генерации предложений текста. Однако уже сейчас возможноавтоматическое реферирование - составление более или менее информативных и связныхрефератов заданного объема (квазирефератов) - путем выбора информативных предложенийиз исходного текста, а также выделение достаточно представительного списка ключевыхслов.В качестве ключевых слов система может выбирать слова, наиболее частовстречающиеся в тексте (и являющиеся при этом информативными, т.е.
не предлоги, союзыи проч.), либо использовать для отбора какие-либо синтактико-семантические признаки (изфрагмента: "Определение. Интегралом ... называется ..." можно заключить, что интеграл ключевое слово).При реферировании из текста отбираются предложения, в наибольшей степенихарактеризующие его содержание. Таковыми могут считаться, например, предложения,содержащие ключевые слова (чем больше, тем лучше), либо отобранные по некоторымособым признакам. Размер реферата (коэффициент сжатия) или количество ключевых словзадается пользователем.
Результатом работы такой системы может являться некоторыйновый текстовый документ (реферат или набор ключевых слов) или же данный документ, вкотором ключевые слова или наиболее информативные предложения выделены по тексту.В главе 4 мы рассмотрим проблемы информационного поиска подробнее.2.
Лингвистическое обеспечение систем автоматической обработкитекстовОдин из главных путей развития функциональных возможностей прикладныхАОТ-систем и повышения качества их работы - создание и внедрение более полных иточных моделей естественных языков, более совершенных алгоритмов анализа и синтезатекста. В данной главе мы рассмотрим некоторые проблемы построения, формализации икомпьютерной реализации моделей естественного языка на примере русской морфологии(словоизменения).2.1. Лингвистические банки данныхПод лингвистическими банками данных (ЛБД) понимаются представленные вэлектронной форме языковые источники (корпусы текстов) и лингвистические описания.Отметим, что в наше время, в ситуации, когда надежность работы систем оптическогораспознавания близка (на хороших по качеству печатных текстах) к 100%, в электроннуюформу легко переводимы и традиционные источники информации о языке.
Поэтому можносчитать, что в ЛБД можно перевести любые полиграфические источники: тексты на том илиином естественном языке, словари, справочники, книги по лингвистике. Спектр ЛБДдостаточно широк: это как необработанные ("сырые") корпусы текстов, так и тексты снекоторыми добавлениями, например грамматическими характеристиками слов,стилистическими пометами (разговорное, специальное и т.п.), или описаниямисинтаксической структуры предложений.
Сюда также входят разнообразные компьютерныесловари: частотные, грамматические, словоформ, тезаурусы, словари словосочетаний имоделей управления, своды грамматических правил и т.п.Различаться может и назначение лингвистических банков данных. Часть ЛБДпредназначена для автоматизации деятельности лингвистов и разработчиков прикладныхсистем, часть - для непосредственного использования в системах обработки текста и речи:автокорректорах, системах распознавания текста и речи, информационно-поисковыхсистемах.Отметим, что в качестве пользователя ЛБД может выступать как человек(исследователь-лингвист или разработчик программного продукта), так и тот или иноймодуль компьютерной системы обработки текстов.
В двух этих случаях требования корганизации лингвистических банков данных и к степени эксплицитности, строгости иформальности представленных в них описаний естественного языка разнятся весьмасущественно.Ситуация здесь несимметричная. Пользователь-человек часто может извлечьинтересующую его информацию из ЛБД, встроенного в компьютерную систему обработкитекстов. Однако компьютерная система обычно не может извлечь нужную для ее работыинформацию непосредственно из ЛБД, ориентированного на человека. Особенно остра этапроблема для флективных языков, в частности, для русского языка.Так, во всех распространенных русскоязычных словарях (толковых, орфографических,словарях синонимов и антонимов и др.) входом в словарную статью служит так называемаяначальная форма слова. Поскольку словари ориентированы на пользователя-человека, поумолчанию предполагается, что он знает правила русского словоизменения (склонения испряжения) и может распознать в тексте любую форму интересующего его слова, т.е.,восстановив начальную форму, добраться до соответствующей словарной статьи.Предполагается также, что он может решить и обратную задачу - употребить слово изсловаря в требуемой грамматической форме.При использовании словарей в составе компьютерных систем обработки текстовситуация иная.
Самоочевидные для человека грамматические свойства слова, определяющиеособенности его склонения/спряжения, должны быть тем или иным способом явнопредставлены в компьютерном словаре и в программах морфологического анализа и синтеза,позволяющих определять грамматические признаки словоформ текста и генерировать словав требуемой форме.Как распределить знания о чрезвычайно сложных и запутанных правилах русскогословоизменения между словарями и программными компонентами?Здесь возможны два решения:в словаре описываются только словоизменительные признаки слов (тип и частныеособенности склонения/спряжения), а работа по анализу и синтезу словоформ “поручается”программам морфологического компонента компьютерных систем;в словаре приводятся все формы слов, каждой из которых сопоставлены всенеобходимые признаки (в частности, грамматические: число, падеж, лицо, время, наклонениеи др.).В целом, задача построения и сопровождения лингвистически полного, обоснованногои покрывающего представительное подмножество выбранного естественного языка ЛБД,особенно в случае пользователя-программы, очень сложна.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
