AI-2009 Day 15 (Лекции 2009 года), страница 3

УКАЖИТЕ, ПОЖАЛУЙСТА, ОТКУДА БУДЕТ ВВОДИТЬСЯ ТЕКСТ

(К - С КЛАВИАТУРЫ, <ИМЯ ФАЙЛА> - ИЗ ВНЕШНЕГО ФАЙЛА)

К

ВВОДИТЕ ТЕКСТ. ПРИЗНАК КОНЦА - //.

ВНУТРИ КОЛБЫ РАСПОЛАГАЕТСЯ СТЕРЖЕНЬ, ВЫПОЛНЕННЫЙ ИЗ СТЕКЛА. ЧЕРЕЗ СТЕРЖЕНЬ ... //

ВЫБЕРИТЕ РЕЖИМ РАБОТЫ, УКАЗАВ НОМЕР РЕЖИМА:

1 - ЗАПИСЬ СЛОВАРНЫХ СТАТЕЙ В БУФЕР БЕЗ ВЫДАЧИ ИНФОРМАЦИИ

2 - ЗАПИСЬ СЛОВАРНЫХ СТАТЕЙ В БУФЕР С ВЫДАЧЕЙ ИНФОРМАЦИИ

3 - ФОРМИРОВАНИЕ СЛОВАРНЫХ СТАТЕЙ С ПОМОЩЬЮ ПОЛЬЗОВАТЕЛЯ

3

ПЕРВАЯ ФРАЗА: НЕЗНАКОМЫЕ СЛОВА: КОЛБЫ, СТЕРЖЕНЬ, СТЕКЛА

СЛОВО 'КОЛБЫ' - СУЩЕСТВИТЕЛЬНОЕ? (Д/Н)

Д

К КАКОМУ РОДУ ОТНОСИТСЯ СУЩЕСТВИТЕЛЬНОЕ 'КОЛБЫ'? (М/Ж/С)

Ж

ЯВЛЯЕТСЯ ЛИ ОНО ОДУШЕВЛЕННЫМ? (Д/Н)

Н

К КАКОМУ РОДУ ОТНОСИТСЯ СУЩЕСТВИТЕЛЬНОЕ 'СТЕРЖЕНЬ'? (М/Ж/С)

М

ЯВЛЯЕТСЯ ЛИ ОНО ОДУШЕВЛЕННЫМ? (Д/Н)

Н

СЛОВО 'СТЕКЛА' - ГЛАГОЛЬНАЯ ФОРМА? (Д/Н)

Н

К КАКОМУ РОДУ ОТНОСИТСЯ СУЩЕСТВИТЕЛЬНОЕ 'СТЕКЛА'? (М/Ж/С)

С

СФОРМИРОВАНЫ СЛОВАРНЫЕ СТАТЬИ С ОСНОВАМИ: КОЛБ-, СТЕРЖН-, СТЕКЛ-.

ВТОРАЯ ФРАЗА: ...

Морфологический синтез форм слова. Программа ФОРМ1

По словарной статье (знакомого слова) и набору значений ГП строится соответствующая словоформа.

Примеры:

ЛЕВ (животное), творит. падеж, ед. число (7 0 0 1 5) ЛЬВОМ

ЛЕВ (ден.единица), творит. падеж, ед. число (7 0 0 1 5) ЛЕВОМ

Морфологический синтез парадигмы. Программа ФОРМ2

По словарной статье (знакомого слова) строится массив всех форм этого слова. Порядок элементов массива определяется номером М-класса.

Примеры:

синтез всех форм знакомого существительного КАССИРША

КАССИРША КАССИРШИ - им.падеж, ед. и мн.число

КАССИРШИ КАССИРШ - род.падеж, ед. и мн.число

КАССИРШЕ КАССИРШАМ - дат.падеж, ед. и мн.число

КАССИРШУ КАССИРШ - вин.падеж, ед. и мн.число

КАССИРШЕЙ КАССИРШАМИ - твор.падеж, ед. и мн.число

КАССИРШЕ КАССИРШАХ - предл.падеж,ед. и мн.число

синтез всех форм знакомого глагола ВОРОШИТЬ

ВОРОШИТЬ - начальная форма

ВОРОШИ ВОРОШИТЕ - формы повелит. наклонения

ВОРОШУ (БУДУ ВОРОШИТЬ) - 1 лицо, ед.ч, наст.и буд.вр.

ВОРОШИШЬ (БУДЕШЬ ВОРОШИТЬ) - 2 лицо, ед.ч, наст.и буд.вр.

ВОРОШИТ (БУДЕТ ВОРОШИТЬ) - 3 лицо, ед.ч, наст.и буд.вр.

ВОРОШИМ (БУДЕМ ВОРОШИТЬ) - 1 лицо, мн.ч, наст.и буд.вр.

ВОРОШИТЕ (БУДЕТЕ ВОРОШИТЬ) - 2 лицо, мн.ч, наст.и буд.вр.

ВОРОШАТ (БУДУТ ВОРОШИТЬ) - 3 лицо, мн.ч, наст.и буд.вр.

ВОРОШИЛ ВОРОШИЛА ВОРОШИЛО ВОРОШИЛИ - формы прош.времени

ВОРОША ВОРОШИВ - деепричастия

Пусть написана управляющая программа, получающая на входе некоторую словоформу, обращающаяся к программе МОРФ1 (и – если слова нет в словаре – к МОРФ2) и генерирующая все формы (программа ФОРМ2) для каждого варианта анализа. Среди этих форм обязательно должна быть входная словоформа.

Примеры:

обработка незнакомого слова ХРЮША

ВАРИАНТ 1

склонение по образцу слова НОЖ/БОГАЧ

* значение ГП "одушевленность" неизвестно *

ХРЮШ ХРЮШИ

ХРЮША ХРЮШЕЙ

ХРЮШУ ХРЮШАМ

ХРЮША / ХРЮШ ХРЮШЕЙ / ХРЮШИ

ХРЮШОМ ХРЮШАМИ

ХРЮШЕ ХРЮШАХ

ВАРИАНТ 2

склонение по образцу слова МАРШ

* значение ГП "одушевленность" неизвестно *

ХРЮШ ХРЮШИ

ХРЮША ХРЮШЕЙ

ХРЮШУ ХРЮШАМ

ХРЮША / ХРЮШ ХРЮШЕЙ / ХРЮШИ

ХРЮШЕМ ХРЮШАМИ

ХРЮШЕ ХРЮШАХ

ВАРИАНТ 3

склонение по образцу слова ТУЧА/КАССИРША

* значение ГП "одушевленность" неизвестно *

ХРЮША ХРЮШИ

ХРЮШИ ХРЮШ

ХРЮШЕ ХРЮШАМ

ХРЮШУ ХРЮШ / ХРЮШИ

ХРЮШЕЙ ХРЮШАМИ

ХРЮШЕ ХРЮШАХ

ВАРИАНТ 4

склонение по образцу слова СВЕЖИЙ

ПОХРЮШЕЕ ХРЮШЕЕ

ХРЮШ ХРЮША ХРЮШЕ ХРЮШИ

ХРЮШИЙ ХРЮШАЯ ХРЮШЕЕ ХРЮШИЕ

ХРЮШЕГО ХРЮШЕЙ ХРЮШЕГО ХРЮШИХ

ХРЮШЕМУ ЖРЮШЕЙ ХРЮШЕМУ ХРЮШИМ

ХРЮШЕГО&ХРЮШИЙ ХРЮШУЮ ХРЮШЕЕ ХРЮШИХ&ХРЮШИЕ

ХРЮШИМ ХРЮШЕЙ ХРЮШИМ ХРЮШИМИ

ХРЮШЕМ ХРЮШЕЙ ХРЮШЕМ ХРЮШИХ

ВАРИАНТ 5

спряжение по образцу слова ТОЧИТЬ/СЛЫШАТЬ

ХРЮШИТЬ

ХРЮШИ ХРЮШИТЕ

ХРЮШУ (БУДУ ХРЮШИТЬ)

ХРЮШИШЬ (БУДЕШЬ ХРЮШИТЬ)

ХРЮШИТ (БУДЕТ ХРЮШИТЬ)

ХРЮШИМ (БУДЕМ ХРЮШИТЬ)

ХРЮШИТЕ (БУДЕТЕ ХРЮШИТЬ)

ХРЮШАТ (БУДУТ ХРЮШИТЬ)

ХРЮШИЛ ХРЮШИЛА ХРЮШИЛО ХРЮШИЛИ

ХРЮША ХРЮШИВ

ВАРИАНТ 6

неизменяемое слово типа АНТРАША

ХРЮША

Заметим, что если бы слово хрюша анализировалось с предсказаниями, результат был бы более точен. Так, при предсказании «существительное женского рода» был бы выдан только третий вариант, при предсказании «форма глагола – только пятый.

обработка незнакомого слова КРОВАТЬ

ВАРИАНТ 1

спряжение по образцу слова ПИРОВАТЬ

* значение ГП "вид" неизвестно *

(выбран несовершенный вид)

КРОВАТЬ

КРУЙ КРУЙТЕ

КРУЮ (БУДУ КРОВАТЬ)

КРУЕШЬ (БУДЕШЬ КРОВАТЬ)

КРУЕТ (БУДЕТ КРОВАТЬ)

КРУЕМ (БУДЕМ КРОВАТЬ)

КРУЕТЕ (БУДЕТЕ КРОВАТЬ)

КРУЮТ (БУДУТ КРОВАТЬ)

КРОВАЛ КРОВАЛА КРОВАЛО КРОВАЛИ

КРУЯ КРОВАВ

ВАРИАНТ 2

склонение по образцу слова ПЕЧАТЬ

* значение ГП "одушевленность" неизвестно *

КРОВАТЬ КРОВАТИ

КРОВАТИ КРОВАТЕЙ

КРОВАТИ КРОВАТЯМ

КРОВАТЬ КРОВАТЕЙ / КРОВАТИ

КРОВАТЬЮ КРОВАТЯМИ

КРОВАТИ КРОВАТЯХ

ВАРИАНТ 3

неизменяемое слово типа ДЕСКАТЬ

Диагностика речевых ошибок

Методы обнаружения и исправления орфографических и морфологических ошибок в текстах широкой тематики базируются на представлении о тексте как о цепочке независимо появляющихся словоформ. Известно три основных метода обнаружения орфографических ошибок: статистический, полиграммный и словарный.

При статистическом методе словоформы, обнаруживаемые в тексте, упорядочиваются согласно частоте их встречаемости. Искаженные слова оказываются среди малоупотребительных слов в конце списка.

При полиграммном методе все встречающиеся в тексте двух- или трёхбуквенные сочетания (полиграммы) проверяются по таблицам, содержащим информацию об их допустимости в русском языке. Если в словоформе имеются недопустимые полиграммы, то она считается неправильной.

При словарном методе все входящие в текст словоформы проверяются по компьютерному словарю. Если словарь такую форму допускает, она считается правильной, а иначе либо сразу признаётся ошибочной, либо предъявляется человеку.

В настоящее время первые два метода практически не используются, т.к. уже есть хорошие компьютерные словари, достаточно большие по объёму и с эффективным доступом.

Диагностика же и исправление синтаксических, пунктуационных и лексико-семантических ошибок предполагает взгляд на текст как на последовательность связанных единиц, комбинирование которых имеет свои закономерности. Подходы к автоматизации выявления и коррекции этих ошибок можно разбить на две группы: синтаксически-ориентированные подходы и подходы, основанные на концептуальных фреймах. Последние больше пригодны для систем, работающих в строго ограниченных предметных областях. Для текстов широкой тематики предназначены синтаксически ориентированные подходы. Сначала поступившее на вход предложение обрабатывается средствами грамматики, рассчитанной на синтаксически правильный текст. Если такая проверка обнаруживает дефекты синтаксической структуры, некоторые условия ослабляются. Какие грамматические правила смягчаются, зависит от учитываемых системой ошибок. Например, в русских текстах иногда оказывается пропущенной запятая, обособляющая причастный оборот в постпозиции. Для того, чтобы такое предложение могло быть обработано, требуется временная отмена условия (присутствующего в каноническом правиле) обязательного наличия запятой. Однако ослабление канонических правил неизбежно влечёт за собой возрастание числа возможных интерпретаций. При этом нельзя опознать ошибочный текст прежде, чем будет закончен анализ средствами канонической грамматики. Другой подход предлагает сначала использовать слабую грамматику, а затем подвергнуть обрабатываемое предложение фильтрации на основе строгих требований правильности. Но при этом наличие ошибки предполагается более вероятным, чем соблюдение норм грамматики.

Также отметим, что описанные методы позволяют автоматически обнаружить ошибку только тогда, когда не удаётся построить связный синтаксический граф для рассматриваемого предложения. Однако ошибки, при которых возможно получение формально приемлемой, но по сути неверной интерпретации, остаются невыявленными. При этом никаких сообщений об ошибках не поступает.

Система комплексного контроля качества текста ЛИНАР

Построение автокорректоров сталкивается с рядом принципиальных и не решенных пока в полном объеме проблем: компактное хранение словарей, эффективные методы морфологического и синтаксического анализа и т.д. Тем не менее на очереди – создание систем, способных производить более сложное по сравнению с автокорректорами автоматическое или автоматизированное редактирование текстов на естественном языке. В идеале же необходима система, выполняющая функции научного редактора – человека, осуществляющего литературную и научную правку научно-технических текстов. Такое направление развития представляет разрабатывавшаяся в 1986-1990 гг. на кафедре алгоритмических языков факультета ВМК МГУ система ЛИНАР (ЛИтературно-НАучный Редактор) – интеллектуальная система комплексного контроля качества русскоязычных текстов.

Суть подхода заключалась в существенном расширении возможностей имевшихся в то время автокорректоров за счет: 1) ограничения предметной области, к которой относились обрабатываемые тексты (методы, алгоритмы и программы обработки данных телеметрии на многопроцессорных вычислительных комплексах); 2) ограничения видов текстов (научно-технические отчеты, деловая переписка); 3) использования средств синтаксического и семантического анализа текста; 4) привлечения более полных моделей русского языка.

Пользователем ЛИНАР является человек, оценивающий с помощью системы качество некоторого текста с позиций лица, которому адресован этот текст (адресата), и вносящий в текст необходимые исправления. В качестве адресата могут выступать литературный или научный редактор, корректор, потенциальные читатели (конструкторы, программисты, руководители). Пользователем ЛИНАР может быть, например, автор обрабатываемого текста, желающий взглянуть на него «со стороны», или научный руководитель работы, обеспокоенный терминологическими и стилистическими неувязками в текстах разделов, подготовленных различными участниками проекта.

Обработка текста с помощью системы ЛИНАР включает в себя в общем случае несколько циклов (как и при подготовке текста «вручную»), каждый из которых оформляется как самостоятельный сеанс работы с системой. В начале сеанса пользователь формирует задание на обработку текста, для выполнения которого система загружает необходимые информационные модули и вызывает программы контроля текста. Каждая программа проверяет некоторое определенное свойство текста, т.е. реализует одноаспектный контроль текста. Целостный сеанс работы с системой состоит из серии одноаспектных проверок текста или его фрагментов.

Основная технологическая схема использования системы ЛИНАР предусматривает, что текст хранится на машинных носителях и обрабатывается программами контроля, формирующими протокол замечаний по тексту (иногда система предлагает свой вариант исправления). Далее пользователь просматривает эти замечания и, если он с ними соглашается, вносит необходимые изменения в текст с помощью текстового редактора. Измененная версия текста может быть объектом обработки в следующем сеансе. В зависимости от объема текста пользователь может выбрать диалоговый или пакетный режим работы с системой. В последнем случае протокол замечаний формируется на внешнем носителе.

Часто при написании отдельных фрагментов текста разными авторами для обозначения одной и той же сущности могут быть использованы различные термины, что усложняет понимание текста. Автоматическое обнаружение подобных конфликтов требует привлечения глубоких знаний о понятийном и терминологическом аппарате предметной области, и в ЛИНАР не реализуется. Однако в составе системы имеется программа контроля, которая может сформировать по фрагментам текста списки используемых терминологических словосочетаний. На основе этой информации решить терминологические проблемы человеку будет значительно проще, чем при обработке текста «вручную».

ЛИНАР не только обнаруживает неточности, ошибки, но и может «объяснить» пользователю суть своих замечаний, а также предложить способы устранения ошибок. Так, например, в случае орфографической ошибки система предлагает свой вариант исправления слова, в случае нарушения естественного порядка слов – правильный порядок слов и т.д. Рекомендации системы призваны помочь пользователю в улучшении текста, направляют его деятельность.