Большакова Е.И. и др. - Автоматическая обработка текстов на естественном языке и компьютерная лингвистика, страница 16

Эти «лингвистические структуры» в какой-то степени соотносятся срассматриваемыми в предыдущем пункте поверхностными структурами, в которыхчеловек работает с эксплицитными поверхностными структурами (не более однойклаузы или предложения). В то же время «лингвистические структуры» больше пообъему: они включают и поверхностное, и глубинное представление о структуретакой единицы, как предложение.Вероятно, это направление в работах по автоматическому пониманию текстаближе всего к моделированию того, как адресат воспринимает текст, лишенныйсвязности и цельности. Подобного рода эксперименты проводились на текстах, вкоторых (а) предложения перемешаны случайным образом, (б) клаузы перемешаныслучайным образом. С точки зрения задач настоящего исследования, по-видимому,это направление в некоторой степени может быть соотнесено с моделированием того,как адресат воспринимает текст, опираясь на структуру только текущегопредложения, если он не может использовать механизмы контекстнойпредсказуемости, связывающие фрагменты текста за пределами одногопредложения42.

Однако, как уже говорилось выше, смысл текста не есть суммасмыслов составляющих его предложений, и понимание текста человекомпринципиально не может быть ограничено лишь этим уровнем.2. Семантическая сеть целого текста, к построению которой прибегаютавторы многих современных работ, представляет собой глобальную размытуюструктуру понимания. В этой глобальной сети реализуется следующий шаг модели«Смысл ⇔ Текст», включается глубинно-семантический компонент; «смысломтекста» объявляется результат перевода семантико-синтаксических структур(представлений) всех предложений текста на язык более «элементарных» единиц.

Длятого чтобы выйти в эту сеть, вводятся коммуникативные (информационные)отношения внутри предложений и между предложениями. В качестве такихотношений обычноустанавливают тема-рематические (внутри структурпредложений) и референтные связи между структурами соседних предложений. Вцелом ряде случаев в дополнительном глубинно-семантическом компонентеобъединяются собственно языковое и энциклопедическое представления (Перцова1980).3. Информационные структуры целого текста (потоков текстов) в качестверезультата фиксируют обобщенное понимание текста (в единицах терминологиивыбранной предметной области по классификаторам, тезаурусам, рубрикаторам ипр.).

Они используются в информационно-поисковых системах (ИПС). Эти системыработают на материале произвольных текстов (практически без ограничений наВ современных разработках системы ЭТАП-3 возможно интерактивное обращение к человеку с целью снятиясемантико-синтаксической неоднозначности [7; 8].42Ср. представления о функционировании контекстной предсказуемости на «окнах сверки» разного объема («отконтактно расположенных словоформ до фразы» vs.

«от контактно расположенных фраз до текста целиком»).4151тематическую область и структуру текста), результатом является поисковый образдокумента. Высокая востребованность и масштабность разработок разнообразныхИПС являются безусловным «плюсом» для оценки результативности подобногоподхода автоматического понимания. Ограничения этого подхода, вероятно, связаныс небольшим смысловым потенциалом (обобщенное понимание текстов в оченьбольших масштабах работы систем). В лучшем случае результат такого родасоотносим с результатом классификации текстов человеком по предметной(тематической) области текста или в соответствии с очень грубой моделью ситуации.Конечно, такого рода классификация представляет собой «усеченный» вариантпонимания текста.

С другой стороны, возможно, такого рода подход соответствуетпроблематике исследования функционирования в ИПС ключевых слов: определениетематической области текста на основании выделенных из текста ключевых слов(особенно в том случае, если они представляют собой терминологические элементы).4. Структуры баз данных и знаний представляют собой выборочноеспециальноепонимание,вмаксимальнойстепениучитывающееэкстралингвистическое представление, отображение части действительности.Структуры баз данных (БД) – это формальные, жестко фиксированные структуры(например, таблицы с описанием кадрового состава учреждения, все поля такойтаблицы заранее заданы), над ними возможны общеизвестные математическиеоперации.

Если структуры БД – это формальные, жестко фиксированные структуры,то структуры баз знаний являются полужесткими структурами динамического типа(сценарии, фреймы). Такие структуры получили широкое распространение в системахискусственного интеллекта, они отображают представление целого текста ибезразличны к членению на предложения. В системах Р. Шенка такие структурынацелены на узнавание определенного сюжета в тексте [151]. Задаваемая тема текстаможет рассматриваться как «квазиденотат», а подход иногда называетсяденотативным [132; 149]. Главным ограничением такого подхода является«ограничение на мир»43. «Экстралингвистические модели … иллюстрируютзависимость понимания текста от предварительных знаний о предмете, но они плохоили никак не моделируют понимание несюжетных текстов, к которым относятся, вчастности, научно-технические тексты» [125: 26].Предлагаемая Н.Н. Леонтьевой идея «мягкого» понимания текста и ееинформационно-лингвистическая модель понимания должна примирить методылингвистического анализа и более грубый информационный анализ; иначе говоря,они должны обеспечить результативное взаимодействие разных уровней обработкитекста.

Информационный анализ неизбежно сопряжен с потерей части информации(информационный сброс). Определение более или менее информативныхсоставляющих текста может и должно опираться на лингвистические исследования.Реализация процедур понимания «снизу – вверх» (от поверхностных структур кденотативным представлениям) описывается следующим образом: «основноеназначение лингвистических структур … состоит в том, чтобы создавать контекст,необходимый и достаточный для вычленения на каждом уровне информативныхединиц, которые переходят в структуры следующего уровня» [125: 31].Лингвистически контролируемый информационный сброс позволяет автоматуфункционировать в отсутствие идеальных условий: снимать структурныеТак, например, переход к новой предметной области требует построения новой системы автоматическогопонимания.4352ограничения на обрабатываемые тексты (например, автомат может принимать на входсинтаксически неправильные или неполные предложения), допускает работу снеполными словарями и базами знаний.

Возможно, исследование функционированиятакого рода модели может рассматриваться как моделирование понимания текста«искусственным носителем языка» в разных коммуникативных условиях, для текстовразных функциональных стилей.Одним из наиболее востребованных механизмов автоматической обработкитекста является его компрессия. Задачей такого рода компрессии является получениереферата и/или аннотации: компактной формулировки содержания одного текста илимонотематического массива текстов (группы текстов на одну тему).

Принципы истепень сжатия определяются, как правило, задачами конкретной системы. Реферати/или аннотация являются вторичными текстами.Основным проблемным вопросом, решаемым при моделировании пониманиятекста автоматом (и построения вторичных текстов), являются цельность и связностьтекста.

Решение такого рода вопроса невозможно без обращения к проблемамреференции. Формализуемыми (в разной степени) средствами обеспечения связностиявляются следующие:• повторяющиеся в тексте понятия (субъекты, объекты, явления и т.д.) в одномлексическом выражении;• повторяющиеся в тексте понятия (субъекты, объекты, явления и т.д.) в разныхлексических выражениях (например, в виде однокоренных дериватов или словодного лексико-семантического поля)44;• местоимения и местоименные слова (см., например, [134]), чаще всего они такжеотносятся к средствам выражения повторяющихся в тексте понятий;обозначающиеобобщенныелогико• «слова-текстопостроители»45,композиционные связи между элементами – разного уровня составляющими –текста (например, итак, резюмируя, следовательно, особо подчеркнем, все же,так же, однако и т.д.);• союзные слова характеризующие, главным образом, связи между клаузами, а непредложениями и занимающие промежуточное положение: с одной стороны, онипередают синтаксические отношения (как союзы), с другой стороны, их значениесоотносятся со значением некоторого полнозначного знаменательного слова(повтор понятия в предложении).Для повторения одних и тех же понятий вне зависимости от их лексическоговыражения И.П.

Севбо вводит понятие нанизывание [146]. Для получениякомпрессированного текста предварительно необходимо осуществить его«развертывание»: в итоге для текста строятся схемы нанизывания через каноническиекусты, в которых восстанавливаются все связи46. В своей (уже ставшей классической)Вопрос о частоте встречаемости в тексте таких единиц, как словоформы и лексемы (то есть в одномлексическом выражении) и таких классов, как «класс условной эквивалентности» и «однокоренной классусловной эквивалентности» лексемы (то есть в разном лексическом выражении) рассматривается в главах 4–6.Признак «частота встречаемости в тексте» рассматривается в настоящей работе в контексте исследованиякоммуникативной структуры текста, формировании наборов ключевых слов текста и процедур«поверхностного понимания» в целом.45И.П.

Севбо называет эти слова опорными [146], в настоящей же работе понятие опорные слова вводитсясовсем в другом смысле: как наиболее распознающиеся (подробнее см. выше).46Пример записи текста в канонических кустах (из [146]):1) Боязливые жители вашего города травили меня (Ланцелота) собакамиа 2) собаки у вас (жителей) очень толковые4453книге «Структура связного текста и автоматизация реферирования» И.П. Севбоописывает результат своего эксперимента по составлению аннотации текстов разныхфункциональных жанров на основании особенностей нанизывания: синтаксическаяструктура упрощенных нормализованных предложений и сведения о повторяемости втексте понятий и слов.Обычно для автоматического реферирования используют один из следующихспособов (иногда комбинацию способов) (см., например, [146] и многие др.):1. На основании статистического алгоритма из текста отбираются наиболеесущественные предложения.