Большакова Е.И. и др. - Автоматическая обработка текстов на естественном языке и компьютерная лингвистика, страница 8

Поэтому для нас наиболее интересным являетсяобъединение идей, заложенных в моделях грамматики конструкций и различныхконтекстно-ориентированных моделях (от широко известной «Контекстуальнойтеории значения» (Contextual Theory of Meaning) Ферса (см., напр., [29; 30] досовременных Usage based models (см. обзор в [5]).Как известно, в процедурах обработки текста происходит максимальная опора наконтекст. Причем понятие «контекст» также рассматриваться в разных смыслах.

Длянас контекст предполагает широкое понимание:минимальный контекст, в котором реализуются лексические и морфологосинтаксические явления;Конструкции – это правила, которые легализуют «новые» языковые знаки на основе других языковых знаков.Структуры, легализованные одной или более конструкцией именуются КОНСТРУКТОМ, следуя терминологииоснованной на знаках грамматики конструкций. Конструкции могут описываться формально, в виде матрицы«атрибут-значение», или неформально с помощью текстового описания, но аннотироваться должны именноконструкты: каждая аннотация описывает свойства конкретного конструкта с отсылкой на конструкцию,которая его лицензирует.14Существует множество причин, чтобы пытаться связать лексикон с конструкциями: серьезная работа поописанию лексикона не может избежать привлечения грамматических свойств, которые выходят за пределыбазовых структур, описывающих простое заполнение валентностей.1324текстовый контекст, включающий в себя фрагменты текста вплоть до текстацеликом;контекст коллекции (базы текстов), предполагающий учет текстовопределенного типа (заданного функционального стиля, отобранной коллекциитекстов и т.д.) (подробнее см.

[158].Можно было бы добавить еще одно понимание контекста: как совокупноститекстового опыта человека, а также тем самым – знание языка (на основании опытапо восприятию и порождению текстов). Такое понимание «широкого контекста» визвестной степени моделируется в создании и последующем изучении Национальныхкорпусов.Процедуры обработки текста носят вероятностный характер. Безусловновероятностный характер носит обработка (восприятие, понимание) текста человеком(начиная со старых работ, напр., [100; 142] и т.д.). О вероятностном характерепроцедур обработки текста мы можем говорить в отношении многих системавтоматического понимания текста (ср., напр., системы кластеризации новостныхтекстов на новостных порталах или машинный перевод, основанный настатистическом анализе).

Возможны, наконец, процедуры автоматического анализатекста, моделирующие стратегии обработки текста человеком.Степень связанности конструкций, по всей видимости, зависит от вероятностноймодели, описывающей появление этой конструкции в ходе процедур обработкитекста. Вероятные оценки могут быть получены лишь на основании статистическихданных. Причем статистические характеристики должны описывать данные взависимости от перечисленных выше типов контекста.Что же из себя представляет «коллокация»? Сравним несколько определенийэтого понятия. «Collocations of a given word are statements of the habitual or customaryplaces of that word15» [29: 181]. «A collocation is an expression consisting of two or morewords that correspond to some conventional way of saying things16» [64: 141].В отечественной литературе достаточно часто встречается пониманиелингвистами коллокаций как несвободных сочетаний, не относящихся к идиомам,когда, с одной стороны, ключевое слово этих сочетаний может появляться вконтексте разных языковых единиц, с другой стороны эти единицы (т.е.

контекстключевого слова) можно перечислить в виде закрытого («полузакрытого») списка(ср., напр., работы Л. Н. Иорданской, И. А. Мельчука и их последователей поисследованию лексических функций и моделей управления17).Термины «открытый / закрытый список» в нашу работу пришли из традицийисследования восприятия речи и обработки информации человеком или автоматом.Закрытый список традиционно задается в форме перечисления всех потенциальныхответов системы, например, отраженный в словарях список неоднословныхслужебных слов. Более сложный вариант закрытого (или вернее «полузакрытого»)списка задается с помощью закрытого списка значений признака (или наборапризнаков).

Например, набор лексических вариантов, или лексических функций, илимоделей управления и т.д. Открытый список не предполагает никаких заранее15«Коллокации заданного слова – это установление обычных или привычных мест этого слова».16«Коллокация – это выражение, состоящее из двух или более слов, которое соотносится с некоторымспособом говорения».17См.

подробнее в [106; 47]; сейчас такие работы ведутся на основе Национального корпуса русского языка(НКРЯ), в частности, представленные на http://dict.ruslang.ru/ [121; 95].25заданных ограничений. Для нас исследование лексических вариантов, лексическихфункций, моделей управления или других параметров является этапом интерпретацииданных, полученных в виде открытого списка (прежде всего, на основаниистатистических характеристик). Чаще всего принцип выделения коллокаций (в идеалесписок) отражает традицию определенной школы (и собственную интуициюисследователя) или узко заданную изучаемую тему.

Даже в традициях русистикисуществует огромное количество терминологических и теоретических сложностей,что отражается в различии трактовок в словарях и грамматиках. В качестве примерапозволим себе цитату из предисловия к электронному ресурсу «Словарь русскойидиоматики» (это один из словарных ресурсов, создаваемых на основеНационального корпуса русского языка [121: 2],): «... в отечественной традициипринято различать собственно фразеологизмы (идиомы), в которых исходноезначение полностью переосмысляется (медведь на ухо наступил, ломиться воткрытую дверь), и коллокации, в которых одно слово выступает в своем обычномзначении, а другое – во фразеологически связанном (плакать навзрыд, в стелькупьяный)». Это предисловие как бы примиряет отечественные традиции исовременные парадигмы корпусной лингвистики.

Все чаще приходится признавать,что, несмотря на явную неоднородность выделяемых списков, границы междуклассами оказываются проницаемыми. В словаре представлены «наряду снастоящими идиомами (фразеологизмами, ср. круглый сирота) и коллокациями (ср.плакать навзрыд, диаметрально противоположный), менее идиоматичные (ср.глубоко огорчен), а также свободные (семантически мотивированные, ср. чрезвычайноогорчен) сочетания со значением высокой степени)» [121: 2]. Такое решениесоздателей ресурса отвечает основным задачам контекстно-ориентированных икорпусных исследований.Попытки последовательно учитывать контекст (причем – как указывалось выше– разные типы контекстов) ставят перед исследователем дополнительные задачи.Обычно получаемые в работах списки коллокаций лишь в некоторой степени могутбыть соотносимы с исследованием тех особенностей, которые не просто заложены вязыке (всех текстах на этом языке), но в существенной степени зависят от типаконтекста (напр., от функционального стиля текстов, конкретной коллекции илиотдельного текста по отношению к этой коллекции).Реализовать контекстно-ориентированный подход можно с использованиемразличных статистических мер, позволяющих автоматически выделить из текстовколлокации и ранжировать их по степени неслучайности в соответствии созначениями выбираемых мер [76].

При этом нечеткое и интуитивное понятиеконтекста принимает черты объективности – в узком смысле под контекстомпонимается та коллекция, на которой проводится исследование. Возможностьварьировать коллекции (например, выбирая коллекции текстов разныхфункциональных стилей или даже отдельные тексты из этих коллекций) позволяетполучать списки коллокаций, различающие различные контексты. Именно текстовыйматериал, реализация лексико-грамматических и синтаксических проявлений,оказывается базой для исследования.Понимание терминов «коллокация» и «конструкция», как уже было сказано,оказывается различным в зависимости от той или иной парадигмы. Во многихслучаях одни и те же единицы могут быть названы и «коллокацией», и«конструкцией».