Диссертация (Негауссовое моделирование лексико-статистической структуры вариативного текста (на примере «Сказания о Мамаевом побоище»)), страница 13

Как бы то ни было, эта процедуранеобходима для выявления семантических и сюжетных особенностей редакций.Без лишних опасений можно избавиться от словоизменительных характеристиксловоформ и во многом от неустойчивой орфографии текстов. В целом,допущения, принятые при лемматизации словоформ, встретившихся в списках«Сказания»,подчиненыпрактическимтребованиям,чтонеисключаетвозможность применения других правил лемматизации.Эталонным источником при установления графического образа лексемыпослужили «Словарь русского языка XI-XVII вв.»2 и «Материалы для словаря1Колесов В.В. Введение в историческую фонологию. С.37.Словарь русского языка XI-XVII вв., вып.1―29.

М.1975-2012. Правила отождествления словоизменительныхформантов и установления графического образа лексемы см. в выпуске 1.259древнерусского языка по письменным памятникам» И.И.Срезневского1, но приэтом не воспроизводились и не восстанавливались этимологические написания с+,поскольку для целей настоящей работы это несущественно. Кроме того,изображение этой графемы специальными символами (в данном случае, «+»)многие программы (в частности, NooJ2) воспринимают, как разделитель.Для проведения лемматизации были приняты следующие правила исоглашения:1.

Существительные и прилагательные фиксируются в словаре в формеименительногопадежаединственногочисла,включаясобирательныесуществительные, если они приводятся в такой форме в Словаре русского языкаXI-XVII вв. («братия», но не «брат»), формы глагола, включая причастия идеепричастия;2. Различаются формы совершенного и несовершенного вида глагола;3.Отождествляютсянаписаниясобственныхсинхронической вариативностью, например:СОФЬЯимен,обусловленныеСОФИЯ, ВОЛОДИМЕР⇒⇒ВЛАДИМЕР, ОНДРЕИ ⇒ АНДРЕИ, ГАЛИЯДЪ, ГАЛИАФ, ГОЛИАД ⇒ ГАЛИАД;4.

Предлоги с конечным о (ВО, КО, ПОДО, БЕЗО, ОТО и пр.) сводятся к формам безконечного гласного;5. Словоформы, различающиеся глухим и звонким согласным в приставке,отождествляются и сводятся к лексеме, графический образ которой записываетсявсоответствиисправиламиБЕЗЗАКОННЫИ, БЕЗСТУДНЫХЪ6.Словоформам,⇒современнойорфографии:БЕССТУДНЫХ, БЕЗСЦ+НЫЯразличающимсясочетанием в корне (например,ЗЛАЧЕНЫИ⇒ЗОЛОЧЕНЫИ),⇒БЕСЦЕННЫИ;полногласным–БЕЗАКОННЫИинеполногласнымсоответствуют разныелексемы;7. Этнонимы приводятся во множественном числе (АРМЯНЕ,КОСТРОМИЧИит.п.), при этом отождествление производится ситуативно;12Срезневский И.И.

Материалы для словаря древнерусского языка по письменным памятникам. 1893-1912. Т. 1―3.URL: http://www.NooJ4nlp.net/pages/NooJ.html (дата обращения 15.02.2013).608. Различаются количественные и порядковые числительные; числительныедо двадцати записываются словом, начиная с двадцати – цифрой, чтосоответствует отсутствию словесных написаний числительных больше двадцати врассмотренных списках «Сказания»;9.

Снятие омонимии производилось вручную. В текстах «Сказания»оказалось около 20 омонимов, при этом самый частый омоним –ПОСЛА (ПОСОЛ |ПОСЛАТИ);10. Для словоформ, отсутствующих в Словаре русского языка XI-XVII вв.,лексемы восстанавливались, дефектные словоформы оставлялись без изменения.Очевидно, что перечисленные выше приемы в целом непоследовательны иявляются неким компромиссом между желанием унифицировать графическуюзапись текста и желанием отследить с помощью статистических процедурредакционные различия, имеющие стилистическую и смысловую ценность.Лемматизациясоответствийпроизводилась«словоформа–полексема»составленной(фрагментвручнуютаблицытаблицеприведенвПриложении Д).Также автором начата разработка словарей для проведения автоматическогоморфологического анализа текстов на русском языке XVI-XVII вв.

с помощьюсвободно распространяемого (лицензия GNU Affero GPL) лингвопроцессораNooJ1, который можно эффективно применять для составления морфологических,синтаксических, семантических формализованных описаний языковых единиц ииспользовать в качестве корпус-менеджера, поддерживающего, в том числе, иязык регулярных выражений, для извлечения данных с учетом имеющейсяразметки2. Кроме того, NooJ допускает введение любого неограниченногоколичества пользовательских обозначений для лингвистических категорий инеограниченный набор других помет. Опционально, в NooJ есть возможностьзаписывать не лексему, а «суперлексему» (superlemma), т.е.

некоторый1NooJ:[Electronicresourse]/Системадляобработкиестественногоязыка.URL:http://www.NooJ4nlp.net/pages/NooJ.html (дата обращения 15.02.2013).2Ковригина Л. Ю. Применение лингвопроцессора NooJ для морфологической разметки вариативного текста (напримере «Сказания о Мамаевом побоище») // Вестник СПбГУ. Серия 9.

2014. № 1. С. 161―166.61графический образ слова, к которому привязаны все его (сло́ва) графическиеварианты (см. ниже). Преимущество этого формализма в том, что можно делатьзапрос к корпусу NooJ по суперлексеме, получая в окне выдачи все сопряженныес ней варианты написаний.Рассматриваемые тексты «Сказания», переведенные в машиночитаемуюформу, образуют микрокорпус, пригодный для дальнейшего изучения. В качествекорпус-менеджера был использован лингвопроцессор NooJ.В NooJ имеются функции, которые представляются перспективными дляобработки вариативного текста.Присозданииформализованныхописанийподобныевариантыобъединяются в суперлексему (superlemma)1. Единицы одной суперлексемыобразуют класс эквивалентности, что позволяет производить поиск в корпусе полюбой из этих единиц.

В выдачу по поисковому предписанию, содержащемусуперлексему, попадают все единицы, «пристегнутые» к одной суперлексеме, сучетом приписанных им словоизменительных характеристик.Проиллюстрируем сказанное на материале словаря, общего для всех 8списков «Сказания о Мамаевом побоище». В общем словаре произведеноупрощение графики в соответствии с правилами СКАТ и изъяты символыразделители.Большое число вариантов написания имеет, например, имя великой княгиниЕвдокии (см. ниже пример 1). В словаре (*.nod) NooJ необходимо записать самусуперлексемуевдокия2,факультативнымдалееуказаниемперечислитьнеобходимыесловоизменительнойвариантыпарадигмыс(+FLX=),словообразовательных моделей, семантических помет и т.п.

после лексемы,соответствующей каждому варианту.Пример 1. Фрагмент общего словаря лексем «Сказания о Мамаевом побоище».евдокия,N1Silberztein M. NooJ Manual [Electronic resourse]. P.82. URL: http://www.NooJ4nlp.net/NooJManual.pdf (датаобращения 15.02.2013).2В NooJ существует следующее ограничение: лексемы и суперлексемы должны записываться только строчнымибуквами для разграничения их от названий классов, категорий и пр. помет, которые записываются заглавнымибуквами.62еvдокия,евдокия,Nевдокэя,евдокия,Nевдокея,евдокия,Nеовдокэа,евдокия,Nеовдокия,евдокия,Nовдотя,евдокия,NПояснения: N – обозначение грамматического класса (существительное).При обращении к текстам «Сказания» на поисковое предписание“<евдокия>” получим следующую выдачу:Список Распространенной редакции РНБ Q.IV.354ИЗ ЦРКВИ1 КНГНЯ1 ЖЕ ВЕЛИКАЯСЛОВА РЕЩЫ КНЯГИНЯ ЖЕ ВЕЛИКАЯЕДИНОЮ ДОРОГОЮ КНЯГИНЯ ЖЕ ВЕЛИКАЯИХЪ МОЛИТВЫ КНЯИНЯ ЖЕ ВЕЛИКАЯЕВДОКИЯЕВДОКИЯЕВДОКИЯЕВДОКИЯИ КГНЯ1 КНЗЯ1 ВОЛОДИМЕРОВА ИКОНЕЧНОЕ ЦЕЛОВАНИЕ ДАСТЪ ВЕЛИКОМУ КНЗЮИ З СВОЕЮ СНОХОЮ ИСЛЫШАВЪ ТО ВЕЛИКОЕ МЛСРДИЕ БЖИЕСписок компилятивного варианта Основной редакции РНБ О.IV.22ИСЪ ЦРКВИ1 КНГНИ1 ЖЕ ВЕЛИКАЯЕОВДОКЭАИ КНГНИ1 ВЛАДИМЕРОВА МРИА1Список беллетризованного варианта Основной редакции РНБ Собр.Михайл., Q.509ИС ЦЕРКВИ КНЯГИНЯ ЖЕ ВЕЛИКАЯЕВДОКЭЯСО СНОХОЮ СВОЕЮ СО КНЯЗЕМЪБОЯРИНЭ И ОTДАСТЪ ВЕЛИКАЯ КНЯГИНЯЕВДОКЭЯКОНЕЧНОЕ ЦЕЛОВАНИЕ И ПРОЧИИ КНЯГИНИСИЛЫ РАДИ КНЯГИНЯ ЖЕ ВЕЛИКАЯЕВДОКЭЯС СВОЕЮ СНОХОЮ СО КНЯЗЕМЪКНЯЗ ДМИТРЕИ ИВАНОВИЧЪ ВЕЛИКАЯ КНЯГИНЯЕВДОКЭЯИ СО СНОХОЮ СВОЕЮ СОВ NooJ используется несколько типов словарей: словари лексем (срасширением.nod),словарисописаниемсловоизменительныхисловообразовательных характеристик (с расширением .nof) и файл, в которыхопределяютсядопустимыеграмматическиезначениядляклассовслов(_properties.def).

В начале каждого словаря .nod имеется указание, какие именнословари .nof и какой файл _properties.def использовать для морфологическогоанализа.Описание словоизменительных моделей с помощью набора встроенныхоператоров NooJ также не является затруднительным1. Так, например оператор<B> (Backspace) удаляет символы с конца лексемы, количество удаляемыхсимволов указывается внутри скобок при этом операторе: <B2>, <B5>, послезакрывающей скобки без пробела указывается последовательность символов,добавляемая к урезанной лексеме до получения определенной словоформы.

Черезслеш“/”записываетсяморфологическаяинформация,соответствующаяполученной словоформе. Как видно, в NooJ не применяется привычное1Ibid. P.94.63представление о псевдооснове (ср. реализацию в проекте АОТ1). На названияграмматических классов, категорий и значений программой не накладываетсяникаких ограничений, они определяются пользователем.Пример 2. Неполные словоизменительные парадигмы (настоящее время) глагола 3-го классаглаголати.GLAGOLATI = <E>/inf | <B3>ю/1p+sg+praes | <B3>еши/2p+sg+praes | <B3>ешъ/2p+sg+praes |<B3>ешь/2p+sg+praes |<B3>ет/3p+sg+praes | <B3>етъ/3p+sg+praes | <B3>еть/3p+sg+praes |<B3>ем/1p+pl+praes | <B3>емъ/1p+pl+praes | <B3>емь/1p+pl+praes |<B3>ете/2p+pl+praes | <B3>ют/3p+pl+praes | <B3>ють/3p+pl+praes | <B3>ютъ/3p+pl+praes |<B2>вэ/1p+dual+praes | <B2>ве/1p+dual+praes | <B2>та/2p+dual+praes | <B2>та/3p+dual+praes;GLGLTI = <E>/inf | <B4>ю1/1p+sg+praes | <B6>лю1/1p+sg+praes | <B4>еши1/2p+sg+praes |<B4>ешъ1/2p+sg+praes |<B4>ешь1/2p+sg+praes | <B4>ет1/3p+sg+praes | <B4>етъ1/3p+sg+praes | <B4>еть1/3p+sg+praes |<B4>ем1/1p+pl+praes | <B4>емъ1/1p+pl+praes | <B4>емь1/1p+pl+praes |<B4>ете1/2p+pl+praes | <B4>ют1/3p+pl+praes | <B4>ють1/3p+pl+praes | <B4>ютъ1/3p+pl+praes |<B3>вэ/1p+dual+praes | <B3>ве/1p+dual+praes | <B3>та/2p+dual+praes | <B3>та/3p+dual+praes;GLTI = <E>/inf | <B3>ю1/1p+sg+praes | <B3>еши1/2p+sg+praes | <B3>ешъ1/2p+sg+praes |<B3>ешь1/2p+sg+praes<B3>ет1/3p+sg+praes | <B3>етъ1/3p+sg+praes | <B3>еть1/3p+sg+praes |<B3>ем1/1p+pl+praes | <B3>емъ1/1p+pl+praes | <B3>емь1/1p+pl+praes |<B3>ете1/2p+pl+praes | <B3>ют1/3p+pl+praes | <B3>ють1/3p+pl+praes | <B3>ютъ1/3p+pl+praes |<B3>вэ/1p+dual+praes | <B3>ве/1p+dual+praes | <B3>та/2p+dual+praes | <B3>та/3p+dual+praes;Пояснения: <E> – empty string, оператор NooJ.