Диссертация (Автоматическая разметка семантических ролей в русском языке), страница 23

Другой возможный путь развития – использование готовыхсемантических ресурсов, например, тезауруса РуТез.В то же время исследование показало, насколько важно дляавтоматической разметки актантов свойство синтаксического пути от предиката158к актанту. Отметим, что у подобной опоры на одно свойство могут бытьсущественные недостатки. Во-первых, свойство "путь" крайне разрежено, чтоуменьшаетспособностьсистемыкгенерализации:многиепутиизтренировочной выборки уникальны, и, будучи ассоциированы с той или инойсемантической ролью, могут привести к переобучению классификатора.

Вовторых, это свойство отражает результаты синтаксического анализа, которыймог быть проведен с ошибками. Решение, предложенное в рамках даннойработы – генерализация пути с помощью усечения при превышенииопределённого порога длины – является наиболее простым, и даже с егопомощью достигается небольше повышение качества работы системы. Повидимому, более сложные механизмы генерализации и фильтрации путеймогли бы привести к лучшим результатам. В качестве кандидатов на эту ролькажется разумным рассмотреть замену длинных путей на константноезначение, в результате чего для синтаксически удалённых актантов системадолжна будет опираться на лексические свойства, а также более гибкоеусечение путей, например, на основе вероятностных моделей.Наконец, кажется интересным провести эксперимент по использованиюименованных сущностей и словарной семантической информации в качествесвойств для классификации.

Семантические роли часто коррелируют с тем илииным семантическим классом объектов, и использование подобных свойств вслучаях, когда они доступны, могло бы повысить качество работы системы.159IV.2 Частичное обучение с учителем и обучение безучителяНа сегодняшний день основная часть новых работ по автоматическойобработке актантов посвящена использованию методов частичного обучения сучителем и обучению без учителя. Можно выделить две основных причины, покотором данные парадигмы становятся всё более популярными в рамкахрассматриваемой области. Методы обучения без учителя позволяют сократитьзатраты на разработку обучающих ресурсов для SRL. Поскольку корпусFrameBank всё ещё находится в разработке, подобные методы могли бы бытьиспользованы для полуавтоматического расширения корпуса, что значительносократило бы затраты на разработку и увеличило бы потенциальный объёмресурса.

В качестве первого кандидата на использование в этой роли намвидится метод проекции аннотаций, предложенный в работе [Furstenau,Lapata, 2011] и кратко описанный нами ранее. Этот метод позволяетпереносить аннотации с предложений, размеченных вручную, на новыепредложения, используя синтаксисическое и лексическое сходство слов вкачестве опорной информации. Размеченные примеры FrameBank могли быбыть экстраполированы на другие примеры из исходного корпуса, а также накорпуса из других предметных областей, что увеличило бы объём доступныхданных и минимизировало бы усилия по поиску новых примеров.

В то жевремя следует отметить, что при использовании этого метода могут возникнутьопределенные трудности: во-первых, необходимо разработать модульразрешениянеоднозначности,которыйавтоматическиопределялбыконструкцию для выбранного предиката. Во-вторых, метод проекциианнотаций позволяет увеличить число примеров, но почти не вносит вклада вразнообразие конструкций, т.к.

может только проецировать разметку сконструкций уже существующих. Реализация этого подхода для расширения160корпуса FrameBank – интересная задача для отдельного исследования, и мынадеемся, что подобное исследование в ближайшее время будет проведено.Существует и другая причина популярности методов обучения безучителя в задачах автоматической разметки актантов. Semantic role labeling –доменно-специфичная задача, и было неоднократно продемонстрировано, чтокачество работы систем данного класса падает при смене предметной области.Разрабатывать обучающий ресурс для каждой новой предметной области непредставляется возможным, и методы на основе частичного обучения иобучениябезучителяявляютсяоднимизнаиболееперспективныхнаправлений в этом контексте.

Мы считаем, что на сегодняшний день основнойзадачей автоматической разметки актантов для русского языка являетсясоздание систем на основе обучения с учителем, однако на этапе примененияданных систем в реальных приложениях наработки в области методовобучения без учителя также могут оказаться востребованы. Отдельно следуетотметить, что обучение без учителя зависит от качества предварительнойобработки сильнее, чем обучение с учителем, и в случае использованияподобных методов особое внимание, как нам кажется, должно быть уделенокачеству синтаксического и морфологического анализа, а также лексикосемантических моделей.IV.3 Адаптация FrameBankНаконец, в ходе работы с промежуточной версией корпуса FrameBank мысделали ряд наблюдений, которые могли бы оказаться полезными как дляразработчиков корпуса, так и для будущих исследователей в данной области.Одна из проблем автоматической разметки актантов, которая редкоартикулируется, но в том или ином виде присутствует почти в любомисследовании по этой теме, – это несоответствие целей разработчиков161корпусов и разработчиков систем SRL.

Как правило, корпус с разметкой посемантическим ролям создаётся лингвистами и имеет своей основной цельюпредоставление примеров различных лингвистических явлений, связанных ссемантическими ролями. Зачастую корпуса проработаны неравномерно с точкизрения конструкций, а частотное распределение конструкций в корпусахпримеров не соответствует действительности. Кроме того, в системах на основеабстрактных ролей (например, FrameNet) существует тенденция к чрезмерномудроблению ролей на основании минимальных лингвистических различий,которые предоставляют теоретический интерес, однако не имеют большогоприкладного значения.

В то же время, разработчики систем автоматическойразметки актантов заинтересованы в том, чтобы роли были однородными иподдавались генерализации, а также в том, чтобы частотное распределениепримеров более или менее соответствовало реальному положению дел ввыбранной предметной области. Несмотря на то что решить эту проблемуполностью не представляется возможным, нам кажется, что сплошная разметкакорпуса по семантическим ролям (вместо выбора отдельных примеров) моглабы смягчить оба эффекта: конструкции и роли, которые не встречаютсядостаточно часто, при таком подходе не размечаются, кроме того,распределение конструкций оказывается более или менее объективным покрайней мере с точки зрения выбранного корпуса. Методы наподобиепроекции аннотаций могут оказаться полезными в этом отношении.Далее,какдемонстрируетнашаимногиедругиеработыпоавтоматической обработке актантов, для выполнения выбранной задачибольшуюважностьимеетсинтаксическийанализ.Однаизпричинпопулярности систем на основе корпуса PropBank состоит в том, что этот корпусуже содержит синтаксическую разметку.

Это позволяет исследователямсконцентрироваться на задаче автоматической разметки актантов и оцениватьсистемы SRL на ручной синтаксической разметке. Такой подход может162показаться искусственным (т.к. при использовании в реальных приложениях,конечно, экспертная синтаксическая разметка доступна не будет), однакокажетсяправильнымпредоставитьисследователямвозможностьсамостоятельно выбирать между автоматическим и экспертным синтаксисом, атакже сравнивать качество SRL в зависимости от этих условий. В этом светекажется перспективным расширить разметку FrameBank на синтаксическийкорпус СинТагРус или же добавить синтаксическую разметку в существующиепримеры. Проекция аннотаций или аналогичный метод могли бы оказатьсяполезны и здесь.Наше исследование показывает, что текущая версия корпуса уже можетбыть успешно использована для экспериментов по автоматической разметкеролей.

В то же время устранение неточностей разметки и публикация корпусапримеров в одном из стандартных форматов (например, CoNLL) оказала быкрайне положительный эффект на развитие этой области для русского языка.Стандартный формат позволил бы применять и сравнивать между собойсистемы, разработанные для других языков (например, MateTools [Björkelund,Hafdell, Nugues, 2009]), а также упростил бы разработку новых систем. Болеетого, опора на общепринятый формат позволяет измерять качество работысистем с помощью стандартных оценочных скриптов, применяемых насоревнованиях по автоматической разметке актантов [Hajič и др., 2009;Surdeanu и др., 2008]. Мы считаем стандартизацию критически важным шагомдля популяризации выбранной задачи для русского языка, и уверены, что вбудущем такой стандартный набор данных будет создан.163ЗаключениеВ рамках диссертационного исследования мы спроектировали иразработали систему автоматической разметки актантов для русского языка.

Вкачестве источника данных был использован корпус примеров FrameNet.Система основана на машинном обучении с учителем и, опираясь на рядлингвистически мотивированных признаков для описания объектов, выполняетавтоматическую классификацию актантов по семантическим ролям. Крометого, система включает в себя модуль глобальной оптимизации на основецелочисленного программирования,который гарантирует выполнение рядалингвистических ограничений на приписание семантических ролей. Мыдетально проанализировали результаты работы системы и установили вкладразличных факторов в качество её работы.Полученный в результате исследования опыт позволил нам не толькоопределить возможные модификации нашей системы, но и описать в общихчертах пути развития для направления в целом.

Нам кажется, что в контекстерусского языка наиболее приоритетными задачами на текущий моментявляются расширение корпуса примеров для обеспечения репрезентативностии стандартизация данных, которая сделала бы совместную работу в областиболее эффективной.164В последние годы российская компьютерная лингвистика по спектрурешаемых задач приближается к западным стандартам. Были проведенысоревнования систем морфологического анализа, синтаксического парсинга,анализа анафоры и определения семантической близости. Автоматическаяразметка актантов – ресурсоёмкая задача, но на сегодняшний день всенеобходимые для решения этой задачи ресурсы в том или ином виде ужепредставлены на русском материале.