Диссертация (1137507)
Текст из файла
НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТВЫСШАЯ ШКОЛА ЭКОНОМИКИШкола лингвистикиФакультет гуманитарных наукКУЗНЕЦОВ ИЛЬЯ ОЛЕГОВИЧАвтоматическая разметкасемантических ролейв русском языкеСпециальность 10.02.21Прикладная и математическая лингвистикаДиссертация на соискание ученой степениКандидата филологических наукНаучный руководительк.ф.н. Бонч-Осмоловская А.А.Москва 2016СодержаниеВведение .........................................................................................................
3I. Теория семантических ролей и автоматическая разметка актантов ...... 12I.1 Теоретические основы ......................................................................... 12I.2 Задача и мотивация.............................................................................. 25I.3 История автоматической разметки актантов ...................................... 28I.4 Современные системы .........................................................................
35I.5 Автоматическая разметка актантов и русский язык ........................... 39II. Система автоматической разметки актантов для русского языка ......... 44II.1 Постановка задачи .............................................................................. 44II.2 Исходные данные ................................................................................ 54II.3 Описание системы ...............................................................................
59II.3.1 Основные компоненты системы .................................................. 59II.3.2 Модуль проекции на синтаксические узлы ................................. 63II.3.3 Модуль классификатора ............................................................... 65II.3.4 Свойства для обучения ................................................................ 76II.3.5 Кластеризация лексики ................................................................. 831II.3.6 Детали реализации свойства "путь"............................................. 92II.3.7 Свойство "финский падеж" ...........................................................
99II.4 Глобальная оптимизация разметки актантов .................................. 104II.4.1 Задача глобальной оптимизации ролей .................................... 104II.4.2 Линейное программирование: принцип работы ...................... 106II.4.3 Модуль глобальной оптимизации ............................................. 109II.5 Особенности имплементация системы ............................................ 113III. Экспериментальная оценка и результаты ............................................ 119III.1 Предмет и критерии оценки ............................................................ 119III.2 Процедура оценки............................................................................ 126III.3 Результаты ........................................................................................
131III.3.1 Влияние свойств на классификацию индивидуальных узлов.. 133III.3.2 Влияние глобальной оптимизации, размера тестовой выбоки иограничения на частоту конструкции ........................................................... 138III.4 Обсуждение результатов ................................................................. 145IV. Выводы................................................................................................... 154IV.1 Альтернативные решения ............................................................... 156IV.2 Частичное обучение с учителем и обучение без учителя .............. 160IV.3 Адаптация FrameBank ...................................................................... 161Заключение .................................................................................................
164Библиография ............................................................................................. 1662ВведениеАвтоматический анализ языка – одна из наиболее важных иперспективных задачсовременной вычислительной науки. Решение этойзадачи – создание системы, способной понимать и порождать тексты наестественном языке – это большой шаг на пути к созданию полноценногоискусственного интеллекта. Этому есть несколько причин. Во-первых, языковаякоммуникация – один из основных и наиболее естественных для человекаспособовпередачиинформации,исозданиепрозрачногоязыковогоинтерфейса между людьми и компьютерами позволило бы значительноповысить эффективность их взаимодействия.
Во-вторых, тексты традиционноиспользуются для накопления и передачи знаний, и автоматический анализтекстовпозволилбыдостичьбеспрецендентнойэффективностивоперировании этими знаниями. В контексте развития сети Интернет и быстрогороста объёмов информации, представленной в машинночитаемом виде, этазадача приобретает ещё большую важность.На сегодняшний день не существует систем, способных к полноценномуанализу, интерпретации и порождению текстов на естественном языке, однакозначительный прогресс в этой области уже достигнут. В современнойвычислительной науке можно выделить две области, наиболее активнововлечённых в исследование языка: автоматическая обработка языка (naturallanguage processing) и компьютерная лингвистика (computational linguistics).3Компьютерная лингвистика возникла в 50е годы XX века как ответвлениеприкладной лингвистики. С ростом мощности и доступности компьютеровлингвистика получила дополнительный инструментарий, с помощью которогостало возможным специфицировать и верифицировать лингвистическиемодели и теории на больших объёмах текстовых данных.
Основные задачикомпьютерной лингвистики – создание лингвистических ресурсов (корпусов,словарей, тезаурусов) а также количественные и качественные исследованиялингвистического материала, призванные проверить положения той или инойтеории или же расширить понимание определённого лингвистическогофеномена.Автоматическая обработка языка возникла как часть науки обискусственном интеллекте примерно в то же время. Непосредственной задачейавтоматическойобработкиинтерпретациютекстовнаязыкабылоестественномобеспечитьязыке.пониманиеПервыеисистемыавтоматической обработки языка были основаны на правилах и зачастуюпредставляли собой формализацию той или иной лингвистической илилогической теории. Со временем стало понятно, что подобные системыобладают рядом недостатков, в числе которых высокая стоимоть разработки,трудность адаптации к новым языкам и новым типам текстов, недостаточнаягибкость. На сегодняшний день большинство систем автоматической обработкиязыка основываются на статистике и машинном обучении.
Основные задачиавтоматической обработки языка – создание и оценка модулей анализа языка(лемматизация, морфологический анализ, синтаксический и дискурсивныйанализ). В качестве обучающих и тестовых данных для систем выступаютресурсы, созданные компьютерными лингвистами, а оценка, как правило,производится на основе количественных характеристик.Многиезадачиязыковогоанализанасегодняшнийденьпереформулированы как общие задачи машинного обучения и выполняются4практически без использования знаний об исходных лингвистических моделях,на основе которых они были сформулированы. Так, например, разметка почастямречибылауспешноприведенакобщейзадачеразметкипоследовательностей, а автоматический перевод зачастую выполняется спомощьюобщихалгоритмоввыравниванияпоследовательностей,используемых также, например, в вычислительной биологии.
Такой подходпомещает автоматическую обработку языка в контекст более общей задачиобработки сигналов (signal processing), что не обязательно является адекватнымподходом к анализу феномена с богатой внутренней структурой, какимявляется естественный язык.Вышеуказанное наблюдение особенно актуально для задач, которые вбольшой степени опираются на теоретико-лингвистические модели иограничения и основываются на структурно сложных моделях.
Эти задачинаходятся на стыке компьютерной лингвистики и автоматической обработкиязыка: успешность технического решения в большой степени зависит от того, вкакой мере конечная вычислительная модель использует свойства конкретноголингвистическогоресурса,лежащеговеёоснове,итеоретическиепредположения, заложенные в формализм, в соответствии с которым этотресурс был создан.
В качестве примеров таких задач можно привестисинтаксический анализ, где для уменьшения сложности задачи активноиспользуются ограничения на проективность и на структуру синтаксическогодерева, и автоматическую разметку семантических ролей, в ходе которой длятекста создаётся поверхностное семантическое представление на основезаранее заданного формализма и которой посвящена настоящая работа.Автоматическая разметка семантических ролей, или автоматическаяразметка актантов (semantic role labeling, SRL) – одно из приоритетныхнаправлений в современной автоматической обработке языка.
Это типвысокоуровневого анализа текста, при котором для исходного текста на5естественном языке порождается поверхностная интерпретация на основетеории семантических ролей.Рассмотримследующийпример.предложение на естественном языке,иПредположим,чтонамданов этом предложении выбраннекоторый предикат (например, глагол). Задача автоматической разметкиактантов состоит в том, чтобы найти актантов, т.е.
участников ситуацииописанной данным предикатом, и приписать им семантические роли. Так,например,предложение"Пётркупиляблокоза5рублей"будетпроанализировано следующим образом:[Пётр]Покупатель купил [яблоко]Товар за [5 рублей]ЦенаПример 1: Разбор предложения в терминах семантических ролейОтметим,чтоавтоматическаяразметкаактантовотличаетсяотсинтаксического парсинга, в ходе которого анализу подвергается грамматика, ане семантика высказывания.
В ходе процедуры синтаксического разборапредложения слова объединяются в синтаксические группы (в случае анализа втерминах непосредственных составляющих) или между ними устанавливаютсясинтаксические связи (в случае, если парсер опирается на формализм деревьевзависимостей).
Несмотря на наличие определенных корреляций междусемантическими ролями и синтаксическим оформлением участников ситуации,эти явления не эквивалентны и относятся к разным уровням языковой модели.Синтаксический анализ – строгая процедура, которая опирается на грамматикуязыка и в большинстве случаев подразумевает единственный правильныйрезультат анализа. Автоматическая разметка актантов — гораздо болеесубъективная задача, в которой большую роль играет интерпретация ситуациичеловеком.6В то же время следует понимать, что автоматическая разметка актантов –это не полный семантический анализ, т.к.
работа всегда производится науровне предложения, и системы не используют правил логического вывода.Результат автоматической разметки актантов — не полное семантическоепредставление исходного предложения, а в большей степени поверхностныйрефлекс этого семантического представления, который, несмотря на своюнеполноту, оказывается полезен при решении ряда прикладных задач.Важность выбранной нами темы связана в первую очередь с тем, что анализтекста в терминах семантических ролей позволяет сравнительно небольшимиусилиями получить дополнительный уровень абстракции, описывающийсемантику текста. Информация о семантических ролях может быть затемиспользована для извлечения фактов [Christensen, Soderland, Etzioni, 2010],машинного перевода [Liu, Gildea, 2010], в вопросно-ответных системах [Shen,Lapata, 2007], а также, потенциально, в любой системе автоматическойобработки языка, которая так или иначе опирается на семантическуюинформацию.Автоматическая разметка актантов в современном понимании возникла вначале 2000х годов [Gildea, Jurafsky, 2000].
Характеристики
Тип файла PDF
PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.
Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
