ВКР: Разработка формальных языковых моделей на основе специализированных корпусов текстов

Введение................................................................................................... 3

Глава 1. История развития языковых моделей........................................ 7

1.1 Языковые модели в языкознании....................................................... 7

1.2 Обработка естественного языка до эпохи глубокого обучения.......... 13

1.3 Обработка естественного языка в эпоху глубокого обучения............ 20

Глава 2. Векторное представление слов............................................. 25

2.1 Определение основных понятий...................................................... 25

2.2 Счетные методы.............................................................................. 29

2.3 Предсказывающие модели............................................................... 33

2.3.1 Нейронные сети....................................................................... 33

2.3.2 Модель “непрерывного мешка слов”......................................... 35

2.3.3 Модель Skip-Gram.................................................................... 38

2.4 Контекстуализированные модели.................................................... 41

Глава 3. Языковая модель BERT............................................................ 45

3.1 Механизм само-внимания................................................................ 46

3.2 "Многоголовочное" внимание......................................................... 49

3.3 Архитектурное описание модели BERT........................................... 50

3.4 Представление входных данных...................................................... 51

3.5 Параметры модели BERT................................................................ 53

3.6 Процедура предобучения модели BERT........................................... 54

3.7 Обработка данных для предобучения............................................... 57

3.8 Из практики предобучения.............................................................. 58

3.8 Настройка языковой модели на конечные задачи.............................. 59

Глава 4. Адаптация предварительно обученных нейросетевых языковых

моделей к конечным задачам.................................................................. 63

Исследование 1. Языковой перенос для частеречной разметки корпуса

СКАТ................................................................................................... 63

Исследование 2. Извлечение сущностей из медицинских назначений

врачей.................................................................................................. 71

Исследование 3. Автоматическое распознавание парафраз..................... 78

Заключение............................................................................................. 80

Список использованной литературы........................................................................ 81









2

Введение

В настоящее время компьютерная лингвистика переживает смену научных парадигм, происходит переосмысление ключевых понятий этой области знаний, одним из которых является понятие языковой модели. Постепенно происходит переход от понимания модели языка как обобщенного формального представления языковой системы (Н.Н. Леонтьева

(2006), И.А.Мельчук (1999), И.И.Ревзин (1962), Ю.А.Шрейдер (1982) и др.) к

более узкой трактовке этого термина в случае отсылки к n-граммным языковым моделям, языковым моделям для машинного перевода, нейросетевым моделям распределенных векторов и т.д.
Создание нейросетевых языковых моделей является одной из важнейших процедур в современных реалиях обработки естественного языка.
течение минувшего десятилетия произошла стремительная эволюция предсказывающих моделей распределенных векторов, проявившаяся в смещении интереса разработчиков от статических нейросетевых моделей типа word2vec к контекстуализированным