Презентации лекций (1126940), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Русскийморфологический анализ и синтез с генерациеймоделей словоизменения для не описанных всловаре слов.• Используется словарь словоформ А.А. Зализняка• Находит нормальную форму даже для не словарныхслов• Алгоритм реализован в системе mystemОбработка текстовЛемматизация• Вариант русского лемматайзерареализован в ISPRAS API• lemmatizationAnnotate(text)Так говорила в июле 1805 года известная Анна Павловна Шерер, фрейлина иприближенная императрицы Марии Феодоровны, встречая важного и чиновного князяВасилия, первого приехавшего на ее вечер. Анна Павловна кашляла несколько дней,у нее был грипп, как она говорила (грипп был тогда новое слово, употреблявшеесятолько редкими).

В записочках, разосланных утром с красным лакеем, было написанобез различия во всех: так говорить в июль 1805 год известный анна павловна шерер фрейлин иприближенный императрица мария феодоровна встречать важный и чиновнойкнязь василий первый приехавший на она вечер анна павловна кашлялнесколько день у она быть грипп как она говорить грипп быть тогда новый словоупотребляться только редкий в записочка разосылать утро с красный лакейбыть писать без различие в весьОбработка текстовОпределение границ предложений• Поиск терминов необходимо производитьвнутри предложений• Как автоматически определять границыпредложений?• Обычно определяются по точке• Точка - имеет много значений• граница предложения• сокращение: “Dr.”, “U.S.A.”• Разделитель в числах 3.14•…Обработка текстовОпределение границ предложений• Необходимы алгоритмы разрешениямногозначности точки• Задача сводится к классификации точки на двакласса: конец предложения или нет• Например, можно написать список правил• перед точкой и после нее стоят цифры• слово перед точкой есть в словаресокращений• Правил может быть много и хочется выводить ихкомбинировать автоматически• Используется машинное обучениеОбработка текстовЗакон ЦипфаЗакон Ципфа — эмпирическая закономерность распределения частоты словестественного языка: если все слова языка (или просто достаточно длинноготекста) упорядочить по убыванию частоты их использования, то частота n-го словав таком списке окажется приблизительно обратно пропорциональной егопорядковому номеру n.

(Википедия)Обработка текстовЗакон Ципфа• Распределение частоты слов в первом томе“Война и мир” (логарифмическая шкала)from urllib import urlopen
from bs4 import BeautifulSoup as bs
from nltk import WordPunctTokenizer
from collections import Counter
import matplotlib.pyplot as plt

f = urlopen("http://az.lib.ru/t/tolstoj_lew_nikolaewich/text_0040.shtml")
data = f.read().decode("cp1251")
f.close()

text = bs(data).get_text()
tokens = WordPunctTokenizer().tokenize(data)
cnt = Counter(tokens).most_common()

# draw plot
X = range(len(cnt))
Y = [y[1] for y in cnt]
plt.loglog(X, Y)
plt.show()Обработка текстовСтоп-слова• Во многих задачахиспользование наиболеечастотных слов создает шум• Например, при полнотекстовомпоиске, система может вернутьпочти все документы, если взапросе были предлоги• Поэтому часто наиболеечастотные слова фильтруют и неиспользуют при анализебытьвотвыдаещеикакмыненетоониотссказатьтолькоуэтотбольшойввсеговоритьдляжеизкоторыйнанегониходиноноотосвойтатотчтоябывесьвсейгоддознатькмочьнашнееноонаоныйпосебятакойтыэтоhttp://www.artlebedev.ru/everything/yandex/site/saved/stopword.htmlОбработка текстовРезюме• Изучены регулярные выражения–регулярные выражения - мощный инструмент дляобработки текстов–любое регулярное выражение может быть реализовано спомощью КА (кроме памяти)–автомат неявно определяет формальный язык–для любого НКА существует ДКА• Рассмотрены базовые задачи обработки текстов–Токенизация и сегментация–Стемминг и лемматизация–Определение границ предложений–Фильтрация стоп-слов• Для представления результатов работы алгоритмовудобно использовать аннотацииОбработка текстовЗадания для тренировки• Написать аналог ELIZA• Реализовать конечный автомат дляраспознавания всех русских числительных• Спроектировать КА для дат: March 12, the22nd of November, Christmas• Расширить предыдущий автоматотносительными датами: yesterday,tomorrow, a week from tomorrow, the daybefore yesterday, three weeks fromSaturday, next Monday, ...Обработка текстовСледующая лекция• Языковые модели• Задача определения частей речи словОбработка текстовОсновы обработки текстовЛекция 3 Языковые модели и задача определения частей речи1Обработка текстовN-граммы• Формализация процессапредсказания с помощьюмоделей N-граммОсенью часто идет ...• N-грамма–последовательность из Nслов–модель предсказания...

на одном из этапов для ...... одном на из для этапов ...Обработка текстовПриложения• Определение языка• Распознавание речи• Распознавание письменного текста• Машинный перевод• Определение частей речи• Выделение ключевых слов• Генерация текстов• Поиск семантических ошибок–Hi is trying to fine outОбработка текстовПример генератора:Яндекс рефератыТема: «Естественный позитивизм: сомнение илиощущение мира?»Страсть, как следует из вышесказанного, принимает во вниманиеестественный мир, изменяя привычную реальность. Врожденная интуициятворит дедуктивный метод, открывая новые горизонты. Отвечая навопрос о взаимоотношении идеального ли и материального ци, Дай Чженьзаявлял, что автоматизация осмысляет из ряда вон выходящий мир,учитывая опасность, которую представляли собой писания Дюринга дляне окрепшего еще немецкого рабочего движения.Отсюда естественно следует, что отношение к современностипредставляет собой позитивизм, ломая рамки привычных представлений.Обработка текстовТренировочный и проверочныйкорпуса• Корпус - собрание текстов, объединенныхобщим признаком• Тренировать и тестировать модель надона различных данных• Перекрестная проверка (cross-validation)• Validation datasetОбработка текстовДоступные корпуса• Текстовые–Project Guttenberg–Reuters corpora–lib.ru–Web• Размеченные–Brown corpus–Linguistic Data Consortium–NLTK corpora–Национальный корпус русского языкаОбработка текстовПримеры N-грамм• Юниграммы–кошка, собака, лошадь–а, и, о• Биграммы–пушистая кошка, большая собака–ал, ин, оп• Триграммы–пушистая кошка мурчит, большая собака лает–али, инт, опаОбработка текстовПодсчет вероятности N-грамм• В обучающем корпусе те или иные nграммы встречаются с разной частотой.• Для каждой n-граммы мы можемпосчитать, сколько раз она встретилась вкорпусе.• На основе полученных данных можнопостроить вероятностную модель, котораязатем может быть использована дляоценки вероятности n-грамм в некоторомтестовом корпусе.Обработка текстовОценка вероятностиP("Дубровский принужден был выйти в отставку")=?nP (w1 )==n 12P (w1 )P (w2 |w1 )P (w3 |w1 ) .

. . P (wn |w1 )nk 1P (wk |w1 )k=1• Предположение Марковаn 1P (wn |w1 )• ТогдаnP (w1 )P (wn |wn1)n=k=1P (wk |wk1)А. А. Марков=Обработка текстовОценка вероятности• Метод максимального правдоподобияp(wn |wnp(wn |wn1)=C(wn 1 wn )w C(wn 1 w)C(wn 1 wn )1) =C(wn 1 )Обработка текстовПример• Пусть корпус состоит из трех предложений–<s> I am Sam </s>–<s> Sam I am </s>–<s> I do not like green eggs and ham </s>21P (I| < s >) = = .67 P (< /s > |Sam) = = .53221P (am|I) = = .67P (do|I) = = .333311P (Sam|am) = = .5 P (Sam| < s >) = = .3332Обработка текстовГенератор текста#coding=CP1251import nltkf=open("../data/pushkin.txt")train=nltk.PunktWordTokenizer().tokenize(f.read())f.close()for i in range(3):model = nltk.NgramModel(i+1,train)print i+1, " ".join(model.generate(10))# 1 случай .

.# 2 Несколько лет тому назад в неделю страдал от коихбывал# 3 Несколько лет тому назад в одном сословии ,воспитанные одинаковоОбработка текстовСглаживание• Разреженность языка• Огранниченность корпуса–занижена вероятность–вероятность равна нулю• Сглаживание - повышение вероятностинекоторых n-грам, за счет понижениявероятности другихОбработка текстовМетоды сглаживания• Сглаживание Лапласа (add-one)• Откат (backoff)• Интерполяция• Сглаживание Кнесера-Нея (Kneser-Ney)• Сглаживание Виттена-Белла (Witten-Bell)• Сглаживание Гуда-Тьюринга (Good-Turing)Обработка текстовСглаживание Лапласа• Добавим 1 к встречаемости каждой nграммы• Пусть в словаре V слов, тогда⇥PLaplace(wn |wn 1 )C(wn 1 wn ) + 1=C(wn 1 ) + VОбработка текстовСглаживание Лапласа(практическое применение)• Метод провоцирует сильную погрешностьв вычислениях• Тесты показали, что unsmoothed-модельчасто показывает более точныерезультаты• Следовательно, метод интересен только стеоретической точки зренияОбработка текстовОткат (backoff)• Основная идея: можно оценивать вероятностиN-грамм с помощью вероятностей (N-k)-грамм(0<k<N).• Особенность: метод можно сочетать с другимиалгоритмами сглаживания (Witten-Bell, GoodTuring и т.

д.)• Оценка вероятности в случае триграмм:Обработка текстовКоэффициент α• Коэффициент α необходим длякорректного распределения остаточнойвероятности N-грамм в соответствии сраспределением вероятности (N-1)-грамм.•• Если не вводить α, то P (wn ) > 1Обработка текстовИнтерполяция• Смешение вероятностей n-грамм разнойдлиныP̂ (wn |wn2 wn 1 )• при этом= 1 P (wn |wn+ 2 P (wn |wn+ 3 P (wn )ii=12 wn 1 )1)Обработка текстовИнтерполяция• Значения также могут зависеть отконтекста• Например, если известно, что оценки длчконкретных биграм достаточно точны, томожно использовать их с большим весомдля оценки вероятности триграмP̂ (wn |wn2 wn1) =++• Для оценкиdatasetn(w1nn2 (wnn3 (wn12 )P (wn |wn 2 wn 1 )12 )P (wn |wn 1 )12 )P (wn )можно использовать validationОбработка текстовМетоды оценки качества моделей• Как понять, что одна модель лучшедругой?• Внешняя оценка (in vivo)–как изменение параметра модели влияет накачество решения задачи• Внутренняя оценка (in vitro)–коэффициент неопределенности (perplexity)Обработка текстовКоэффициент неопределенности(перплексия)• Основан на теории информации• Лучше та модель, которая лучшепредсказывает детали тестовойколлекции (меньше перплексия)1P P (w) = P (w1 w2 .

Характеристики

Список файлов лекций