Диссертация (Вычислительный комплекс- классификатор текстов с использованием морфологического анализа и нейро-семантических сетей), страница 5

Зависимоститерминов от контекста (соседние термины) отражают скрытые тематики в видераспределение по тематикам этого контекста.Рис. 1.8: Латентно-семантический анализ.Для латентно-семантического анализа можно использовать модель простой43нейронной сети, которая состоит из трех слоев: первый слой содержит множество терминов, второй – множество текстов, и третий, скрытый слой, связывающий первый и второй слои.Рассмотрим модель латентно-семантического анализа с использованием машины Больцмана [90]. Машина Больцмана представляет собой стохастическуюмашину, компонентами которой являются стохастические нейроны. Стохастический нейрон находится в одном из двух возможных вероятностных состояний[91].Функция энергии состояния машины Больцмана[92]:E(V, h) = −KF XD XXWijk hj vik−KD XXvik bkii=1 k=1i=1 j=1 k=1−FXhj aj .(1.92)j=1Рис. 1.9: Сокращение размерности.1.9.1Латентно-семантический анализ с использованиемнейронной сетиЗадан набор текстов для обучения, первым шагом латентно-семантический анализа является вычисление матрицы термины-на-тексты, элементы которой представляет собой оценку взаимосвязи между каждым термином и каждом текстомиз всех текстов, для вычисления этой матрицы часто используется TF-IDF.

Вторым шагом латентно-семантический анализа является разложение полученной44на первом шаге матрицы во множество ортогональных матриц с помощью метода сингулярного разложения. Линейная комбинация полученых после сингулярного разложения ортогональных матриц является приближением к исходнойматрице [93].По теореме о сингулярном разложении, матрицу A можно разложить напроизведение [94]:A = U SV T ,(1.93)где матрицы U и V – ортогональные, V T является транспонированием матрицы V , S – диагональная, значения на диагонали матрицы S есть сингулярныезначения матрицы A.Выбираем из матрицы S k наибольших сингулярных значений и составляемматрицы Û и V̂ из столбцов матриц U и V , соответствующих этим k значениям,то произведение матриц Ŝ , Û и V̂ будет приближением матрицы A:Â ≈ A = Û Ŝ V̂ T .(1.94)Цель латентно-семантического анализа - снижение размера исходной матрицы термины-на-текст A путем выбора k первых линейно независимых компонентA, эти k компоненты отражают основную часть зависимостей исходной матрицы.

При этом, каждый термин и текст является вектором в общем пространстверазмерности k. k не должно быть слишком маленьким, так как при маленькомзначении k представления терминов и текстов теряет свои особенные характеристики и сравнение текстов становится труднее. Близость между текстами векторами размера k можно вычислять с помощью скалярного произведениявекторов.451.9.2Вероятностный латентно-семантический анализВероятностный латентно-семантический анализ (Англ.

Probabilistic Latent SemanticAnalysis, PLSA) [95] является статистическим методом анализа корреляции вероятностных семантических представлений текстов. Данный метод был разработан на основе латентно-семантического анализа. Вероятностный латентносемантический анализ широко используется в таких областях обработки естественного языка как классификация текстов, информационный поиск, машинный перевод и т.п. Вероятностный латентно-семантический анализ был опубликован в 1999 году Thomas Hofmann [96].В отличие от латентно-семантического анализа, который основан на снижения размерности матрицы с использованием разложения диагональной матрицы по сингулярным значениям, вероятностный латентно-семантический анализоснован на оценке вероятностей скрытых тематик.Частотные оценки условных вероятностей текстов и терминов [97]:p̂(d, w) =ndnwndwndw; p̂(d) = ; p̂(w) =; p̂(w|d) =;nnnnd(1.95)где:ndw - сколько раз термина w появляется в тексте d;Pnd = w∈W ndw - общая длина текста d;Pnw = d∈D ndw - количество текстов, содержащих w;PPn = d∈D w∈d ndw - суммарная длина коллекции текстов.Вероятности, связанные со скрытой переменной t, можно оценивать как частоты, если рассматривать коллекцию текстов как выборку троек (d, w, t):p̂(t) =ntnwtndtndwt; p̂(w|t) =; p̂(t|d) =; p̂(t|d, w) =;nntndndw(1.96)где:ndwt - число троек, в которых термин w текста d связан с темой t;Pndt = w∈W ndwt - число троек, в которых термин текста d связан с темой t;46Pnwt = d∈D ndwt - число троек, в которых термин w связан с темой t;PPnt = d∈D w∈d ndwt - число троек, связанных с темой t.Стохастическое матричное разложение [98]:F = (p̂wd )W ×D , p̂wd = p̂(w|d) = ndw /nd.(1.97)F ≈ ΦΘ - произведение матрицы терминов тем Φ и матрицы тем текстов Θ:Φ = (φwt )W ×T , φwt = p(w|t),(1.98)Θ = (θtd )T ×D , θtd = p(t|d).(1.99)Задача максимизации логарифма правдоподобия (log-likelihood) [99] для вероятностного латентно-семантического анализа:L(Φ, Θ) =XXndw lnφwt θtd → max,t∈Td∈D w∈dXXΦ,Θ(1.100)φwt = 1; φwt = 1 ≥ 0,(1.101)θtd = 1; θtd = 1 ≥ 0.(1.102)w∈WXt∈TЗаписываем вероятностная модель появления пары «текст–термин» (d, w):p(d, w) =X=X=Xp(t)p(w|t)p(d|t)(1.103)p(d)p(w|t)p(t|d)(1.104)p(w)p(t|w)p(d|t).(1.105)t∈Tt∈Tt∈TEM-алгоритм для решения задачи максимизации логарифма правдоподобия47для вероятностного латентно-семантического анализа [100]:На E-шаге по текущим значениям параметров Φwt , Θtd с помощью формулыБайеса вычисляются условные вероятности p(t|d, w) всех тем t ∈ T для каждоготермина w ∈ d в каждом тексте d:Hdwt = p(t|d, w) =p(w|t)p(t|d)φwt θtd=P.p(w|d)s∈T φws θsd(1.106)На M-шаге, наоборот, по условным вероятностям тем Hdwt вычисляется новоеприближение параметров φwt , θtd .

Это можно сделать, так как величина:n̂dwt = ndw p(t|d, w) = ndw Hdwt(1.107)оценивает число ndwt вхождений термина w в текст d, связанных с темой t.Просуммировав n̂dwt по текстам d и по терминам w, получим оценки n̂wt , n̂dt , n̂t ,и через них, частотные оценки условных вероятностей φwt , θtd :XXn̂wt; n̂t =n̂wt ; n̂wt =ndw Hdwt ,n̂tw∈Wd∈DXXn̂dt; n̂d =n̂dt ; n̂dt =ndw Hdwt .θtd =n̂dφwt =t∈T1.10(1.108)(1.109)w∈WРекурсивный автоэнкодерВ работе [101], автор предлагает метод классификации текстов с применениемрекурсивного автоэнкодера [102] для представления текстов в виде числовыхвекторов.

Для формирования векторного представления текста используетсярекурсивный автоэнкодер - входной и выходной слои которого имеют 2K нейронов, а скрытый слой - K нейронов.Автоэнкодер объединяет два слова x1 , x2 (2 вектора длины K) в один векторy (длины ):48y = f (W (1) [x1 , x2 ] + b(1) ).(1.110)Чтобы вычислить ошибку объединения, нужно восстанавливать исходныеслова x1 , x2 из вектора y:[x´1 , x´2 ] = W (2) y + b(2) .(1.111)Ошибка объединения есть евклидово расстояние между парами исходных ивосстановленных слов:Erec ([x1 , x2 ]) =n2n1kx1 − x´1 k2 +kx2 − x´2 k2 ,n1 + n2n1 + n2(1.112)где n1 , n2 - количества встроенных слов в x1 , x2 соответственно.Чтобы ошибка объединения не уменьшилась из-за уменьшения скрытых слоев, будем нормализовать объединенного вектора слова:ŷ =y.kyk(1.113)Этот процесс повторяется N − 1 раз для текста, состоящего из N слов.

Врезультате получается окончательный вектор - семантическое векторное представление текста, этот вектор используется как вход для системы обучения классификации.49Рис. 1.10: Автоэнкодер.Распределение вероятностей для K-классовой классификации для векторного представления текста y вычисляется слоем Softmax [103]:d(y; θ) = Sof tmax(W Sof tmax y).(1.114)Ошибка регрессии для K-классовой классификации записывается как перекрёстная энтропия между выходным и целевым распределениями [104]:Ereg = −KXtk log dk .(1.115)k=1Ошибка объединения на каждом узле:Emer = αErec + (1 − α)Ereg ,где α - взвешенный параметр для ошибок регрессии и объединения.Суммарная ошибка на всех узлах:50(1.116)E=XEmer .(1.117)Функция потерь автоэнкодера есть средняя ошибка для всех текстов в обучаемой выборке:1 XλJ=E + kθk2 .N2(1.118)Где θ - взвешенный параметр для весов автоэнкодера.Градиент функции потерь [105]:1 X ∂E∂J=+ λθ.∂θN∂θ(1.119)Этот метод отличается от мешка слов тем, что он учитывает порядок слов втексте при их объединении, таким образом лучше решает задачу классификации текстов по эмоциональной окраске.

Рекурсивный автоэнкодер имеет широкий спектр применения, например изучение мнение покупателей о товарах поанализу отзывов.1.11Свёрточные нейронные сети для классификации текстовВ работе [106] была предложена классификация текстов с использованием метода векторного представления слов и свёрточной нейронной сети [107].При классификации текстов с использованием свёрточной нейронной сети вработе заданы такие условия:1. Фильтр имеет такую же ширину m, как матрица (на вход нейронной сетипоступают целые слова).512. Можно (и надо) применять одновременно разные фильтры с разными высотами для выделения различных признаков.Рис.

1.11: Векторное представление слов и свёртка.На основании работе [106] можно сделать вывод, что свёрточная нейроннаясеть хорошо работает с классификацией текстов, особенно с использованиемметода векторного представления слов.1.12Рекуррентные нейронные сети для классификации текстовВ работах [108] [109] были предложены разные методы и модели для классификации текстов на основе рекуррентной нейронной сети.52Рис.

1.12: Рекуррентная нейронная сети.Скрытое состояние ht вычисляется как функция входа xt и предыдущегосостояния ht−1 .0;z = 0.ht =f (ht−1 , xt ) ;в противном случае(1.120)Выбранные формулы LSTM [110] рекуррентной нейронной сети для классификации текстов:it = σ(Wi xt + Ui ht−1 + Vi ct−1 ),(1.121)ft = σ(Wf xt + Uf ht−1 + Vf ct−1 ),(1.122)ot = σ(Wo xt + Uo ht−1 + Vo ct−1 ),(1.123)c̃t = tanh(Wc xt + Uc ht−1 ),(1.124)ct = fti ∗ ct−1 + it ∗ c̃t ,(1.125)ht = ot ∗ tanh(ct ).(1.126)Распределение вероятностей для K-классовой классификации вычисляетсяслоем Softmax [103]:53y = Sof tmax(W Sof tmax ot ).(1.127)Функция потерь для классификации записывается как перекрёстная энтропия между выходным и целевым распределениями [104]:L(ŷ, y) = −N XCXyij log ŷij ,(1.128)i=1 j=1где y; - целевое распределение, ŷ - выходное распределение, N - размер обучающей выборки, C - количество классов.По результатам тестирования в работах [108] [109] следует отметить, чторекуррентная нейронная сети является эффективным методом классификациитекстов, она работает быстро, и можно применять для решения различных задач.1.13ВыводыНа основе изучения существующих методов обработки и классификации текстовможно сделать следующие выводы:1.