Диссертация (1149537), страница 8
Текст из файла (страница 8)
Можно считать, что со временемстиль “размывался”, в то время как стиль первой книги был “четким”.Результаты иерархической кластеризации на Рис. 3.2 так же указываютна изменение стиля.53Periodogram Power Spectral Density EstimatesPower/frequency (dB/rad/sample)100-10-20-30-40-50-60-7000.10.20.30.40.50.60.70.80.91Normalized Frequency (×π rad/sample)Рис. 3.1: Периодограммы, построенные для первой изданной (красный)и последней изданной книги (синий).distance21.510.503451267book numberРис.
3.2: Иерархическая кластеризации книг из цикла “Основание”.Здесь точно обнаружены два кластера, отличающиеся по внутреннему стилю. В первый кластер попали три романа: “Основание”, “Основание и Империя”, “Второе основание”, которые были опубликованы в 1951,1952 и 1953 годах. Другие четыре книги опубликованы в 1988, 1993, 1982и 1986 годах, они расположены во второй группе. По всей видимости,такой большой перерыв (около 30 лет) между интервалами работы надкнигами стал причиной изменения стиля в цикле.54Цикл “Рама” А.Кларка1.
“Свидание с Рамой” (1972) (R1)2. “Рама II” (1989) (R2)3. “Сад Рамы” (1991) (R3)4. “Рама явленный” (1993) (R4)5. “Яркие посланники” (1995) (R5)6. “Двойное полнолуние” (1999) (R6)Книжная серия “Рама” состоит из шести научно-фантастических романов (обозначены как (R1−R6)), началась в 1973 году с романа “Свиданиес Рамой” Артура Кларка.Следующая таблица содержит попарные расстояния между периодограммами в цикле произведений.R1R2R3R4R5R6R10.002.282.112.651.921.72R22.280.000.180.370.350.56R32.110.180.000.540.190.39R42.650.370.540.000.730.93R51.920.350.190.730.000.20R61.720.560.390.930.200.00Таблица 3.1: Расстояние между периодограммами в серии “Рама”.Максимальное значение расстояния (2.65) достигается для книг R1и R4. Соответствующие периодограммы представлены на Рис. 3.3 и обозначены красным и синим цветом соответственно.Как и в рассмотренном цикле “Основание”, последняя изданная книгаобладала более “гладким” стилем.55Power/frequency (dB/rad/sample)Periodogram Power Spectral Density Estimate200-20-40-60-8000.10.20.30.40.50.60.70.80.91Normalized Frequency (×π rad/sample)Рис.
3.3: Периодограммы, построенные для R1 и R4.1.61.4distance1.210.80.60.40.2235641book numberРис. 3.4: Иерархическая кластеризация книг из цикла “Рама”.Иерархическая кластеризация цикла (Рис. 3.4) чётко показывает структуру коллекции. С самого начала, только первая книга “Свидание с Рамой” была написана Кларком в одиночку. Он объединился с Джентри Лидля работы над следующими тремя романами “Рама-2”, “Cады Рамы” и“Рама явленный”.
Существует распространенная точка зрения, что Лизанимался непосредственно сочинением, в то время как Кларк по большей части редактировал материал. Это объясняет, почему фокус и стильсовместно написанных романов (R2 − R4) настолько отличается от первоначального.563.3Классификация текстов на основеалгоритма кластеризации с помощьюрасстояний на ядрахВ этом разделе представлены результаты классификации текстов изп.
3.2 на основе Алгоритма 3 и Правила классификации 2, описанных вп. 2.2.2.Изучаемые тексты делились на фрагменты одинаковой длины L (вэкспериментах было выбрано L = 2000). В качестве векторной моделибыла выбрана модель служебных слов. Служебными словами называются вспомогательные части речи, такие, как предлоги, частицы, союзы,артикли. Такие слова можно рассматривать как некоторый стилистический “клей” языка, связывающий другие, более “содержательные” частиречи. Частота появления в тексте служебных слов может представлятьважную стилистическую характеристику, независящую от тематики текста. Каждый фрагмент текста представлялся в виде распределения частот появления в нем служебных слов из списка (307 слов для английского языка).
Проводились эксперименты со двумя функциями r(x, y):dSpearman и dCanberra (см. п. 1.5.1). Параметр задержки T = 10.Алгоритм 3 из Главы 2 можно применить к задаче верификации авторства следующим образом. Допустим даны два текста D1 и D2 , которые нужно проверить на принадлежность одному автору. Разделимдокументы на фрагменты и классифицируем их на два класса, используя Алгоритм 3. Решение принимается в соответствии с отнесением кклассу по правилу классификации 2.57Алгоритм 4 Алгоритм верификации авторстваВход:D1 и D2 – два текста для сравненияT - параметр задержкиL - длина отрывковПроцедура:1: Применить процедуру из Алг.
3 для текстов D1 и D2 с k = 2.2: По правилу классификации отнести фрагменты к соответствующимклассам. Текст попадает в тот класс, к которому относятся большинство его фрагментов.3: Если D1 и D2 относятся к одному классу, то они написаны однимавтором, в противном случае — разными.Далее представлен общий алгоритм, обобщающий описанную методологию. Алгоритм кластеризации 5 разработан для идентификации автора в случае, когда исследуемый текст D0 следует проверить относительноего предполагаемого авторства в коллекции:Dn = {D1 , .
. . , Dn } .Основная идея та же: исследуемый текст и тренировочная коллекцияразделяются на фрагменты, которые классифицируются. Рассматриваемый документ относится к тому классу, к которому отнесены большинство его фрагментов.Число различных авторов обычно заранее известно и предполагается,что оно совпадает с количеством разных стилей (Cs ) в коллекции.
Заметим, что наличие Cs различных стилей в исходной коллекции должнобыть гарантировано, так как несколько авторов могут писать тексты всоавторстве или длина отрывка L может быть выбрана так, что стилине могут быть разделены при выбранных параметрах. Для того, чтобыоценить разделение стилей в полученном результате алгоритма кластеризации воспользуемся скорректированным индексом Ранда [73].Первоначально индекс Ранда [119] вводился для задач классификации, в которых результаты группировки сравнивались с “истинным” разделением на классы.
Значения индекса находятся в отрезке от 0 до 1.58Значение 0 означает полное несоответствие двух разделений объектов.Если оба разделения совпадают, тогда индекс Ранда равен 1. Основнымнедостатком индекса является то, что его математическое ожидание длядвух случайных разделений не постоянно.Скорректированный индекс Ранда (Adjusted Rand Index — ARI) основан на обобщенном гипергеометрическом распределении, таком, что разделения строятся случайно с фиксированным числом элементов в каждом кластере. Математическое ожидание индекса равно 0 для независимых разделений, а его максимальное значение равно 1 для одинаковыхразделений.Рассмотрим следующие два разделения коллекции документов:1. Разделение документов согласно определенным заранее стилямDn =Cs[Csm (Dn ) ,m=1где Csm (Dn ) состоит из всех документов, имеющих стиль Csm , m =1, ..., S.2.
Разделение Cl(Cs ) документов на C − s классов, полученное в результате Алгоритма 3 из п. 2.2.2:Dn =Cs[Cl(Cs ),i (Dn ) .i=1Составим таблицу сопряженности из всех значенийnsi = Csm (Dn ) ∩ Cl(Cs ),i (Dn ) , s, i = 1, ..., Cs ,и введем:ns· =CsXnci , n·i =CsXc=1i=159nci .Скорректированный индекс Ранда (англ. Adjusted Rand index — ARI):CsPARI Cl(Cs ) =c,iCPs12c=1nc·2nci2+−CsPc=1CsPi=1n·i2nc·2CsP−i=1CsPc=1n·i2nc·2/n2CsPi=1.n·i2/n2Будем считать разделение Cl(Cs ) состоятельным, если ARI Cl(Cs ) >CRand , где CRand – заданное пороговое значение.Алгоритм 5 Алгоритм идентификации авторстваВход:D0 — исследуемый документCs — количество различных стилей в коллекцииDn = {D1 , .
. . , Dn } — документы, отнесенные к S авторским стилямПроцедура:1: Выбрать T , L, CRand — уровень значимости для скорректированногоиндекса Ранда2: Составить новую коллекцию Dn+1 = {Di , i = 0, . . . , n} .3: if Cs = 1 then4:Вызвать Алг. 4 с входными данными Dn+1 для сравнения стилейD0 и Dn .5:STOP6: else7:Вызвать Алг.
3 и получить разделение Cl(Cs ) (Dn+1 ).8:Составить Cl(Cs ) (DnизCl(Cs ) (Dn+1 )иподсчитатьARI Cl(Cs ) (Dn ) . 9:if ARI Cl(Cs ) (Dn ≤ CRand then10:Следует переопределить параметры алгоритма.11:Сообщение “Коллекция не разделена”.12:STOP13:else14:Отнести D0 к стилю, который наиболее частотен среди в соответствующем кластере.15:end if16: end if60Заметим, что здесь вводится новый параметр CRand , используемыйв алгоритме. Его цель заключается в оценке способности процедурыкластеризации разделить тренировочное множество.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
