Диссертация (1148552), страница 22
Текст из файла (страница 22)
Таким образом, для случая последовательного разбиениятекстов можно сделать вывод о том, что класс Р1 или «Четвёртое продолжение»принадлежит классу Ω2 c вероятностью 0.77.134Таблица 3.31Атрибуция для полного класса Ω3№Ω1 Ω3Ω2 Ω3Результат атрибуции1.-934,860-954,895Ω2 «Продолжение Манессье»ДляполногоклассаΩ3атрибуциядаётаналогичныерезультаты:атрибутируемый класс соответствует классу Ω2 «Продолжение Манессье».Наконец, разбиение по п.3. дало следующие результаты:Таблица 3.32Атрибуция для случая многократных итераций№Результат атрибуцииитерации1Ω2 (P = 0.6)2Ω2 (P = 0.54)3Ω2 (P = 0.6)4Ω2 (P = 0,7)5Ω2 (P = 0,6)6Ω2 (P = 0,7)7Ω2 (P = 0,7)8Ω2 (P = 0,7)9Ω2 (P = 0,6)10Ω2 (P = 0,7)Полученные результаты позволяют сделать выводы, аналогичные выводам изпрошлых разделов: класс Ω3 «Четвёртое продолжение» стилистически близок как кклассу Ω1, так и к классу Ω2, однако близость к классу Ω2 выражена сильнее.1353.11.
Атрибуция при помощи алгоритма иерархической кластеризацииАлгоритмы иерархической кластеризации являются одними из наиболеераспространённых алгоритмов кластеризации и широко используются для задачупорядочения данных. Алгоритмы иерархической кластеризации построены напринципе последовательного попарного объединения или разбиения исходных и ужеопределённых кластеров, вследствие чего формируются специализированные графыобъединений кластеров – дендрограммы.Иерархическая кластеризация «…бывает аггломеративной (объединительной),когда алгоритм начинает с индивидуальных элементов (кластеров из одногоэлемента), а затем последовательно объединяет их, получая требуемую структуру, иразделительной, когда алгоритм начинает с одного кластера, содержащего все точки,а потом последовательно делит его на части» [186, с. 202]. Алгоритмы разделительнойкластеризации используются достаточно редко, что объясняется их низкойпроизводительностью,поэтомувданнойработеиспользовалсяалгоритмиерархической аггломеративной кластеризации (HAC, hierarchical agglomerativeclustering).Алгоритм иерархической аггломеративной кластеризации характеризуетсядвумяосновнымипараметрами:принципом,покоторомуосуществляетсяобъединение кластеров, и методом, при помощи которого определяется расстояниемежду кластерами.Как правило, используется два варианта построения дендрограммы: методполного связывания, когда близость кластеров характеризуется близостью ихнаиболее отличающихся членов, и метод одиночного связывания, когда близостькластеров характеризуется близостью их наиболее схожих членов [187, p.
384]. Длярасчёта расстояния могут использоваться метрики, уже упомянутые в данной работе:136см., например, формулы 3.16 – евклидово расстояние и 3.17 – манхэттенскоерасстояние.В данной работе алгоритм иерархической аггломеративной кластеризацииприменяется следующим образом: так как в этом алгоритме отсутствует фазапредварительного обучения и не требуется делать какие-либоаприорныепредположения о кластерах, которые должны быть получены в результате работыалгоритма, то его применение позволит, путём отслеживания порядка и характераобъединения кластеров, оценить близость рассматриваемых текстов между собой. Вкачестве исходной информации для работы алгоритма используются полученные вразделе 3.5. на основании результатов подсчёта параметров по классам-эталонам иатрибутируемому объекту матрицы данных (приведены в приложении №2).
Так какизначально исследуется корпус текстов малого объёма, то для более наглядногопроцесса формирования дендрограмм каждая матрица предварительно разбивается наблоки одинакового размера, которые и сравниваются между собой. Такой подходпозволяет не только сделать выводы об авторстве атрибутируемого объекта, но иоценить однородность сходства авторских стилей атрибутируемого объекта инаиболее подходящего ему класса-эталона.Для программной реализации алгоритма была использована программнаябиблиотекасоткрытымкодомalglib,содержащаяреализациюалгоритмаиерархической аггломеративной кластеризации с различными методами определенияблизости кластеров и расчёта расстояния между ними.
Библиотека доступна длясвободногоскачиванияииспользованиявнаучныхцеляхнасайтеhttp://www.alglib.net/. Для визуализации полученных дендрограмм была использованапрограммнаябиблиотекараспространяющаясяссвободнооткрытымнакодомсайтенаязыкеC#nodeXL,https://nodexl.codeplex.com/,ипредоставляющая программные инструменты построения графов в реальном времени.137В ходе выполнения программы были получены следующие результаты(красным цветом отмечены исходные кластеры атрибутируемого объекта, зелёным –«Продолжения Манессье» и синим - «Романа о Фиалке») для различных метрикопределения близости:1.
Евклидово расстояние, рис. 3.1.2. Метрика Чебышева, рис. 3.2.3. «Манхэттенское расстояние», рис. 3.3.Рис. 3.1. Иерархическая кластеризация, Евклидово расстояние138Рис. 3.2. Иерархическая кластеризация, метрика ЧебышеваРис. 3.3. Иерархическая кластеризация, метод «Манхэттенское расстояние»Кроме того, был проведен процесс кластеризации для различного размераисходных кластеров:1. Размер кластера 50 строк – рис. 3.4.2. Размер кластера 100 строк – рис. 3.5.3. Размер кластера 200 строк – рис.
3.6.1394. Размер кластера равен размерам исходных текстов (для каждого текстаразмер кластера различен) – рис. 3.7.Рис. 3.4. Иерархическая кластеризация, размер кластера 50 строкРис. 3.5. Иерархическая кластеризация, размер кластера 100 строк140Рис. 3.6. Иерархическая кластеризация, размер кластера 200 строкРис. 3.7. Иерархическая кластеризация, полные текстыПолученные дендрограммы позволяют сделать вывод о том, что кластеризацияс различными метриками даёт на данном массиве исходных данных схожиерезультаты, а кроме того, сходные результаты демонстрируются при различныхразмерах кластера.
Наличие некоторого смешения кластеров всех трёх произведенийпри размере кластера в 50 строк можно объяснить тем, что такого малого количествастрок может быть недостаточно, чтобы однозначно описать авторский стиль, однако,в общем случае, наблюдаемая картина всё равно является достаточно чёткой.1413.12. Выводы к Главе 3Проверка атрибуционной гипотезы, сформулированной в первой главе,произведённая при помощи четырёх различных методов атрибуции, на основаниипараметризации исходных текстов при помощи словаря параметров, предложенногов разделе 3.2.
приводит к следующим результатам:1. Атрибуция при помощи теории распознавания образовВ процессе определения информативных параметров число исходныхпараметров сокращается до четырёх – X18, X29, X35 и X52, после чего сравниваютсяпараметризованные по этим четырём параметрам объекты. Полученные в результатеработы детерминировнного алгоритма результаты подтверждают атрибуционнуюгипотезу о том, что автором «Четвёртого продолжения» является Манессье,аналогичные результаты получаются и при использовании вероятностного алгоритма– автором «Четвертого продолжения» является Манессье с вероятностью,приблизительно равной 0.6. Так как данный метод является многократноапробированным в решении задач атрибуции авторских текстов, и частности, текстовна старофранцузском языке, то можно оценивать полученный результат какэталонный с точки зрения оценки качества работы прочих методов, исследуемых вданной работе.2.
Атрибуция при помощи критерия Сёренсена-ЧекановскогоВ процессе атрибуции используется тот же набор информативных параметров,что был получен в процессе работы с предыдущим методом, сгруппированныйспособом, описанным в соответствующем разделе данной главы. Из полученныхрезультатов следует, что данный метод атрибутирует «Четвёртое продолжение»Манессье. Использование данного алгоритма оправданно с той точки зрения, что онне только позволяет получить итоговый результат, но и оценить близость142исследуемых объектов между собой.
Полученная в результате разница междурассчитанными значениями критериев невелика, а само значение критериядостаточно далеко от 1, которая соответствует идентичности двух объектов с точкизрения критерия Сёренсена-Чекановского.3. Атрибуция при помощи вероятностного классификатора БайесаВ качестве исходных параметров также был использован набор информативныхпараметров, результат работы классификатора позволяет сделать вывод о том, чтоавтором «Четвёртого продолжения» является Манессье, при этом такой вывод можносделать как на основании анализа полных выборок, так и разбитых на отдельныекластеры. Успешное обучение алгоритма на тестовых выборках позволяетдополнительно подтвердить правильность параметризации исследуемых текстов.4.
Атрибуция при помощи алгоритма иерархической аггломеративнойкластеризацииАлгоритмиерархическойкластеризациитакжеприменялсякнаборуинформативных параметров, определённых ранее. В результате его работы приразных размерах кластера и решающих правилах был получен аналогичныйпредыдущим методам результат: автором «Четвёртого продолжения» являетсяМанессье. Примечательной особенностью данного метода, как уже было сказаноранее, является то, что при его использовании не требуются априорныепредположения о составе итоговых классов, а объединение кластеров в пары идётстрого в соответствии с алгоритмом. Из полученных результатов следует, чтокластерыатрибутируемогообъектаи«ПродолженияМанессье»попарнообъединяются между собой и с полученными из такого объединения парами ипрактически не смешиваются с кластерами «Романа о Фиалке».
Анализ полученныхтаким образом дендрограмм позволяет не только сделать вывод об авторстве«Четвёртого продолжения», но и, поскольку выборки сформированы путём выбора143предложений от начала до конца текста с определённым шагом, следовательно, можноутверждать, что тексты «Четвёртого продолжения» и «Продолжения Манессье»стилистически схожи на всем объёме текстов.Из полученных результатов следует, что использование словаря параметров,предложенного в данной главе, при любом из рассмотренных методов определенияавторства подтверждает атрибуционную гипотезу о том, что автором «Четвёртогопродолжения» является Манессье. Каждый из рассмотренных в данной главе методовимеет свои описанные в соответствующих разделах достоинства и недостатки, номожетиспользоватьсядлярешенияпроизведений на старофранцузском языке.задачипоискаавторстваанонимных144Глава 4.
АТРИБУЦИЯ С ИСПОЛЬЗОВАНИЕМ ПАРАМЕТРИЗАЦИИРИФМОВАННЫХ СТРОК4.1. Обоснование подхода к решению задачи атрибуции анонимных ипсевдонимных произведений на основании рифмованных строкАльтернативным подходом к атрибуции «Четвёртого продолжения» можетявляться атрибуция с использованием параметризации не всего корпуса текстов, атолько предложений (или их элементов), использующихся в рифмованных строках.Такой подход обусловливается причинами, затронутыми в первом разделе даннойработы: представляется целесообразным отдавать приоритет использованию толькотех элементов, которые позволяют максимально сократить потенциальное влияние,оказываемое на характер авторского стиля последующими переписчиками,редакторами и компоновщиками текстов.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
