Диссертация (1148552), страница 24
Текст из файла (страница 24)
Длякаждогопараметраизгруппы«количественныхпараметров»используется классический вариант определения наивного классификатораБайеса без дополнительных уточнений.3. Для иерархической кластеризации не применяются P12, P13, P14 чтообъясняется их большой размерностью.4. Для группы «качественные параметры» для наивного классификатора Байесавводятся дополнительные уточнения аналогично уточнениям к определениюпонятия «слово» из главы №3. Так как некоторые подмножества параметровиз группы «качественных параметров» являются взаимоисключающими (P1и P2, P3 и P4, P5, P6, P7, P8, P9, P10, P11), то в качестве компонентов объектадля подсчёта коэффициента используется:1.
P1 или P22. P3 или P43. P5 или P6 или P7 или P8 или P9 или P10 или P11Таким образом, например, один объект для пары рифм «fine – define» будетсостоять из параметров «Женская рифма», «Законченный леонинский стих»,«Единственное число» или P1P3P11.Для определения координат атрибутируемого класса и классов-эталонов ввыбранном параметрическом пространстве используются случайные выборки по 1000152пар рифм в каждой. Аналогично подходу к формированию выборок из главы 3, дляслучайной выборки устанавливается размер шага по каждому классу, в соответствиис которым осуществляется отбор пар рифм.При помощи специально созданного программного обеспечения формируютсясписки уникальных значений параметров P12-P16 и комбинаций параметров P1-P11.Как и следовало ожидать, для параметров P1-P11 встречаются все возможныекомбинации параметров.
Перечень уникальных значений параметров P15 и P16приведён в таблицах 4.2 и 4.3 соответственно. Перечисление параметров P12-P14лишено смысла, так как количество возможных значений, которое может приниматькаждый из них, нивелирует ценность их визуальной оценки.Таблица 4.2Варианты параметра «Член предложения», возможные в исследуемых объектах№п.п.Сокращенное наименованиеЗначение1.AciAccusativus cum infinitivo2.AppositionПриложение3.AttributПредикатив4.ComplДополнение5.compl+ prédicatДополнение+сказуемое6.ÉpithèteОпределение7.gérondifОбстоятельственное дополнение8.PprОпределение/именнаячасть/дополнение9.prédicatСказуемое10.PrépСлужебное слово11.SujetПодлежащее12.sujet+prédicatПодлежащее+сказуемое153Таблица 4.3Варианты параметра «Часть речи», возможные в исследуемых объектах№п.п.СокращённоеЗначениенаименование1.AdjПрилагательное2.adj verbОтглагольное прилагательное3.adj-ppПрилагательное-причастиепрошедшеговремени4.AdvНаречие5.GérondifГерундий как отглагольная часть р.6.InfinitifГлаголвнеопределённойформе(инфинитив)7.NomСуществительное8.nom+verbeСуществительное+Глагол9.PpПричастие прошедшего времени10.PprПричастие настоящего времени11.PrépПредлог12.prép+nomПредлог+существительное13.PronomМестоимение14.pronom+nomМестоимение+существительное15.pronom+verbeМестоимение+глагол16.VerbeГлагол17.verbe-infГлагол + глагол в неопределённой форме1544.3.
Атрибуция при помощи классификатора БайесаРешение задачи атрибуции при помощи классификатора Байеса осуществляетсянезависимо по вышеперечисленным параметрам. Размеры обучающей и тестовойвыборки взяты из соотношения 7/3 по классам-эталонам, то есть размер одного текставыборки составил 200 слов для параметров P12-P14 и по 100 слов - для остальных.Для оценки качества обучения классификатора на априорных классахпроцедура обучения и тестирования проводилась по десять раз для выборок,формируемых случайным образом при помощи генератора случайных чисел.Результаты приведены в таблицах 4.4. – 4.14.
(классы М1-М3 – тестовые выборки длякласса Ω2 – «Продолжение Манессье», классы Ф1-Ф3 – выборки для класса Ω1 –«Роман о Фиалке»).Таблица 4.4Проверка качества обучения, 0-ая итерацияПараметрКлассКлассКлассКлассКлассКлассМ1М2М3Ф1Ф2Ф3P12++++++P13++++++P14++++++P15–+++++P16++++++P1-P11++++++155Таблица 4.5Проверка качества обучения, 1-ая итерацияПараметрКлассКлассКлассКлассКлассКлассМ1М2М3Ф1Ф2Ф3P12++++++P13++++++P14++++++P15+++–++P16++++++P1-P11++++++Таблица 4.6Проверка качества обучения, 2-ая итерацияПараметрКлассКлассКлассКлассКлассКлассМ1М2М3Ф1Ф2Ф3P12++++++P13++++++P14++++++P15–––+++P16++++++P1-P11++++++Таблица 4.7Проверка качества обучения, 3-ая итерацияПараметрP12КлассКлассКлассКлассКлассКлассМ1М2М3Ф1Ф2Ф3++++++156P13++++++P14++++++P15+–++++P16++++++P1-P11++++++Таблица 4.8Проверка качества обучения, 4-ая итерацияПараметрКлассКлассКлассКлассКлассКлассМ1М2М3Ф1Ф2Ф3P12++++++P13++++++P14++++++P15+++–++P16++++++P1-P11++++++Таблица 4.9Проверка качества обучения, 5-ая итерацияПараметрКлассКлассКлассКлассКлассКлассМ1М2М3Ф1Ф2Ф3P12++++++P13++++++P14++++++P15++++++P16++++++P1-P11++++++157Таблица 4.10Проверка качества обучения, 6-ая итерацияПараметрКлассКлассКлассКлассКлассКлассМ1М2М3Ф1Ф2Ф3P12++++++P13++++++P14++++++P15++++++P16++++++P1-P11++++++Таблица 4.11Проверка качества обучения, 7-ая итерацияПараметрКлассКлассКлассКлассКлассКлассМ1М2М3Ф1Ф2Ф3P12++++++P13++++++P14++++++P15++++–+P16++++++P1-P11++++++158Таблица 4.12Проверка качества обучения, 8-ая итерацияПараметрКлассКлассКлассКлассКлассКлассМ1М2М3Ф1Ф2Ф3P12++++++P13++++++P14++++++P15+++++–P16++++++P1-P11++++++Таблица 4.13Проверка качества обучения, 9-ая итерацияПараметрКлассКлассКлассКлассКлассКлассМ1М2М3Ф1Ф2Ф3P12++++++P13++++++P14++++++P15+––+++P16++++++P1-P11++++++Средняя точность ̅ по каждому параметру определяется как отношение суммызначений ∑=0 , полученных по формуле 3.31, для каждого испытания к числуиспытаний n.̅ =∑=0 ; (4.1)159Сводная таблица по параметрам - см.
таблицу 4.14.Таблица 4.14Средняя точность по каждому параметруПараметрСредняя точность ̅P121P131P141P150,82P161P1-P111Из полученной таблицы видно, что обучение классификатора по параметру P15– «Часть речи», периодически проходит некорректно, в результате чего появляютсяошибки классификации на тестовых выборках. Исходя из этого, данный параметрбудет исключён из рассмотрения при проведении атрибуции данным методом иполный список параметров, по которым будет проводиться атрибуция, имеет вид:1. Комбинация параметров P1-P112.
P123. P134. P145. P16Для получения результатов проверки атрибуционной гипотезы экспериментпроводится многократно следующим образом:1. Проверяетсягипотезапродолжение»;обавторствеполногоклассаΩ3«Четвёртое1602. Проверяется гипотеза об авторстве класса Ω3 «Четвёртое продолжение» путемразбиения класса на десять последовательных блоков и формирования общейоценки по каждому параметру;3. Проверяется гипотеза об авторстве класса Ω3 «Четвёртое продолжение» припомощи случайного разбиения на блоки.
Класс Ω3 «Четвёртое продолжение»разбивается на блоки длиной в 0.1 от общей длины класса при помощигенератора случайных чисел по следующему алгоритму:Шаг 1. Формируется новый блок. В данный блок, путём случайного выбора,перемещается количество слов, равное 0.1N, где N – число слов в классе. Число словв классе сокращается на 0.1N.Шаг 2.Если класс не пуст, то повторяется шаг 1. Если класс пуст, топроисходит переход к шагу 3.Шаг 3. Класс заново наполняется словами и происходит переход к шагу 1.Блок-схема алгоритма приведена на рис. 4.1, где N0 – количество всех слов втексте, NΩ - количество слов в формируемом классе, а N – количество слов в текстебез учета сформированных классов, Ω - текущий атрибутируемый класс, а rand(Ω3,N0) – процедура определения случайных членов атрибутируемого класса.161НачалоNΩ = N0Ω ∈ [Ω3 (Ω )]Проверка гипотезы для ΩФормирование нового блока:NΩ = 0,1N0N = N – 0,1N0Ω ∈ [Ω3 (Ω )]Проверка гипотезы для ΩN=0нетдаФормирование нового блока:NΩ = 0,1N0N = N – 0,1N0Ω ∈ [(Ω3 , Ω )]2116212Проверка гипотезы для ΩN=0нетдаКонецРис.
4.1. Блок-схема проверки атрибуционных гипотезПолученные результаты представлены в таблицах 4.15 – 4.17.Таблица 4.15Атрибуция по полному классу Ω3Параметр Ω3 «Четвёртое продолжение»P12Ω1P13Ω2P14Ω2P16Ω1P1-P11Ω1163Таблица 4.16Атрибуция класса Ω3 «Четвёртое продолжение» разделенного на 10 текстов равнойвеличиныПараметр Ω31Ω32Ω33Ω34Ω35Ω36Ω37Ω38Ω39 Ω310P12Ω1Ω2Ω2Ω2Ω1Ω1Ω1Ω2Ω2Ω1P13Ω1Ω2Ω2Ω2Ω1Ω1Ω2Ω2Ω2Ω2P14Ω2Ω2Ω2Ω2Ω2Ω2Ω2Ω2Ω2Ω2P16Ω1Ω1Ω1Ω1Ω1Ω1Ω1Ω1Ω1Ω1P1-P11Ω1Ω2Ω1Ω1Ω1Ω1Ω1Ω1Ω2Ω2По данной таблице можно сделать следующие выводы: по параметру P12произошёл отказ от распознавания, по параметру P14 - класс Ω3 принадлежитаприорному классу Ω2 «Продолжение Манессье» с вероятностью 1, а по параметруP13 с вероятностью с вероятностью 0.7. По параметру P16 - класс Ω3 принадлежитаприорному классу Ω1 «Роман о Фиалке», а по параметру P1-P11 – классу Ω1 «Романо Фиалке» с вероятностью 0.7.Таблица 4.17Атрибуция при помощи случайных выборокПараметр PΩ1PΩ2P120,4020,598P130,2050,795P140,0530,947P160,9960,004P1-P110,8820,118164В соответствии с таблицей 4.17, можно сделать вывод о том, что атрибуция припомощи случайных выборок даёт примерно такие же результаты, как ипоследовательное разбиение.Совокупные результаты по трём типам проверок дают схожие результаты, чтопозволяет сделать утверждение о том, что в данном случае наблюдается зависимостьрезультатов атрибуции от характера параметра, по которому проводится атрибуция,см.
таблицу 4.18.Таблица 4.18Результаты атрибуцииПараметрРезультаты атрибуцииP12Процедурараспознаваниянедалаоднозначных результатов (отказ)P13Класс Ω2 «Продолжение Манессье»P14Класс Ω2 «Продолжение Манессье»P16Класс Ω1 «Роман о Фиалке»P1-P11Класс Ω1 «Роман о Фиалке»4.4. Атрибуция при помощи теории распознавания образовРешение задачи атрибуции при помощи теории распознавания образоввключает в себя шаги, аналогичные шагам из разделов 3.7. – 3.9. С учётом изменениясписка первичных параметров до сравнительно небольшого количества и наличиязаранее подготовленных исходных данных, опущены шаги, направленные наопределение информативных параметров и объёмы выборок.1654.4.1. Работа детерминированного алгоритмаЗначения координат эталонов классов на каждой итерации определяются припомощи формулы 3.14.
Координаты эталонов на 0-й итерации приведены в таблице4.18.Таблица 4.18Координаты эталонов классов на 0-й итерацииКлассПараметрΩ1P10,3070,461P20,6930,461P30,1740,379P40,8260,379P50,0720,258P60,2840,451P70,1130,317P80,0080,089P90,0060,077P100,2790,449P110,2380,426P10,2730,446P20,7270,446P30,1320,338P40,8680,338P50,0520,222P60,30,458P70,1440,351Ω2x̅S166P80,0150,122P90,0060,077P100,1790,383P110,3040,460Координаты атрибутируемого класса определены аналогичным образом и приведеныв таблице 4.19.Таблица 4.19Координаты атрибутируемого класса Ω3КлассПараметрΩ3P10,2970,457P20,7030,457P30,1830,387P40,8170,387P50,0710,257P60,2420,428P70,1550,362P80,0260,159P90,0000,000P100,2770,448P110,2290,420x̅SРезультаты работы детерминированного алгоритма для классов Ω1 и Ω2 приведены втаблицах 4.20 и 4.21 соответственно.167Таблица 4.20Работа детерминированного алгоритма на 0-ой итерации для класса Ω1Класс Ω1Класс Ω3КритерийСтьюдентаПараметрtx̅x̅SSP10,3070,4610,2970,4570,154P20,6930,4610,7030,4570,154P30,1740,3790,1830,3870,166P40,8260,3790,8170,3870,166P50,0720,2580,0710,2570,027P60,2840,4510,2420,4280,675P70,1130,3170,1550,3620,873P80,0080,0890,0260,1590,987P90,0060,0770,0000,0000,777P100,2790,4490,2770,4480,032P110,2380,4260,2290,4200,150Таблица 4.21Работа детерминированного алгоритма на 0-й итерации для класса Ω2Класс Ω2Класс Ω3КритерийСтьюдента tПараметрx̅x̅SSP10,2730,4460,2970,4570,376P20,7270,4460,7030,4570,376P30,1320,3380,1830,3870,992P40,8680,3380,8170,3870,992168P50,0520,2220,0710,2570,560P60,3000,4580,2420,4280,925P70,1440,3510,1550,3620,218P80,0150,1220,0260,1590,549P90,0060,0770,0000,0000,777P100,1790,3830,2770,4481,663P110,3040,4600,2290,4201,204Поскольку существует более двух параметров, по которым атрибутируемыйобъект принадлежит к разным классам, то фиксируется отказ от распознавания, тоесть остановка итерационного алгоритма произошла на 0-й итерации.Таблица 4.22Работа детерминированного алгоритма на 0-й итерации для объекта Ω3ПараметрКласс Ω1Ω3Класс Ω 2--В результате работы детерминированного алгоритма атрибуция объекта Ω3 небыла произведена.4.4.2.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
