Диссертация (1148552), страница 18
Текст из файла (страница 18)
Полученные результаты представленыв таблице 3.5.100Таблица 3.5Значения t-критерия Стьюдента для определения релевантных параметровПараметр Ω1 («Роман о Фиалке»)Ω2 («ПродолжениеtМанессье»)̅1σ1̅2σ2X13,5406,0022,7504,8231,026X21,7301,5232,1501,5131,956X30,7200,7661,2000,9743,872X40,6001,0440,3800,7891,681X50,0300,1710,0000,0001,750X60,7600,9651,1901,1072,927X70,6400,7460,9600,8642,805X80,1100,3450,1700,4031,130X90,0100,1000,0600,2781,693X100,0000,0000,0100,1001,000X111,6101,0911,8901,2781,666X120,0000,0000,0200,2001,000X130,1200,3560,0600,2391,399X140,1200,3560,0600,2391,399X1510,0705,31712,7305,7223,405X164,1502,8555,0002,7342,150X172,6802,1312,9101,7700,830X180,9601,1881,5001,5082,813X191,7301,5952,5602,1103,139X202,3301,4002,8501,4862,546X210,3800,6930,3400,6230,429X221,3401,6221,7901,5851,985101X231,2501,1671,8501,3733,329X241,3001,4741,6101,5501,450X250,4800,6590,9001,0683,346X260,8501,0480,7100,8681,029X270,3000,6590,3400,7140,412X281,6201,7162,3402,0662,681X294,2003,1015,6603,1313,313X300,5900,8301,4501,1586,036X310,5100,7180,8300,9852,625X320,5200,7030,5200,7450,000X332,3403,4241,9902,7250,800X340,4401,0760,4600,9580,139X350,2000,4260,0800,2732,371X400,7600,9001,0101,1761,688X410,0100,1000,0100,1000,000X420,1200,3830,2100,4781,469X430,1100,3730,0800,3070,620X460,0000,0000,0000,0000,000X470,0000,0000,0000,0000,000X480,0000,0000,0300,2231,347X490,0000,0000,0800,5801,378X501,6101,6071,7701,2860,777X510,8900,8981,1501,1321,800X523,3603,9734,7004,7042,176X532,5602,8653,6503,5692,382X540,7501,3211,0301,4171,445102Таким образом, релевантными для различения априорных классов являютсяпараметры X3, X6, X7, X15, X16, X18, X19, X20, X22, X23, X25, X28, X29, X30, X31,X35, X52, X53.Для проведения второго этапа схемы Бонгарда требуется сформировать общуюобъектно-признаковую матрицу, составленную из объектно-признаковых матрицотдельных объектов.
Строки такой матрицы соответствуют параметрам, а столбцы –предложениям. Размерность матрицы nxN, где n = 46, а N = 200.Визуальная оценка матрицы позволяет сделать вывод о том, что параметрыимеют существенно различающиеся содержательное значение и размерность. Так,например, для класса Ω1 параметр X14 имеет среднее значение 0,120, а X15 – 10,070.Это приводит к двум негативным последствиям: если меняются шкалы, в которыхпроизводится измерение тех или иных параметров, то существенно меняется иматрица данных.
Кроме того, различные столбцы или строки матрицы оказываютсятрудно сопоставимы между собой [167, с.76].Длятогочтобыизбежатьэтого,матрицаZпреобразуетсякстандартизированному виду X [168, с. 11-12], каждый элемент которой имеет вид = −̅ ̅̅̅̅̅, = 1,, = ̅̅̅̅̅1, (3.2.)На основе этой матрицы строится корреляционная матрица связей параметров = { }, , = 1, ; где = 46элементами которой являются выборочные коэффициенты корреляции, которыепредставляют собой косинус угла ϕ между векторами j и k (3.3.). = =(̅ , ̅)1 ∙ 1 + ⋯ + ∙ =;|̅ | ∙ |̅| √ 2 + ⋯ + 2 ∙ √ 2 + ⋯ + 21Матрица R обладает следующими свойствами:1. { } = { }2.
{ } = 1, = 1(3.3. )1033. −1 ≤ ≤ 1Для выявления релевантных параметров, наиболее сильно коррелирующих спрочими параметрами и слабо - с прочими параметрами из группы релевантных,вычисляются значения критерия эффективности, который представляет собойотношение средней внегрупповой корреляции к внутригрупповой. На основеполученной матрицы определяются средняя внутригрупповая корреляция и средняявнегрупповая корреляция для каждого из параметров, входящих в группурелевантных.Внутригрупповая корреляция вычисляется по формуле 3.4. [169, с.122]:∑=1| | − 1̅ =; (3.4. )−1Внегрупповая – по формуле 3.5.
[там же, с.122]:̅−(∑=1| | − 1) − (∑=1| | − 1)=;−−1(3.5. )Соответственно, значение критерия эффективности для каждого параметра:̅ − = ; (3.6. )̅Полученные результаты, ранжированные по возрастанию величины E,представлены в таблице 3.6:Таблица 3.6Значения критерия эффективностиПараметр̅ ̅ −X220,1790,060,326X310,3800,150,388X190,4090,170,409X70,4480,190,425X30,4540,20,449X300,4020,180,449E104X280,3800,180,464X250,3340,160,480X60,4990,250,496X230,2830,140,506X160,4740,240,515X200,4650,240,516X150,5630,290,524X530,3870,210,529X520,3770,210,566X290,3970,230,578X180,2660,180,679X350,0190,063,250Для разбиения результатов на группы используется формула Стёрджесса (3.7.)для определения интервалов:ℎ= − ; (3.8. )где и – максимальные и минимальные значения соответственно,а n – число групп, определяется по формуле (3.8): = 1 + 3,322 ∙ ;(3.8.)где N – объём выборки.В данном случае, = 1 + 3,322 ∙ 20 = 5.Для определения величины интервала отбрасывается пиковое значение,соответствующее параметру X35, и получается, таким образом, h = 0,0705.
Сиспользованием этого значения были построены границы интервалов, см. таблицу 3.7.105Таблица 3.7Границы интервалов групп значений критерия эффективностиНомерНижняя ВерхняяВходящиеинтервала граница границазначения10,3260,3970,3970,4670,4670,53840,5380,608X52, X2950,6080,679X18, X3523X22, X31X19, X7, X3, X30,X28X25, X6, X23, X16,X20, X15, X53Пиковое максимальное значение, соответствующее параметру X35, быловключено в последний интервал. Таким образом, в последующей работе поклассификации текстов будет использоваться четырёхмерное пространство, осямикоторого являются параметры X18, X29, X35 и X52, а каждый объект характеризуетсянабором из значений этих параметров.3.5. Определение минимального объёма выборокДля перехода к математической модели исследуемых объектов необходимопредварительно описать их с использованием рабочего словаря параметров,включающего в себя два информативных параметра.Дляопределениякоординатисследуемыхобъектоввпространствеинформативных параметров был использован метод выборочного обследованияисследуемых текстов.
Использование этого метода позволяет снизить объём106подготовительной работы по определению значений параметров, сохраняя при этомвысокую точность оценки объектов. Для формирования представительных выборокнеобходимо решить ряд задач, таких как отбор единиц, вычисление характеристиквыборок и получение математико-статистических выводов о совокупности, изкоторой эта выборка получена.Для вычисления минимальных необходимых объёмов выборок используетсяформула, предложенная Шварц в [170, с. 64]:=̅ 21+( ) ;(3.9. )Где n – объём выборки, Vx – относительная стандартная ошибка, показывающая,сколько процентов от истинного значения составляет ошибка оценки. При ̅ = 0.05стандартная ошибка укладывается в 5% величины оцениваемого параметра.Параметр V вычисляется по формуле 3.10.: = ; (3.10. )̅где ̅ – выборочное среднее значение для совокупности:∑=1 ̅ =; (3.11.
)а s - выборочное среднеквадратичное отклонение:∑( − ̅ )2= √;−1(3.12. )Объём выборки вычисляется на основании ранее сделанных прикидочныхвыборок и результаты вычисления представлены в таблицах 3.8, 3.9, 3.10107Таблица 3.8Определение объёма выборки при заданной относительной точности (0.05) длякласса Ω1: «Роман о Фиалке»ПараметN̅SVxVnX1819010,961,1880,051,238464X3519010,250,4790,051,917829X5219013,363,9730,051,183432X2919014,23,1010,050,738196рТаблица 3.9Определение объёма выборки при заданной относительной точности (0.05) длякласса Ω2: «Продолжение Манессье»ПараметрN̅sVxVnX1824001,51,5080,051,005346X3524000,080,2730,053,4081583X5224004,74,7040,051,001343X2924005,663,1310,050,553116Таблица 3.10Определение объёма выборки при заданной относительной точности (0.05) дляатрибутируемого объекта «Продолжение Жербера»ПараметрN̅sVxVnX1835651,141,2710,051,115437X3535650,220,4390,051,9991104X5235654,25,6800,051,352607X2935655,374,3520,050,810245108Так как получен большой разброс результатов максимального значениявыборки, необходимо выбрать максимальное значение параметра для каждого класса,т.е., в данном случае, оно составит 1583 для параметра X35 класса Ω2 «ПродолжениеМанессье» и 829 для того же параметра класса Ω1 «Романа о Фиалке».
Минимальныйобъём выборки по атрибутируемому объекту определён аналогичным способом исоставляет 1104 предложения. В этом случае все параметры, в том числе требующиемаксимального размера выборки, будут определены с достаточной точностью.Полученные на основании результатов подсчёта параметров по классам-эталонам иатрибутируемому объекту матрицы данных приведены в Приложении 2.3.6. Двухступенчатая процедура классификацииПроблема распознавания образов в задачах атрибуции текстов, как правило,рассматривается в содержательном и в «статистическом аспектах, в соответствии скоторымиприменяемыйалгоритмраспознаваниявключаетвсебядетерминированную и вероятностную атрибуции» [171, с.119], [172, с.123].Алгоритм детерминированной атрибуции предполагает принятие решения опринадлежности атрибутируемого объекта к какому-либо априорному классупосредством сопоставления апостериорной информации о нём с эталонамиаприорных классов путём применения определённого классификатора – решающегоправила.Вслучаестатистическогоаспектапредполагается,чтоописаниеатрибутируемого объекта является набором наблюдений его состояний, на основаниикоторых производится классификация и выбор одной из атрибуционных гипотез.1093.7.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
