Диссертация (1137276), страница 12

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 12)

Длявыделения лемм использован лемматизаторна основе словарей WordNet [76] из библио­теки NLTK [75]3gramБуквенные 3-граммы4gramБуквенные 4-граммы5gramБуквенные 5-граммы6gramБуквенные 6-граммы– определить оптимальный порог отсечения , т. е. число таксономиче­ских тем, которые могут быть использованы для рубрикации конкрет­ной публикации.В принципе, меры MAP и nDCG тоже позволяют устанавливать пороговые значе­ния, но они имеют значительно менее интуитивных характер, чем пороговыезначения, которые определяются мерой .Способы представления текстовИспользование векторной и вероятностных моделей предполагает пред­ставление текста в виде неупорядоченного набора термов.

Под термами понима­ются либо слова в исходном виде, либо некоторые значимые фрагменты слов,как правило, основы, часто называемые стемами, либо же словарные формы(леммы) слов [16]. Кроме этих традиционных способов представления текста,мы рассматривали представление текста в виде множеств буквенных –грамм.Полный список рассмотреных способов представления текстов и их обозначенияприведены в Таблице 4.633.2.2Схема экспериментаЭксперимент осуществляется в несколько этапов:1.

Предобработка текстов: представление текстов в виде мешков слов 7способами;2. Использование мер релевантности cosine, LSI.15, LSI.50. LSI.100,LSI.150, LDA.15, LDA.50, LDA.100, LDA.150, BM25, Jaccard;3. Использование 7 шкалирующих функций для АСД;4. Отсутствие очистки АСД от шума, очистка АСД от шума с 1, 2 уровня;5. Построение РСТ таблиц таксономическая тема – аннотация. В общейсложности, было построено 84 РСТ таблиц с учетом всех возможныхпараметров.3.2.3Результаты экспериментаПри использовании косинусной меры релевантности для аннотированиянаучных публикаций и с учетом всех способов представления текстов, оказа­лось, что представление текстов в виде множества –грам существенно эффек­тивнее, то есть, точнее, по всем рассмотреным мерам качества, чем представле­ние текстов в виде множеств слов в исходной форме, стемов слов или их лемм.При этом, оптимальное на основе данного эксперимента выбрать не получа­ется: результаты полученные при = 5 и = 6 несравнимы (так, например,MAP5 при = 5 превосходит MAP5 при = 6, однако MAP15 при = 6 превос­ходит MAP15 при = 5), но на 1-2% точнее чем результаты, полученные при = 3 и = 4.

Отметим также, что при использовании лемматизации точностьполученных результатов превосходит результаты, получаемые после стемминга.Использование ЛСИ для снижения числа размерностей в векторной мо­дели подверждает полученные резульаты: в частности, представление текста ввиде множества 5–грам или 6–грам позволяет достичь большой точности, чемпредставление текста в виде множества 3–грам или 4–грам, а использованиелемматизации – чем использование стемминга. В целом, представление текстав виде множества –грам приводит к лучшим результатам, чем представление64в виде множества стемов или лемм.

Однако, использование ЛСИ для сниженияразмерности не позволяет улучшить показатели точности по сравнению с ори­гинальной векторной моделью: лучшие результаты, получаемые при = 150хуже результатов оригинальной модели в среднем на 10%.Аналогично и использование ЛРД с различным числом скрытых тем непозволяет хоть каких-либо улучшений, но и опроврегает превосходство лемма­тизации перед стеммингом. В прочем, полученные при использовании ЛРД по­казатели точности настолько малы, что не позволяют сделать основательныхвыводов.Вероятностная мера релевантности Okapi BM 25 позволяет получить ре­зультаты не превосходящие косинусную модель релеватности, однако подвер­ждающие превосходство представления текстов в виде -грамм над лемматиза­цией и стеммингом и лемматизации над стеммингом.

При использовании этоймеры релевантности оптимальным является = 6. Использование теоретико­множественной меры Жаккара в качестве меры релевантности подветрждаетэти наблюдения.Использование мер релеватности, основанных на АСД с различными шка­лирующими функциями и очисткой от шума на разных уровнях, позволяет су­щественным образом превзойти результаты, полученные при использовании ко­синусной меры релевантности (на 5-6%). При этом, полученные результаты оче­видным образом демонстрируют нецелесобразность использования логарифми­ческой и логистической функции в качестве шкалирующей функции. Точностьвсех остальных шкалирующих функций сопоставима, из них лучшей можноназвать шкалирующую функцию сигмоид, а худшей – квадратичную. Так же,отметим, что, в принципе, подвержается гипотеза об эффективности очисткиот шма на 1 уровне, то есть, на уровне одиночных букв, и не оправдывает себяочистка от шума на втором уровне – уровне пар букв.Несмотря на то, что в целом показатели точности невелики и не превосхо­дят 30%, можно подвести общие итоги: при использовании таких четких мер ре­левантности, как алгебраические (косинусная мера), вероятностные (Okapi BM25), теоретико-множественные (мера близости Жаккара) меры, представлениетекста в виде множества -грамм существенно эффективнее, чем представле­ние текста в виде множества лемм или стемов.

Оптимальным при этом явля­ется = 5,6. Лемматизация по сравнению со стеммингом позволяет достичьлучших результатов. Использование нечетких мер релевантности, основанных65Таблица 5 — Оценка полученных при использовании различных способовпредобработки текстов результатов с помощью косинусной мерырелевантностиwordsstemslemmas3gram4gram5gram6gramMAP50.17750.18740.19700.20400.22020.22970.2307MAP100.20730.22060.23020.23400.25690.26630.2659MAP150.22420.23680.24640.24780.27330.28220.2788nDCG50.04780.04820.04780.05110.05160.05510.0549nDCG100.10730.11460.11410.11170.12420.12820.1256nDCG150.17700.18060.18060.16730.19140.19280.179150.05700.05890.05990.06390.06630.06990.0697100.09300.09900.10000.10040.11030.11410.1123150.12690.13120.13240.12760.14300.14560.138450.25980.25870.27500.28040.30000.31090.3207100.37830.38260.39670.38700.43370.44890.4359150.46410.47720.48590.47070.51850.52610.5033Таблица 6 — Оценка полученных при использовании различных способовпредобработки текстов результатов с помощью косинусной мерырелевантности и ЛСИ для снижения размерности векторной модели до = 15 размерностейwordsstemslemmas3gram4gram5gram6gramMAP50.02510.03790.03640.02810.03160.04060.0441MAP100.03120.04680.04490.03470.04000.04770.0554MAP150.03560.05330.05010.03820.04410.05360.0600nDCG50.00810.01200.01230.00580.00720.01100.0104nDCG100.01980.02990.02890.01960.02520.02470.0331nDCG150.03830.05720.04990.03450.04210.04890.051750.00870.01280.01250.00820.00940.01280.0135100.01590.02360.02260.01640.02000.02120.0272150.02480.03680.03290.02360.02830.03310.036350.05330.07390.07170.05220.05870.08040.0848100.08910.12070.11090.09460.11090.12720.1500150.12930.17070.16200.12930.14670.18800.1924Таблица 7 — Оценка полученных при использовании различных способовпредобработки текстов результатов с помощью косинусной мерырелевантности и ЛСИ для снижения размерности векторной модели до = 50 размерностейwordsstemslemmas3gram4gram5gram6gramMAP50.02990.04690.03290.03950.06820.09510.1130MAP100.03650.05550.04180.04860.07900.11210.1338MAP150.04310.06080.04880.05280.08470.11950.1422nDCG50.00920.01230.01040.00720.01370.02350.0320nDCG100.02330.03010.02860.02530.03570.05710.0734nDCG150.05090.05330.05800.04210.06020.08840.108250.01040.01470.01150.01060.01880.02950.0375100.01880.02530.02240.02160.03200.04980.0625150.03220.03650.03670.02980.04380.06490.079550.05540.08260.06630.05980.10650.16090.1946100.10110.12930.12390.11740.16410.24890.2902150.16850.17830.19570.15650.20870.30110.339166Таблица 8 — Оценка полученных при использовании различных способовпредобработки текстов результатов с помощью косинусной мерырелевантности и ЛСИ для снижения размерности векторной модели до = 100 размерностейwordsstemslemmas3gram4gram5gram6gramMAP50.02670.05010.04090.05900.09680.13490.1503MAP100.03300.05980.05140.06860.11160.15270.1708MAP150.03980.06580.05960.07410.11830.16040.1799nDCG50.00660.01510.01130.01580.02220.03400.0350nDCG100.01900.03510.03280.03560.05210.07050.0757nDCG150.04770.06030.06650.05840.07950.10220.113050.00840.01710.01320.01880.02880.04200.0450100.01590.02910.02600.03070.04680.06390.0697150.02980.04130.04250.04180.06010.07930.087950.04570.08910.07280.10540.16090.22280.2359100.08370.14670.13910.16300.23370.29670.3174150.15540.20220.20980.20330.28150.34780.3685Таблица 9 — Оценка полученных при использовании различных способовпредобработки текстов результатов с помощью косинусной мерырелевантности и ЛСИ для снижения размерности векторной модели до = 150 размерностейwordsstemslemmas3gram4gram5gram6gramMAP50.03030.05900.04510.07970.12780.15110.1575MAP100.03770.07140.05620.09220.14120.17130.1826MAP150.04260.07800.06190.09850.14940.18020.1909nDCG50.00700.01860.01300.01970.03370.03890.0335nDCG100.02250.04320.03640.04380.05990.07820.0815nDCG150.04310.07080.06040.07080.09370.11620.114750.00910.02060.01490.02470.04060.04730.0449100.01830.03550.02880.03940.05650.07120.0743150.02830.04880.04040.05240.07300.08960.090650.04780.10540.07830.13040.21090.24130.2326100.09350.16740.14570.19350.26300.32500.3304150.15000.21410.19890.24240.31200.36520.3761Таблица 10 — Оценка полученных при использовании различных способовпредобработки текстов результатов с помощью меры релевантности,основанной на ЛРД, при числе скрытых тем = 15wordsstemslemmas3gram4gram5gram6gramMAP50.01180.01530.01040.00290.00660.01630.0168MAP100.01320.01910.01260.00480.00830.01800.0179MAP150.01400.02190.01390.00560.00940.01920.0187nDCG50.00430.00510.00520.00150.00240.00330.0016nDCG100.00720.01370.01020.00550.00570.00720.0039nDCG150.01040.02580.01590.00900.01030.01260.007050.00450.00550.00510.00140.00240.00460.0036100.00620.01040.00800.00380.00450.00690.0050150.00770.01630.01080.00550.00670.00940.006550.02170.03480.03260.00870.01410.02930.0228100.03150.06090.05000.02280.02610.04130.0293150.04130.09570.06630.03370.04020.05540.039167Таблица 11 — Оценка полученных при использовании различных способовпредобработки текстов результатов с помощью меры релевантности,основанной на ЛРД, при числе скрытых тем = 50wordsstemslemmas3gram4gram5gram6gramMAP50.01720.02200.00990.01110.00790.00710.0136MAP100.02130.02640.01430.01150.01140.01120.0192MAP150.02310.02750.01650.01230.01340.01270.0220nDCG50.00430.00550.00280.00170.00180.00200.0048nDCG100.01290.01430.01160.00260.00940.00940.0155nDCG150.01290.01940.02090.00620.01830.01580.027050.00530.00690.00330.00270.00240.00240.0051100.01040.01220.00860.00330.00690.00700.0116150.01390.01460.01300.00500.01110.01010.017350.03150.03480.01850.01740.01410.01520.0304100.06200.05760.04670.02070.03480.04240.0663150.07610.07070.06850.03150.05870.05760.0989Таблица 12 — Оценка полученных при использовании различных способовпредобработки текстов результатов с помощью меры релевантности,основанной на ЛРД, при числе скрытых тем = 100wordsstemslemmas3gram4gram5gram6gramMAP50.01300.01120.00560.01280.01170.01260.0204MAP100.01580.01430.00840.01640.01520.01590.0266MAP150.01730.01680.00970.01920.01710.01750.0289nDCG50.00500.00220.00270.00390.00430.00340.0045nDCG100.01160.00800.00800.01130.01100.01020.0175nDCG150.01790.01830.01330.02300.01830.01650.027050.00510.00310.00260.00430.00450.00390.0058100.00890.00670.00580.00870.00860.00800.0135150.01200.01160.00840.01440.01220.01110.018250.02930.01740.01630.02720.02610.02500.0359100.05220.03700.03480.05000.04350.04670.0793150.06850.06200.04670.06960.06200.06410.1000Таблица 13 — Оценка полученных при использовании различных способовпредобработки текстов результатов с помощью меры релевантности,основанной на ЛРД, при числе скрытых тем = 150wordsstemslemmas3gram4gram5gram6gramMAP50.01430.02000.01430.00790.00820.01410.0200MAP100.02240.02560.02140.00990.01150.01900.0250MAP150.02510.02860.02600.01150.01490.02070.0268nDCG50.00570.00450.00470.00170.00350.00480.0057nDCG100.02180.01470.01880.00570.00960.01470.0156nDCG150.03270.02750.03680.01190.02370.02230.022950.00580.00600.00530.00240.00340.00510.0067100.01560.01230.01390.00480.00720.01110.0127150.02090.01850.02280.00790.01400.01470.016350.02930.03370.02830.01520.01740.02830.0402100.08040.06300.07720.02930.04020.05650.0728150.09890.09570.11090.04460.07720.07830.0935Таблица 14 — Оценка полученных при использовании различных способовпредобработки текстов результатов с помощью вероятностной мерырелевантности BM25.wordsstemslemmas3gram4gram5gram6gramMAP50.02940.06020.04550.08160.12470.15050.1643MAP100.03720.07240.05560.09430.14070.17180.1866MAP150.04230.07890.06290.10060.14890.18060.1953nDCG50.00620.01850.01270.01880.03090.03730.0342nDCG100.02220.04420.03400.04360.06130.07950.0779nDCG150.04390.07090.06430.06970.09610.11620.114250.00840.02070.01490.02430.03820.04640.0466100.01800.03600.02760.03940.05690.07190.0731150.02840.04900.04230.05210.07360.08970.090850.04890.10650.07830.13040.20430.24020.2380100.09460.16960.14130.19670.27280.32720.3293150.14670.23040.20870.24020.31410.37070.378368Таблица 15 — Оценка полученных при использовании различных способовпредобработки текстов результатов с помощью теоретико-множественногокоэффицента Жаккараwordsstemslemmas3gram4gram5gram6gramMAP50.17940.18050.20230.07980.11820.16930.2116MAP100.21150.21130.23750.08410.14040.20000.2408MAP150.22640.22800.25350.01150.15310.21330.2548nDCG50.04140.04090.04150.03070.03100.04640.0512nDCG100.10590.10200.11180.04830.07480.10770.1084nDCG150.16810.17050.17760.04830.12730.16120.166650.05310.05330.05670.01800.03720.05480.0644100.09200.09030.09920.02960.06370.09180.0992150.12210.12370.13120.03820.08920.11800.127450.26960.26300.27070.19780.19780.31200.3120100.39240.39780.42720.29890.29890.41200.4120150.47720.48800.49890.39130.39130.51300.5130Таблица 16 — Оценка полученных результатов при использовании мерырелевантности, основанной на АСД, при использовании различных видовшкалирующих функций и очистки от шума на различных уровняхconstant.0constant.1constant.2linear.0linear.1linear.2square.0square.1square.2root.0root.1root.2log.0log.1log.2logit.0logit.1logit.2sigmoid.0sigmoid.1sigmoid.2MAP50.28740.28690.28140.27340.27420.26960.25700.25840.26100.28540.28260.27470.01610.00110.00250.04970.02550.04750.29040.28730.2793MAP100.32470.32180.31540.30710.30750.29970.28870.28970.28860.32260.31700.30560.02630.00110.00330.06300.02880.05420.32580.32070.3123MAP150.33950.33730.32910.32210.32330.31270.30360.30430.30160.33690.33240.31860.03170.00120.00350.07030.03030.05600.34000.33590.3258nDCG50.05740.05840.05440.05080.05000.05300.04730.04810.05150.05340.05480.05600.00790.00000.00070.01610.00520.00620.05760.05910.0549nDCG100.13070.12730.12040.11620.11420.11350.10920.10950.10770.12680.12210.11830.02920.00000.00210.04280.01210.01990.12640.12570.1190nDCG150.19300.19190.17680.17860.17930.16780.17090.17160.16120.18700.18680.17270.05140.00070.00280.07370.01890.02780.18480.18740.175050.07950.08000.07640.07350.07310.07400.06870.06950.07180.07720.07740.07660.00740.00020.00090.01760.00720.01130.08000.08020.0764100.12400.12180.11660.11340.11230.11050.10640.10690.10550.12180.11830.11410.02000.00020.00170.03370.01130.01950.12190.12040.1154150.15410.15310.14400.14370.14400.13680.13630.13680.13150.15090.14970.14040.03080.00050.00210.04860.01460.02330.15040.15050.142750.35760.36740.35330.34890.35000.34890.33260.33480.33910.35650.36090.35760.03910.00110.00540.09130.04130.06630.36090.36630.3511100.49460.48590.47070.45980.46090.45000.44460.44670.43910.48480.47610.45980.10650.00110.01090.16740.05980.09890.49240.47830.4696150.57390.56630.54020.53370.54130.51850.52170.52070.50650.55980.55540.52720.15540.00330.01300.23590.07170.11410.55330.55760.539169на аннотированных суффиксных деревьях существенным образом увеличиваетточность, при этом, вид шкалирующей функции (квадратичная, корень квад­ратный, линейная или сигмоид) не играет особой роли (за исключением ло­гарифмической или логистической), и оправдывает себя очистка от шума напервом уровне.70Глава 4.

Характеристики

Список файлов диссертации