Диссертация (1137055), страница 14
Текст из файла (страница 14)
Косвенные характеристики: показатели цитируемости иавторитетностиСуществует ряд сервисов для оценки показателей цитирования. Они слегкаотличаются базой публикаций и временным промежутком, за которыйпроизводится расчет метрик. Нет убедительных аргументов в пользу того илииного сервиса. Поэтому был выбран простой в использовании и доступный вебсервис Google Scholar.
Среди приведенных на сайте метрик:- Общее число цитирований работ ученого (C).- Число работ, процитированных минимум 10 раз (I10).- Индекс Хирша: Число работ h, получивших как минимум h цитирований.Таблица 3.3 содержит значения этих трех критериев на июль 2013, а такжеприрост этих значений к сентябрю 2014 по сравнению с июлем 2013 (впроцентном выражении). Последние три колонки содержат нормированные кинтервалу от 0 до 100 значения показателей на сентябрь 2014.
Значения за двамомента были собраны для того чтобы еще раз проверить стабильностьстратификации, получаемой алгоритмом ЛинСтрат, на реальных данных.87Таблица 3.3. Показатели цитирования: общее число цитирований (C); числоработ, получивших по меньшей мере 10 цитирований (I10); индекс Хирша (H).Колонки 2-4 содержат показатели цитируемости за 2013. Колонки 5-7 - приростпоказателей за год с 2013 к 2014. Последние три колонки – нормированные от 0до 100 значения показателей за 2014 годУченыйЦитирование 2013Gain, %Цитирование 2014CI10HCI10HCI10HS1463295311163089S232476168751544202046S39944844913814646870100S4604582549317155414063S5448357301673028S6417262888915108274461S7335552079316444214162S8827911145147231120S9226041203918128141417S10700612298932415553166S1134983171691366222242S1248204212621645322836S13123669350181266926S148041043311419407579182S1567380167802574502150S16102837842171074620S176510630610619129454877S1826311139611487161636S192454937675771135845S205292472326-9000S2121101113641479121240S22148072326326121193440S2375133196881041492555S2414197525410116107100387188УченыйЦитирование 2013Цитирование 2014Gain, %CI10HCI10HCI10HS254786452716117007S2626369143621185151736S274936153984112343110054S2853341466111110316973S292044727263161410124239S30114461495431201362133Показатели авторитетности имеют цель оценки деятельности учёного сточки зрения признания научным сообществом.
Профессиональная деятельностьученогоимееткакнепосредственнонаучную-педагогическую,такиорганизационно-административную составляющую. Были взяты следующие трипоказателя авторитетности ученого:- Число успешно подготовленных аспирантов (PhD).-Числонаучныхжурналов,вкоторыхонбылглавнымилиассоциированным редактором в любое время или членом ред. коллегии на моментсбора данных (EB).- Число конференций, в которых учёный принимал участие в качествеодного из руководителей оргкомитета или программного комитета.89Таблица 3.4.
Показатели авторитетности PhD – число подготовленныхаспирантов, СО - число конференций, в которых учёный принимал активноеучастие (chair, co-chair, program-chair, keynote-chair, deputy chair, global chair), EB Число научных журналов, в которых он был главным или ассоциированныйредактором в любое время или членом ред. коллегии на момент сбора данных.Столбцы 2-4 – исходные значения, колонки 5-7 приведенные к шкале от 0 до 100УченыйАвторитетностьАвторитетность (норм)PhDCOEBPhDCOEBS128524963S21512422168S338249693122S495810619S51621424278S618612980S7401000S8719662514S91151614642S103036253473S11127516911S12520622614S138758911S1481128143S1531325543S16512213S17342861319S18126616814S1953772710010072S20102512311S219711090S22618842319S2399910122290УченыйАвторитетностьАвторитетность (норм)PhDCOEBPhDCOEBS24173827419S25773696S2630306533914S27252812433631S281629372438100S29132815183639S3071617621443.4.
Агрегированные критерии, соответствующие стратификации и ихсравнениеНиже приведены результаты анализа данных таблиц 3.2, 3.3 и 3.4:1.Были найдены 3 страты по критериям цитирования из таблицы 3.3 спомощью алгоритма ЛинСтрат. Полученные веса критериев на данных за 2014год оказались: 0.5 для I10, 0.5 для числа цитирований (С) и 0 для индекса Хирша(H). Для 2013 года веса получились 0.56 для I10, 0.44 для числа цитирований иснова 0 для индекса Хирша.
Тот факт, что вес индекса Хирша получился равным0, можно считать согласующимся с убедительной критикой этого показателя [83,89, 90, 91].2.Получена стратификации на 3 страты по показателям авторитетностииз таблицы 3.4. В комбинированный критерий число подготовленных аспирантовPhD вошло с весом 0.22, организация конференций CO с весом 0.10 и участие вредакции журналов с весом 0.69.3.Найдена панорамическая стратификация, включающая в себя все трикритерия: цитируемость, авторитетность и таксономический ранг. В полученнойалгоритмом ЛинСтрат стратификации вес таксономического ранга получился 0.8,вес цитирования 0.04 и вес авторитетности 0.16.91В обобщенном виде эти результаты записаны в таблицу 3.5 для полученныхвесов и таблицу 3.6 для значений агрегированных критериев и стратификаций.Таблица 3.5. Веса индивидуальных критериев в комбинированном критериицитирования, авторитетности.
А также веса обобщенных критериев входящий впанорамичесую стратификациюЦитированиеАвторитетностьПанорамический критерийС0.5PhD0.22Таксономический ранг 0.80I100.5CO0.10Цитируемость0.04H0.0EB0.69Авторитетность0.16В таблице 3.6 приведены стратификации и комбинированные критерииученых по различным наборам критериев: цитирования,таксономическогорангаипанорамическогокритерия.авторитетностиТочнее–Ccкомбинированный критерий показателей цитирования, и Ccn – его значения вшкале от 0 до 100. Mc и Mcn – значения комбинированного критерияавторитетности и его значения в шкале от 0 до 100.
Trn – нормированныезначения таксономического ранга, P и Pn – значения панорамического критерия иего нормированные значения в шкале от 0 до 100. Правую часть таблицысоставляют стратификации 3-стратовыестратификацииCs, Ms, Ts дляцитирования, авторитетности и таксономического ранга. И крайний правыйстолбец Ps – стратификация полученная алгоритмом ЛинСтрат по значениям Ccn,Mcn, Trn.Таблица 3.6. Стратификации и комбинированные критерии ученых по различнымнаборам критериев: цитирования, авторитетности и таксономического ранга ипанорамического критерияУченый Cc Ccn Mc Mcn TrnPPnCsMsTsPsS14513177361733311S220271215100841003311S369933341293339122292УченыйCcCcnMcMcnTrnPPnCsMsTsPsS4415516197162742311S51113172926303322S63548798168812311S73142007782333S87913162926313322S9141932402930363222S1043581823711132333S11223012157463753311S12304112157463762311S1371010137462743311S1474100560551333S15364815180552333S1657330103333S17466327333637432222S1816221417810113333S193548811001530352132S200010138893333S211216349578933311S2221291620911133333S23375018238070832311S24699319240781333S2500681223333S26162225318171843211S27658834422127321222S28506877967175892111S292736344219102233S3013183341189323393Длядальнейшегоисследованияполученныхрезультатовпосчитаемкоэффициенты корреляции Пирсона между всеми четырьмя критериями Ccn,Mcn, Trn и Pn.
Для сравнения посчитаем коэффициенты ранговой корреляцииСпирмена между ранжированиями Cs, Ms, Ts и Ps. Результаты представлены втаблице 3.7.Таблица 3.7. Парные коэффициенты корреляции Пирсона между четырьмякритериями Ccn, Mcn, Trn и Pn, а также коэффициенты корреляции Спирменамежду ранжированиями Cs, Ms, Ts и PsКомбинированные критерииСтратификацииTrCcnMcnPn-0.12-0.040.99Ts0.31-0.04Cs0.10MsCcnMcnCsMsPs-0.12-0.020.980.25-0.100.06Как видно из таблицы 3.7, все три аспекта деятельности ученых из нашейвыборки оказались слабо коррелированы, вероятно потому, что три типапоказателей (цитирование, авторитетность и уровень результатов) относятся кразнымаспектамобщегопонятиянаучноговклада.Однако,критериицитирования и авторитетности все же имеют небольшую положительнуюкорреляцию на уровне 0.3, что можно объяснить тем, что оба критерия в какой-томере отражают популярность ученого.
Панорамический критерий оказался сильнокоррелированным с таксономическим рангом. Особенно эта корреляция выраженадля стратификаций. В таблице 7 видно, что панорамическая стратификацияотличается от стратификации по таксономическому рангу все лишь для S19,который находится в страте 3 в одной из них, и в страте 2, в другой.Для примера разберем двух ученых S5 и S19.
Оба попали во вторую страту,однако получилось это совершенно разными способами. Ученый S15 имеетнебольшие значения цитирования и авторитетности, однако попадание во вторуюстрату по таксономическому рангу позволило войти во вторую страту и попанорамическому критерию. S19 напротив по таксономическому рангу попал в 394страту, однако он имеет наибольшее по выборке значение цитирования и большоезначение авторитетности, что компенсировало низкое значение таксономическогоранга и позволило повысить ее значение в стратификации по панорамическомукритерию.Выводы по главе 3В этой главе метод линейной многокритериальной стратификацииприменен к проблеме оценки научного вклада ученого, для агрегированияпоказателей научного вклада ученого по разным аспектам. Рассматриваются триаспекта деятельности ученого.
Первый – это традиционный на основе показателейцитированияипубликационнойактивности.Второй–попоказателямавторитетности, включающих в себя, подготовку научных кадров, участие виздательстве научной литературы и организацию научных мероприятий. И третийподход, - это оригинальный метод оценки уровня научного результатаиспользующий таксономию предметной области, предложенный в [68]. Дляисследования была собрана выборка из 30 известных ученых в области анализаданных и машинного обучения, а также собран материал для расчетаперечисленных выше показателей на исследуемой выборке.
Для агрегациипоказателей внутри каждого аспекта был применен разработанный в диссертацииметод линейной стратификации. Далее, на базе агрегированных таким образомкритериев была получена панорамическая стратификация, охватывающая все триаспекта. Основными эмпирическими результатами применения метода линейноймногокритериальной стратификации для агрегирования показателей в задачеоценки научного вклада ученого можно считать следующие. Первый, приагрегировании показателей цитирования индекс Хирша получил нулевой вес.Второй, таксономический ранг получил большой вес (80%) в панорамическомкритерии, агрегирующем все три аспекта. Третий, все три аспекта оказались некоррелированными, за исключением небольшой положительной корреляции95между цитируемостью и авторитетностью, которая может отражать то, что обакритерия включают популярность ученого.В целом, полученные результаты согласуются с интуицией, хотя, конечно,данный анализ представляет собой не более чем один из первых шагов порешению по настоящему сложной проблемы на стыке субъективного, временногои объективного.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
