Диссертация (1137055), страница 12
Текст из файла (страница 12)
Для того, чтобы сравнить исоотнести все три подхода, используется выборка 30 ученых, специалистов вобласти анализа данных и машинного обучения из разных стран, для которыхудалось собрать необходимую информацию. В качестве таксономии предметнойобласти используется соответствующая часть многоуровневой классификациикомпьютерных наук, разработанной всемирной Ассоциацией вычислительныхмашин в 2012 г. несколько модифицированная нами, чтобы точнее отобразитьрезультаты, полученные учеными из выборки. Исследуемый метод позволяетполучить агрегированные критерии по всем трем аспектам.
Полученные агрегатыдают возможность оценить соотношение между тремя компонентами.753.1. Обзор подходов к оценке научного вклада ученыхПроблем измерения научного вклада притягивает внимание научнойобщественности [68, 69, 70] и вызывает бурную дискуссию [71, 72], посколькуизмерители научного вклада широко используются в задачах управленияисследованиями [76], при принятии управленческих решений в науке, а также длясравнения и оценки деятельности научных сотрудников, исследовательскихцентров и учебных заведений. Индексы цитирования и их производные, такие какиндекс Хирша, вычисляются различными организациями включая изобретателяиндекса Хирша компанию Thomson Reuters [74], и Google. Эти индексы широкоиспользуются при оценке и управлении в науке [75, 76], несмотря намногочисленную критику из-за присущего этому подходу излишнего упрощения[77]. Помимо непосредственно метрик, отражающих соотношения количествацитирований и публикаций, был предложен ряд характеристик на базе графацитирования вычисляющие «важность» узла соответствующего ученому в [78]или, например, метрика отражающая влияние, которое оказали работы ученого на«ключевых ученых» в рассматриваемой области [79].
Также были предложеныспособы оценки и вовсе отвергающие библиометрические показатели [80].Другая, более практическая система оценки качества исследований, такаякак UK Research Assessment Exercise [81, 82] (в настоящее время переименованаResearch Excellence Framework) стремится брать в рассмотрение только наиболеезначительные достижения и результаты. Оценка производится на основе ихрецензирования специальной комиссией, составленной из специалистов в даннойобласти. Такой способ оценки, однако, тоже имеет свои недостатки. Основнаякритика подхода субъективной оценки заключается в том, что:- экспертные оценки показывают низкую степень согласованности [80], причемна оценку эксперта влияет то, в каком журнале был опубликован результат;-системаэкспертнойоценкиимеетсклонностьнаходящиеся вне господствующей тенденции [81].отвергатьрезультаты,76Инициатива, выдвинутая группой влиятельныхученых, называемаяДекларацией Оценки Исследований (DORA) [83], предлагает не рассматриватьбиблиометрию как единственное средство оценки и перейти от использованиятолько лишь публикаций к всесторонней оценке деятельности ученого.
В такомслучае публикации являются лишь одной стороной и необходимо принимать врасчет другие «продукты» деятельности ученого.Подход, рассматриваемый в этой главе, выходит за рамки оценки научноговклада лишь с точки зрения публикационных показателей и рассматриваетдеятельность ученого с разных сторон, по типу продукта его деятельности. Спрактической точки зрения можно выделить пять типов продуктов деятельностиученого:1.Производство нового научного результата, отраженного в статьях имонографиях.2.Участие в организации научных мероприятий и издательстве научнойлитературы.3.Передача знаний и подготовка научных кадров, например, кандидатови докторов наук.4.Инновационнаядеятельностьвыраженнаявзапатентованныхизобретениях, новых технологиях, программном обеспечении и др.5.Взаимодействие с обществом и государством, популяризация науки.В идеале необходимо учитывать все вышеописанные аспекты. Однако,последний из них представляется сложным формализовать ивыразитьколичественно.
Также в ходе сбора данных не удалось собрать информацию по 4му пункту, поскольку не многие ученые из рассматриваемой выборки имеют илиуказывают в резюме патенты. Это, вероятно, вызвано тем, что выборкаограничена учеными, ведущими свои исследования в университетах. А вакадемической среде не предъявляется такое жесткое требование к практическойприменимости исследований, как в промышленности.Естественно ожидать, что критерии, измеряющие уровень научныхрезультатов по разным аспектам, не будут сонаправленными, так что для77построения интегрального критерия необходимо применить тот или иной методагрегирования. Так, например, в [39], был предложен метод построенияагрегированного рейтинга научного работника на основе процедуры пороговогоагрегирования, однако используемое множество критериев в этой работеограничено лишь аспектом цитируемости.
В диссертационной работе дляагрегирования измерителей уровня научного результата используется методмногокритериальной линейной стратификации ЛинСтрат. ЛинСтрат, во-первых,позволит агрегировать различные показатели внутри каждого аспекта, чтобысоотнести их между собой, кроме того агрегировать интегральные показатели поаспектамипостроитьрассматриваемыеаспекты.панорамическийВо-вторыхкритерий,линейнаяохватывающийстратификациявсепозволитвычислить веса критериев как внутри аспектов так и в между ними впанорамическом критерии. В-третьих, оказывается возможным построитьразбиение на страты и соотнести их с уровнями результатов на основетаксономического ранга. Так как число уровней в таксономии конечно,ожидается, что ранг, полученный при стратификации, будет отражать уровеньрезультата внутри таксономической структуры предметной области.3.2.
Таксономический ранг ученогоПонятие таксономического ранга не является новым. Например, онопопулярно в биологии. В словаре [84] приводится такое определение:«Tаксономический ранг – уровень, который занимает организм внутрииерархически организованной системы живых организмов». Например, доменэукариотов (ранг 1) и содержит царство животных (ранг 2). Последние содержаттип хордовых (ранг 3), которые содержат класс млекопитающих (ранг 4), которыесодержат семейство приматов (ранг 5), которые содержат семейство гоминид(ранг 6), которые содержат род людей (ранг 7) и которые, наконец, содержат видчеловек разумный (ранг 8).78В соответствии с [68] таксономический ранг ученого определяется схожимобразом. Релевантная область науки должна быть структурирована в видеиерархической таксономии понятий, например, как на рисунке 3.1.
Таким образомранг ученого определяется рангами понятий, которые возникли или былисущественно преобразованы благодаря этому ученому. Допустим, если некотораяпредметная область организована как изображено на рисунке 3.1, и работыученогосерьезноповлиялинатаксонотмеченныйA.1.2,тогдаеготаксономический ранг будет равен 3. Заметим, что чем меньше значение уровнятаксономии тем более весомый вклад внес ученый и тем «выше» его ранг.DomainRank 1ARank 2Rank 3A.1.1.1BA.1A.1.1A.1.1.2A.2A.1.2A.1.1.3A.1.2.1B.1A.2.1A.1.2.2Рисунок 3.1. Иллюстрация таксономии предметной областиНа практике, при определении таксономического ранга ученого, болееудобно отображать на таксономию его отдельные работы, чем общие достижения.В самом деле, общий результат деятельности ученого во многих случаяхдовольно сложно сформулировать, в то время как в каждой отдельной работеобычно четко сформулирован полученный результат, который не так сложно79отобразить на один или даже несколько таксонов.
Помимо того, что одинрезультат может быть отображен сразу на несколько таксонов, могут быть взятысразу несколько работ ученого. Поэтому встает вопрос, какой ранг присвоитьученому, если совокупность полученных им результатов отображаются нанесколько таксонов, возможно различного уровня?Кажется вполне естественным, что вклад в итоговый таксономический рангрезультатов на более низких слоях таксономии должен быть на порядок меньшечем на более высоких уровнях.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
