Диссертация (1137055), страница 13
Текст из файла (страница 13)
Таким образом, среди всех уровнейтаксономической иерархии для вычисления таксономического ранга в первуюочередь должны учитываться более высокие уровни. В случае когда результатыотображаются только на один таксон ранг ученого определяется значениемуровня таксономии на котором расположен этот таксон. То есть, если результатыбыли отображены на A.1.2 и рассмотренного примера на рисунке 3.1, рангученого будет равен 3. В случае, если результаты ученого отображаются на дваили более таксонов, значение ранга должно быть уменьшено (т.к.
чем вышеуровень результатов, тем ниже ранг) на число, пропорциональное числу работ наэтомуровнетаксономии,умноженномунанекоторыйкоэффициент,соответствующий данному уровню. Естественно считать, что вклад следующего,более низкого, уровня должен быть меньше на порядок, таким образомкоэффициент для наивысшего уровня можно взять порядка 0.1, для следующего0.01 и так далее.
Поясним на примере. Допустим, результаты некоторого ученогосущественно затрагивают 4 таксона уровня 4 и три таксона уровня 3. Тогдабазовый ранг будет равен 3; при этом 3 работы на уровне три уменьшат значениеранга на 3*0.1=0.3 и 4 работы на 4 уровне еще уменьшат его на 4*0.01.
Врезультате получим окончательное значение ранга 3–0.3–0.04=2.66. Чтобысформулировать общую формулу оценки таксономического ранга, введемобозначения: = (1 , 2 , … , ), – множество рангов узлов таксономии, на которыеотображены результаты ученого, где 1 < 2 < … < , = (ℎ1 , ℎ2 , … , ℎ ) –80вектор, комоненты которого характеризуют количество работ, соответствующихэтим рангам.. Тогда таксономический ранг определяется как: = 1 − ∑(0.1) ∗ ℎ(21)=1Такой метод вычисления таксономического ранга ученого имеет ряднедостатков, три из которых являются наиболее существенными:1.Методнеавтоматизирован.Отображениеработученыхнатаксономию производится вручную, поэтому результат зависит от экспертов,делающих отображение; зависит от их понимания предметной области иотображаемых результатов.2.Таксономииневсегдарегулярнообновляются,такчтопринципиально новые результаты могут быть неверно отображены простопотому, что для них еще нет правильного элемента в таксономии.
Приотображении ученых из выборки, рассматриваемой в этой работе, такая ситуациявозникала довольно часто. В таких случаях в таксономию добавлялись новыеузлы.3.В отличие от биологии, таксономия предметной области той или инойнауки, особенно активно развивающейся, сама по себе является предметомдискуссии. К тому же некоторые понятия могут как возникать, так и исчезать изпредметной области в течении нескольких лет. Это особенно характерно длятакой динамично развивающейся области как компьютерные науки, на которуюсильное влияние оказывает быстрый прогресс в развитии технологий. Например,если сравнить текущую таксономию Ассоциации вычислительной техники ACMComputing Classification System 2012 [85] и ее предыдущую версию ACMClassification of Computing Systems 1998 [86], можно заметить колоссальнуюразницу как в множестве понятий, так и в их взаимном расположении.
Таким81образом уровень результатов будет меняться вместе со структурой таксономии,особенно если рассматриваемая предметная область не достаточно хорошоструктурирована и не стабильна.3.3. Разработка тестовой базы для оценки таксономического ранга ученогоДля того, чтобы построить таксономические ранги ученых на исследуемойвыборке, необходимо рассмотреть те публикации ученых, в которых былиполучены основные результаты, и отобразить эти результаты на таксономиюпредметной области. Таким образом, необходимо:1.Зафиксировать предметную область.2.Найти или сформировать подходящую таксономию.3.Провести выборку ученых.4.Для каждого ученого из выборки отобразить основные результаты натаксономию предметной области.5.Вычислить таксономический ранг.Опишем перечисленные шаги в разрезе проведенной нами работы.3.3.1.
Таксономия разделов, связанных с анализом данных и машиннымобучениемДля эмпирической оценки была выбрана область анализа данных, обычновключающий в себя майнинг данных (data mining) и машинное обучение.Первоначально предполагалось, что в качестве таксономии этой области можновзять классификации, предложенные в учебниках [46, 87, 88], однако этиклассификации оказались существенно неполны, так что не получалосьотобразить многие современные результаты исследований в рамках этихклассификаций.
В этом плане значительно более адекватной оказаласьклассификация компьютерных наук ACM CCS 2012, разрабатываемая иподдерживаемая коллективом специалистов. Эта классификация наиболее полно82покрывает результаты исследований ученых из исследуемой выборки. В таблице3.1 приведены верхние уровни таксономии, релевантные области анализа данныхи машинного обучения.Таблица 3.1.
Верхние уровни таксономии анализа данных согласно ACM CCS2012ИндексНазвание предмета1.Theory of computation1.1.Theory and algorithms for application domains2.Mathematics of computing2.1.Probability and Statistics3.Information Systems3.1.Data management systems3.2.Information systems applications3.3.World Wide Web3.4.Informational Retrieval4.Human-centered computing4.1.Visualization5.Computing methodologies5.1.Artificial intelligence5.2.Machine learningБолее детально, включая менее общие понятия, таксономия представлена втаблице 1 приложения, в которой содержатся релевантные разделы таксономииисключая те части таксономии, для которых нет ни одного отображения иливставки в трех и более подряд идущих таксона одного уровня. Для результатов,которые не нашли отображения в таксономии, нами вводились дополнительные«листовые таксоны (в качестве висячих вершин).
В таблице 1 приложения, фактотображения какого-либо результата выделен жирным шрифтом, факт вставкидополнительного таксона звездочкой.833.3.2. Формирование выборки ученых и вычисление их таксономическихранговПри выборе специалистов по анализу данных использовался сайт GoogleScholar, поскольку на нем можно получить необходимую информацию как обосновных публикациях, так и показателях цитируемости. Выборка строиласьтаким образом, чтобы примерно учесть вклад отдельных стран. Большую частьсоставляют ученые из Соединенных Штатов Америки, оставшуюся часть выборкисоставляют ученые из Австралии, Европейского союза, Канады, России,Соединенного Королевства и др.
Изначально предполагалось, отобрать 15-20ученых из США и примерно столько же из других стран. Однако в ходе сбораматериалавозникалитаксономическогорангатрудности,посколькунеобходимыбылипомимоцитированияданныепоипоказателямавторитетности, таким как организация конференций, подготовка аспирантов идр. Эта информация обычно содержится в резюме, но далеко не для всех удалосьнайти резюме в открытом доступе. С теми для кого не удалось найти резюме,была предпринята попытка связаться по электронной почте и получить данныелично, но к сожалению, не все ответили на наши запросы. В конечном итогеудалось собрать выборку из 30 ученых, по которым в полном объеме былиданные и по цитированию, и по показателям авторитетности. Хотя все данныебыли собраны из открытых источников имена ученых анонимизированы иобозначены S1 – S30.
Список имен специалистов, задействованных в выборке,может быть предоставлен по запросу.Процесс отображения результатов был построен следующим образом:1.Из множества работ выделялись те, в которых был приведеннекоторый новый результат, например, алгоритм или модель.2.Для каждого из отобранных результатов находился наиболеерелевантный узел таксономии или добавлялся новый лист в наиболеерелевантную ветвь.843.Определялось (вручную), насколько существенным является вкладданного результата в область, соответствующую узлу. Если вклад признавалсянесущественным, отображение считалось не состоявшимся.4.Определялся и записывался уровень узла, на который результат былотображен.Результат отображения ученых из нашей выборки на таксономиюпредставлен в таблице 3.2.
В таблице также отдельно представлены уровни слоевтаксономии, затрагиваемых отображенными результатами, и выведенный из нихтаксономический ранг, а также результат его перевода в шкалу от 0 до 100.Нормировка сделана таким образом, что наивысший ранг в выборке 3.5соответствует нормированному значению 100, а самый нижний ранг 4.9соответствуетнормированномузначению0.Посколькувсемножестворезультатов затрагивает три слоя таксономии – 4, 5, 6, число страт былоопределено как равное трем.Таблица 3.2. Отображение результатов на таксономию и уровни таксонов, накоторые было сделано отображение.
ТР - таксономический ранг, ТРН –таксономический ранг, приведенный к шкале от 0 до 100. Страты полученыприменением к таксономическом рангу метода к-среднихУченый ОтображениеУровниТРТРНСтратаS14.1.2.7, 5.2.1.2.7, 5.2.3.7.84,5,53,887312.1.1.2, 2.1.1.2, 5.2.2.7,S24,4,4,4,43,510015.2.3.5, 5.2.3.53.2.1.4.2, 5.2.1.2.3,S35.2.1.2.7, 5.2.3.5.4,5,5,5,5,54,52925.2.3.7.81.1.1.4.3, 3.4.4.5, 5.2.1.1.1,S45.2.1.2.7, 5.2.3.2.1,5,4,5,5,5,53,97115.2.3.7.93.2.1.4.4, 3.2.1.4.4,S53.2.1.4.5, 3.2.1.4.6,5,5,5,5,54,52923.2.1.11.13.1.1.5.2, 3.1.2.1.1,S65,5,5,4,43,778113.1.2.1.1, 3.2.1.6, 3.2.1.7S75.2.3.5.6, 5.2.3.5.75,54,87385Ученый Отображение3.2.1.3.1, 3.2.1.4.1,S85.1.3.2.1, 5.1.3.2.4,5.2.3.3.15.2.1.2.3, 5.2.3.3.2,S95.2.3.5.1, 5.2.3.5.4,5.2.3.6.2S105.2.3.3.2, 5.2.3.13.13.2.1.2, 3.2.1.2.1, 3.2.1.3.3,S113.2.1.4.1, 3.2.1.7.23.2.1.9.1.1, 3.2.1.10,S123.2.1.11.2, 5.1.1.7.1,5.2.3.1.3, 5.2.3.4.11.1.1.3, 5.2.1.2.1, 5.2.1.2.1,S135.2.2.7.1, 5.2.3.7.1S143.2.1.3.1S155.2.4.3.1S165.2.4.2.35.2.4.3.1, 5.2.3.7.6.,5.2.1.2.4., 2.1.3.7.1,S175.2.3.2.4, 5.2.3.7.3.2,5.2.3.5.4., 5.2.4.3.13.2.1.9.1, 3.2.1.9.2,S185.2.3.3.3.13.2.1.7.5,3 .2.1.9.3,S195.2.3.2.1.1, 5.2.4.5.13.2.1.4.3, 5.2.3.7.9,S205.2.3.7.10.11.1.1.6, 2.1.1.2, 2.1.1.8.3,S213.2.1.6, 3.4.1.6, 5.1.2.4,5.2.1.1.33.2.1.2.2, 5.2.1.2.7.1,S225.2.3.1.2, 5.2.3.6.2.1S233.2.1.3, 3.2.1.3.1, 3.4.4.1,S242.1.5.3.1S255.2.3.3.3.2, 5.2.3.8.13.2.1.11.1, 3.2.1.11.1,S263.3.1.6, 5.2.2.7, 5.2.3.5.63.2.1.3.2, 3.2.1.4.1,S275.2.1.2.1, 5.2.3.1.1S283.2.1.8УровниТРТРНСтрата5,5,5,5,54,52925,5,5,5,54,52925,54,8734,5,5,5,53,867416,4,5,5,5,53,867414,5,5,5,53,867415554,94,94,90003335,5,5,5,6,5,54,393625,5,64,79835,5,6,54,691535,5,64,79834,4,5,4,4,4,53,579515,6,5,64,78934,5,4,555,63,784,94,8980011335,5,4,4,53,778115,5,5,54,621243,971186Ученый Отображение5.2.3.3.2.1, 5.2.3.3.3.3,S295.2.3.3.45.1.3.2.1.1, 5.2.1.2.7.2,S305.2.3.3.5УровниТРТРНСтрата6,6,54,88136,6,54,88133.3.3.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
