Диссертация (1169122), страница 11
Текст из файла (страница 11)
Ключевые параметры по отбору экспертов. Основные критерии к статусуэксперта.2. Проведение анализа характеристики компетентности экспертов.3. Ключевые методы по отбору экспертов.Среди экспертов могут быть представлены представители различныхструктур, обладающих разным статусом. Данные параметры зависят от целей позначимости получения экспертной информации.Первый этап — это определение статуса эксперта:1.Представителинесколькихуровнейвласти(федеральный,региональный, местный).2.Представители общественных организаций, обладающих менееобобщенными знаниями по проблеме. Специалисты, занимающиесяпрофессионально сформированной проблемой, от них подчеркиваетсяважность полученной информации, в силу ее легитимности иактуальности.Высшие уровни экспертизы (политическая элита/ высший уровень экспертов).1.Специалисты, топ-менеджеры, профессионалы отрасли.2.Уровеньузкихспециалистов,практиков,которыеобладаютнеобходимыми знаниями по конкретной проблеме.Ключевые принципы по проведению экспертиз:Перед тем, как начать отбор и формирование группы экспертов, следуетсформировать видение о том, какая информация необходима для получения.1.Принцип участия экспертов на добровольной основе: для участия экспертав исследовании необходимо получить его согласие на это при том условии, чтополученная информация не будет считаться конфиденциальной [88].2.Принцип ответственности эксперта за предоставляемую информацию:эксперты несут всецелую ответственность за предоставляемую информацию.933.Принцип вознаграждения: работу экспертов необходимо вознаграждать (врасчете стоимости рабочего дня эксперта).Методы отбора экспертов.Выбираемые методы зависят как от свойств информации, так и от глобальностиэкспертной проблемы (в масштабах какого объекта рассмотрения решаетсяпроблема).
Уровнем проблемы может быть, как уровень конкретногопредприятия, отраслевой, так и региональный/муниципальный, может бытьпринят государственный, мировой уровень.Группы методов:1. Методы отбора экспертов для отдельных объектов:1.1. Метод назначения. Является одним из самых используемых методов длялокальных объектов. Суть его состоит в том, что издается приказруководителя об участии подчиненных сотрудников, который в той илииной мере влечет нарушение добровольности участия в командеэкспертов. Безусловно при этом затраты на подбор экспертов минимальны.В такую группу попадают, как правило, лица, лояльные администрации,поэтому результирующая экспертная оценка может совпадать с частныммнением руководителя, что в целом негативно может сказаться наитоговом показателе.
В группу попадают специалисты, обладающие в тойили иной мере повышенной социальной активностью, но при этом необязательно компетентные. Может произойти сдвиг мнений экспертнойгруппы в сторону позиции специалистов, не склонных к конфликтам и коткрытым выступлениям против мнения администрации [57,104,65].Минимальное количество недостатков:1. Подключение при составлении экспертной группы расширенного состава помимо топ-менеджера также и руководителей подразделений (наличиеколлегиальности в принятии решений).942. Существуетвозможностьдлясотрудников-экспертовоговариватьсруководством свое дальнейшее участие в реализации принятых решений(личная заинтересованность экспертов в работе).1.2.
Социометрический метод. Потенциальная возможность принять участие вэкспертизе всех работников в соответствии с социометрическимкритерием отбора, связанным с проблематикой экспертизы. В качественедостатка следует отметить вероятное нарастание напряженности вколлективе.2. Методы отбора экспертов для масштабных объектов:2.1. Метод «снежного кома». Специально формируемая рабочая группасовместно с заказчиком создает исходный список экспертов. Отобранныеэксперты должны быть весьма компетентны в рассматриваемой проблеме,и они назначают далее из круга знакомых специалистов того же или болеевысокого уровня компетентности.
Прекращается подобное итерационноесоставление списков тогда, когда информация о новых возможныхэкспертах перестает порождаться.2.2. Метод квотного выравнивания. Равное представительство в группахэкспертов. Размер группы при использовании данного метода зависит, вопервых, от характера и объема сфер знания, которые должны бытьпредставлены, во-вторых, от допустимого бюджета.Специфика групп по методам:1.
Какправило,формируютсягруппысосложившимисявзаимоотношениями, и, следовательно, весьма высоким взаимовлиянием.2. При отсутствии устойчивых межличностных отношений, не образуетсяэффекта давления авторитетов.95Оценка уровня компетентности эксперта.Компетентность– способность эксперта давать информацию, близкую кистинной.Классификация критериев компетентности:1.
Академик Азгальдов выделяет:− объективность;− контактность;− заинтересованность в экспертизе;2. Гурвич представляет за основное:− креативность;− эвристичность.3. У Панковой мы находим:− информативность;− устойчивость мнений;− владение семантическим полем проблемы (как минимум владениепрофессиональной лексикой);− квалиметрическаяилиизмерительнаякомпетентность(способность и возможность эксперта работать в заданном режимеизмерения, взаимодействовать с другими участниками группы ит.п.);4. Орлов дает следующие подгруппы и показатели [68]:а) Объективныепоказатели,характеризующиевцеломопытпрофессиональной деятельности:− общий уровень полученного образования;− рабочее поле деятельности (связано с рассматриваемой предметнойобластью);− стаж работы по направлению деятельности;96− количество и качество экспертиз в которых эксперт принималучастие (особенно - ранее оправдавшиеся прогнозы).б) Уровень информированности экспертов:− владение информацией по проблеме;− устойчивость мнений по экспертной задаче;− профессиональная беспристрастность эксперта.в) Умение эксперта взаимодействовать в команде:− коммуникабельность;− способность к совместному принятию решений;− нонконформизм.Общие требования к самой оценке – эта процедура не должна проводитьсянавязчиво и быть слишком явной, следует соблюдать правило использованиянаимение болезненных методов оценки.Методы оценки компетентности экспертов:1) Группа априорных методов, при которых оценка проводится еще до началасамой экспертной деятельности.а) Документальный метод.
Проводится оценка уровня компетентности страдиционным кадровым подходом, по вторичным источникам [7]:− листок по учету кадров;− наличие, объем публикаций;− индекс цитирования;− присутствие в справочниках профессиональных сообществ;− рейтинги и упоминание в топ-листах профессиональных журналов;− участие в конкурсах и результаты, итоги конкурсов и т.п.б) Метод самооценки.
По представлению Паниотто, Азгальдова этот методвесьма эффективен, т.к. специалист, достаточно уверенный в своихзнаниях, в большинстве случаев имеет и высокий уровень самооценки.Орлов, Гурвич, Панкова также отмечают, что самооценка зависит97субъективно от текущего профессионального состояния опрашиваемого,от его деятельности в настоящий момент. Примерами опроса такого родамогут служить [75]:− насколько вы информированы (в том или ином вопросе);− конкретные вопросы типа: не смогли бы вы проранжировать..в) Судейский метод. Взаимная оценка опрашиваемыми экспертами уровнякомпетентности друг друга (подходит при условии того, что экспертовимеют представление о работах друг друга). Для проведения этого методазадаются критерии компетентности, их нормативные значения, илиформируется группа самых компетентных экспертов, которые совместнооценивают других.2) Апостериорные. Во время экспертной деятельности.Тестовый метод.
При этом методе возможно провести оценку степенисоответствия знаний эксперта истинным. Может использоваться на первом этапе,также может маскироваться под одно из экспертных заданий. Считается весьманадежнымметодом,т.к.известнодействительноправильноерешение[35,131,63].Обычно тестируется два критерия:Уровень владения профессиональной лексикой;Уровень информативности по рассматриваемой проблеме (например, первыйпредоставленный эксперту вопрос не является на самом деле экспертнойпроблемой, а как раз служит для оценки компетентности). Таким образомранжируем список экспертов по весу компетентности. После проведенногоисследования этот список может понадобится для того, чтобы отобрать мнениянаиболее компетентных экспертов.
В итоге будут получены два списка:− список незаменимых экспертов (включение данных экспертов ванализ проблемы при любых условиях);98− заменяемый список, используемый для подстраховки (допустимаболее жесткая договоренность с экспертами, может быть предложеноменьшее вознаграждение). Для достижения договоренности в любомслучае требуется специалист.Этап формирования рабочей экспертной группы. Необходим при наличииколлективной работы экспертов.Подготовка экспертов к работе:1) Адаптация экспертов по содержанию – все задействуемые эксперты должныодинаково (не ниже определенного уровня) владеть лексикой, знаниемпроблемы (выявляется в письменной форме при дистанционном знакомствеили в процессе личного знакомства).
Общее ознакомление с проблемой, покоторой будет проводиться экспертиза (может выдаваться список вопросов,намеченных для обсуждения, таким образом налаживается обратная связь:насколько всем понятны вопросы, необходимо ли получение дополнительнойинформации, - и, следовательно, проведение коррекции методическихдокументов).2) Квалиметрическая адаптация – все эксперты должны получить информацию отом, какой метод сбора и анализа информации будет использоваться.3) Психологическая адаптация (используется только в случае групповых формэкспертной деятельности). Как правило, может совмещаться с процессомзнакомства в группе:− проводится выявление напряженных оппозиций;− может быть обнаружено давление авторитетов;− выявление наличия узких групповых интересов.На основе разработанной выше методики была сформирована группа издевяти экспертов, отбор которых происходил следующим образом:Начало опроса экспертов:991) Укажите свою сферу деятельности из предложенных групп (нужнуюгруппу подчеркнуть/ либо добавить свой вариант):− государственный менеджер;− частный сектор;− исследователь/научный сотрудник;− реализатор проектов2) Укажите свой опыт работы по данному направлению (транспортнаяинфраструктура− от 2 лет до 5 лет;− от 5 лет до 10 лет;− от 10 лет до 15 лет;− более 15 лет.Обработка экспертной информацииОсобенности обработки экспертной информации:1.
Не стоит пренебрегать мнениями экспертов, даже принципиальноотличающимися от основного тренда.2. При очень сложной (многофакторной) и немногочисленной выборкемогут быть некорректны определенные статистические показатели –корреляционные связи, показатели вариации и т.д.3. Во многих случаях (ранговые, качественные шкалы и т.д.) некорректнопроведение усреднения результатов.Как правило проводят три этапа обработки экспертной информации:1. Этап проверки непротиворечивости по всему полю рассматриваемыхфакторовиндивидуальныхмненийэкспертов.Внутренняяпротиворечивость задается в основном низким уровнем компетентности,халатным отношения эксперта к исследованию. В любом случаерекомендуется заново обратиться к тому же эксперту или в последствииделать выводы об участии его в экспертизе.1002.
Этап определения согласованности между собой мнений экспертов.3. Этап агрегирования мнений экспертов – аккумулирование всехполученных суждений и выстраивание объединенного единого мненияэкспертов.Если на втором этапе присутствует общая (допустимая) согласованность,то производится агрегирование. Если в наличии согласованность только поотдельным группам, то работа по третьему этапу не совершается [95].Типы ошибок (Орлов):1. Исследовательская группа поддается мнению заказчика, который врезультате все равно принимает свое решение [91].2. Если в результате анализа получено несогласованное мнение группыэкспертов, то не следует пытаться его согласовать (см. пункт 3.).3. Отброс неудобных диссидентских позиций – крайних выбросов,одиночных мнений.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
