Орлов А.И. Менеджмент (2003) (1142166), страница 66
Текст из файла (страница 66)
При этом ЛПР может как добавить в комиссиюотдельных экспертов, так и вычеркнуть некоторых из них - по собственнымсоображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.Существует ряд нормативных документов, регулирующихдеятельность экспертных комиссий в тех или иных областях. Примером являетсяЗакон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995г., в котором регламентируется процедура экспертизы "намечаемойхозяйственной или иной деятельности" с целью выявления возможного вреда,который может нанести рассматриваемая деятельность окружающей природнойсреде.3.4.4. О разработке регламента проведения сбора и анализаэкспертных мненийСуществует масса методов получения экспертных оценок.
В одних скаждым экспертом работают отдельно, он даже не знает, кто еще являетсяэкспертом, а потому высказывает свое мнение независимо от авторитетов,"кланов" и отдельных коллег. В других экспертов собирают вместе дляподготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг сдругом, принимают или отвергают аргументы друг друга, учатся друг у друга, иневерные или недостаточно обоснованные мнения отбрасываются. В однихметодах число экспертов фиксировано и таково, чтобы статистические методыпроверки согласованности мнений и затем (в случае достаточно хорошейсогласованности мнений) их усреднения позволяли принимать обоснованныерешения с точки зрения эконометрики. В других - число экспертов растет впроцессе проведения экспертизы, например, при использовании метода "снежногокома" для формирования команды экспертов.В настоящее время не существует общепринятой научнообоснованной классификации методов экспертных оценок и тем более однозначных рекомендаций по их применению.
Попытка силой утвердить одну извозможных точек зрения может принести лишь вред.Однако для рассказа о многообразии экспертных оценокнеобходима какая-либо рабочая классификация методов. Одну из такихвозможных классификаций мы даем ниже, перечисляя основания, по которым мыделим экспертные оценки.Один из основных вопросов - что именно должна представитьэкспертная комиссия в результате своей работы - информацию для принятиярешения ЛПР или проект самого решения? От ответа на этот методологическийвопрос зависит организация работы экспертной комиссии, и он служит первымоснованием для разбиения методов.ЦЕЛЬ - СБОР ИНФОРМАЦИИ ДЛЯ ЛПР.
Тогда Рабочая группа должнасобрать возможно больше относящейся к делу информации, аргументов "за" и"против" определенных вариантов решений. Полезен следующий методпостепенного увеличения числа экспертов. Сначала первый эксперт приводитсвои соображения по рассматриваемому вопросу. Составленный им материалпередается второму эксперту, который добавляет свои аргументы. Накопленныйматериал поступает к следующему - третьему - эксперту... Процедуразаканчивается, когда иссякает поток новых соображений.Отметим, что эксперты в рассматриваемом методе толькопоставляют информацию, аргументы "за" и "против", но не вырабатываютсогласованного проекта решения. Нет никакой необходимости стремиться к тому,чтобы экспертные мнения были согласованы между собой.
Более того,наибольшую пользу приносят эксперты с мышлением, отклоняющимся отмассового. Именно от них следует ожидать наиболее оригинальных аргументов.ЦЕЛЬ - ПОДГОТОВКА ПРОЕКТА РЕШЕНИЯ ДЛЯ ЛПР. Математическиеметоды в экспертных оценках применяются обычно именно для решения задач,связанных с подготовкой проекта решения.
При этом зачастую некритическипринимают догмы согласованности и одномерности. Эти догмы "кочуют" изодной публикации в другую, поэтому целесообразно их обсудить.ДОГМА СОГЛАСОВАННОСТИ. Часто без всяких оснований считается,что решение может быть принято лишь на основе согласованных мненийэкспертов. Поэтому исключают из экспертной группы тех, чье мнение отличаетсяот мнения большинства. При этом отсеиваются как неквалифицированные лица,попавшие в состав экспертной комиссии по недоразумению или посоображениям, не имеющим отношения к их профессиональному уровню, так инаиболее оригинальные мыслители, глубже проникшие в проблему, чембольшинство. Следовало бы выяснить их аргументы, предоставить имвозможность для обоснования их точек зрения.
Вместо этого их мнениемпренебрегают.Бывает и так, что эксперты делятся на две или более групп, имеющихединые групповые точки зрения. Так, известен пример деления специалистов приоценке результатов научно-исследовательских работ на две группы: "теоретиков",явно предпочитающих НИР, в которых получены теоретические результаты, и"практиков",выбирающихтеНИР,которыепозволяютполучатьнепосредственные прикладные результаты (речь идет о конкурсе НИР вакадемическом Институте проблем управления (автоматики и телемеханики)).Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертовопрос не достиг цели. Это не так! Цель достигнута - установлено, что единогомнения нет. Это весьма важно. И ЛПР при принятии решений должен этоучитывать.
Стремление обеспечить согласованность мнений экспертов любойцелой может приводить к сознательному одностороннему подбору экспертов,игнорированию всех точек зрения, кроме одной, наиболее "полюбившейся"Рабочей группе (или даже "подсказанной" ЛПР).Часто не учитывают еще одного чисто эконометрическогообстоятельства. Поскольку число экспертов обычно не превышает 20-30, тоформальная статистическая согласованность мнений экспертов (установленная спомощью тех или иных критериев проверки статистических гипотез) можетсочетаться с реально имеющимся разделением экспертов на группы, что делаетдальнейшие расчеты не имеющими отношения к действительности. Для примераобратимся к конкретным методам расчетов с помощью коэффициентовконкордации на основе коэффициентов ранговой корреляции Кендалла илиСпирмена.
Необходимо напомнить, что согласно эконометрической теорииположительный результат проверки согласованности таким способом означает нибольше, ни меньше, как отклонение гипотезы о независимости и равномернойраспределенности мнений экспертов на множестве всех ранжировок. Такимобразом, проверяется нулевая гипотеза, согласно которой ранжировки,описывающие мнения экспертов, являются независимыми случайнымибинарными отношениями, равномерно распределенными на множестве всехранжировок.
Отклонение этой нулевой гипотезы толкуется как согласованностьответов экспертов. Другими словами, мы падаем жертвой заблуждений,вытекающих из своеобразного толкования слов: проверка согласованности вуказанном математико-статистическом смысле вовсе не является проверкойсогласованности в смысле практики экспертных оценок. (Именно ущербностьрассматриваемых математико-статистических методов анализа ранжировокпривела группу специалистов к разработке нового эконометрического аппаратадля проверки согласованности - непараметрических методов, основанных на т.н.люсианах и входящих в современный раздел эконометрики - статистикунечисловых данных).
Группы экспертов с близкими методами можно выделитьэконометрическими методами кластер-анализа.МНЕНИЯДИССИДЕНТОВ. Сцельюискусственно добитьсясогласованности стараются уменьшить влияние мнений экспертов-диссидентов,т.е. инакомыслящих по сравнению с большинством. Жесткий способ борьбы сдиссидентами состоит в игнорировании их мнений, т.е.
фактически в ихисключении из состава экспертной комиссии. Отбраковка экспертов, как иотбраковка резко выделяющихся результатов наблюдений (выбросов), приводит кпроцедурам, имеющим плохие или неизвестные статистические свойства. Так,известна крайняя неустойчивость классических методов отбраковки выбросов поотношению к отклонениям от предпосылок модели.
Мягкий способ борьбы сдиссидентами состоит в применении робастных (устойчивых) статистическихпроцедур. Простейший пример: если ответ эксперта - действительное число, торезко выделяющееся мнение диссидента сильно влияет на среднееарифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно вкачестве согласованного мнения рассматривать медиану. Однако при этомигнорируются (не достигают ЛПР) аргументы диссидентов. В любом из двухспособов борьбы с диссидентами ЛПР лишается информации, идущей отдиссидентов, а потому может принять необоснованное решение, котороевпоследствии приведет к отрицательным последствиям. С другой стороны,представление ЛПР всего набора мнений снимает часть ответственности и трудапо подготовке окончательного решения с комиссии экспертов и рабочей группыпо проведению экспертного опроса и перекладывает эти ответственность и трудна плечи ЛПР.ДОГМА ОДНОМЕРНОСТИ. Распространен довольно примитивныйподход, согласно которому объект экспертизы всегда можно оценить однимчислом.
Странная идея! Оценивать человека одним числом приходило в головулишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристырассматривают книгу или картину как эквивалент числа - ее "рыночнойстоимости".Вместе с тем нельзя полностью отрицать саму идею поиска обобщенныхпоказателей качества, технического уровня и аналогичных.
Так, каждый объектможно оценивать по многим показателям качества. Например, легковойавтомобиль можно оценивать по таким показателям: расход бензина на 100 кмпути (в среднем); надежность (средняя стоимость ремонта за год); экологическаябезопасность, оцениваемая по содержанию вредных веществ в выхлопных газах;маневренность; быстрота набора скорости 100 км/час после начала движения;максимальная достигаемая скорость; длительность сохранения в салонеположительной температуры при низкой наружной температуре (-50 градусов поЦельсию) и выключенном двигателе; дизайн (привлекательность и "модность"внешнего вида и отделки салона); вес, и т.д.
Можно ли свести оценки по этимпоказателям вместе? Определяющей является конкретная ситуация, для которойвыбирается автомашина. Максимально достигаемая скорость важна для гонщика,но, как нам представляется, не имеет большого практического значения дляводителя рядовой частной машины, особенно в городе с суровым ограничениемна максимальную скорость. Для такого водителя важнее расход бензина,маневренность и надежность. Для машин различных государственных служб,видимо, надежность важнее, чем для частника, а расход бензина - наоборот. Длярайонов Крайнего Севера важна теплоизоляция салона, а для южных районов нет. И т.д. Таким образом, важна конкретная (узкая) постановка задачи передэкспертами.
Но такой постановки зачастую нет. А тогда "игры" по разработкеобобщенного показателя качества - например, в виде линейной функции отперечисленных переменных не могут дать объективных выводов.Альтернативойединственномуобобщенномупоказателюявляетсяматематический аппарат типа многокритериальной оптимизации - множестваПарето и т.д.В некоторых случаях все-таки можно глобально сравнить объекты например, с помощью тех же экспертов получить упорядочение рассматриваемыхобъектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты приотдельных показателях так, чтобы упорядочение с помощью линейной функциивозможно точнее соответствовало глобальному упорядочению (например, найтиэти коэффициенты методом наименьших квадратов).
Наоборот, в подобныхслучаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощьюэкспертов. Эта простая идея до сих пор не стала очевидной для отдельныхсоставителей методик по проведению экспертных опросов и анализу ихрезультатов. Они упорно стараются заставить экспертов делать то, что онивыполнить не в состоянии - указывать веса, с которыми отдельные показателикачества должны входить в итоговый обобщенный показатель.
Эксперты обычномогут сравнить объекты или проекты в целом, но не могут вычленить вкладотдельных факторов. Раз организаторы опроса спрашивают, экспертыотвечают, но эти ответы не несут в себе надежной информации о реальности...ВТОРОЕОСНОВАНИЕКЛАССИФИКАЦИИЭКСПЕРТНЫХПРОЦЕДУР - ЧИСЛО ТУРОВ. Экспертизы могут включать один тур, некотороефиксированное число туров (два, три,…) или неопределенное число туров. Чембольше туров, тем более тщательным является анализ ситуации, посколькуэксперты при этом обычно много раз возвращаются к рассмотрению предметаэкспертизы. Но одновременно увеличивается общее время на экспертизу ивозрастает ее стоимость.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
