Орлов А.И. Менеджмент (2003) (1142166), страница 64
Текст из файла (страница 64)
Критерии качества регрессионной модели.6. Использование непараметрических оценок плотности длявосстановления зависимости.3.4. ЭКСПЕРТНЫЕ МЕТОДЫВ главе обсуждаются основные вопросы теории и практикиэкспертных оценок, в том числе связанные с типовыми стадиями экспертногоопроса, методами подбора экспертов, разработкой регламентов проведения сбораи анализа экспертных мнений. Рассмотрены основные идеи современной теорииизмерений, метода согласования кластеризованных ранжировок и ряда другихматематических методов анализа экспертных оценок.3.4.1. Зачем менеджеру экспертные оценки?Какова будет реакция потребителей на рекламную компанию? Какизменится социальная, технологическая, экологическая, экономическая,политическая ситуация через десять лет? Будет ли обеспечена экологическаябезопасность промышленных производств или же вокруг будет простиратьсярукотворная пустыня? Достаточно вдуматься в эту постановку вопроса,проанализировать, как десять лет назад мы представляли себе сегодняшний день,чтобы понять, что стопроцентно надежных прогнозов просто не может быть.Вместо утверждений с конкретными числами можно ожидать лишь качественныхоценок.
Тем не менее мы должны принимать решения, например, обэкологических и иных проектах и инвестициях, последствия которых скажутсячерез десять, двадцать и более лет.Бесспорно совершенно, что для принятия обоснованных решенийнеобходимо опираться на опыт, знания и интуицию специалистов.
После второймировой войны в рамках кибернетики, теории управления, менеджмента иисследования операций стала развиваться самостоятельная дисциплина - теория ипрактика экспертных оценок.Методы экспертных оценок - это методы организации работы соспециалистами-экспертами и обработки мнений экспертов. Эти мнения обычновыраженычастично в количественной, частично в качественной форме.Экспертные исследования я проводят с целью подготовки информации дляпринятия решений лицом, принимающим решения (ЛПР). Для проведения работыпо методу экспертных оценок создают Рабочую группу (сокращенно РГ), котораяи организует по поручению ЛПР деятельность экспертов, объединенных(формально или по существу) в экспертную комиссию (ЭК).Экспертные оценки бывают индивидуальные и коллективные.Индивидуальные оценки - это оценки одного специалиста. Например,преподаватель единолично ставит отметку студенту, а врач - диагноз больному.Но в сложных случаях заболевания или при угрозе отчисления студента заплохую учебу обращаются к коллективному мнению - симпозиуму врачей иликомиссии преподавателей.
Аналогичная ситуация - в армии. Обычнокомандующий принимает решение единолично. Но в сложных и ответственныхситуациях проводят военный совет. Один из наиболее известных примеров такогорода - военный совет 1812 г. в Филях, на котором под председательством М.И.Кутузова решался вопрос: "Давать или не давать французам сражение подМосквой?"Другой простейший пример экспертных оценок - оценка номеров вКВН. Каждый из членов жюри поднимают фанерку со своей оценкой, атехнический работник вычисляет среднюю арифметическую оценку, которая иобъявляется как коллективное мнение жюри (ниже мы увидим, что такой подходнекорректен с точки зрения теории измерений).В фигурном катании процедура усложняется - перед усреднениемотбрасываются самая большая и самая маленькая оценки.
Это делается для того,чтобы не было соблазна завысить оценку одной спортсменке (например,соотечественнице) или занизить другой. Такие резко выделяющиеся из общегоряда оценки будут сразу отброшены.Экспертные оценки часто используются при выборе - одного вариантатехнических устройств из нескольких, группы космонавтов из многихпретендентов, набора проектов научно-исследовательских работ дляфинансирования из массы заявок, получателей экологических кредитов из многихжелающих, выбор инвестиционных проектов для реализации средипредставленных, и т.д.Существует масса методов получения экспертных оценок.
В одних скаждым экспертом работают отдельно, он даже не знает, кто еще являетсяэкспертом, а потому высказывает свое мнение независимо от авторитетов. Вдругих экспертов собирают вместе для подготовки материалов для ЛПР, при этомэксперты обсуждают проблему друг с другом, учатся друг у друга, и неверныемнения отбрасываются. В одних методах число экспертов фиксировано и таково,чтобы статистические методы проверки согласованности мнений и затем ихусреднения позволяли принимать обоснованные решения. В других - числоэкспертов растет в процессе проведения экспертизы, например, прииспользовании метода "снежного кома" (о нем - ниже).
Не меньше существует иметодов обработки ответов экспертов, в том числе весьма насыщенныхматематикой и компьютеризированныхОдин из наиболее известных методов экспертных оценок - это метод"Дельфи". Название дано по ассоциации с Дельфийским храмом, куда согласнодревнему обычаю было принято обращаться для получения поддержки припринятии решений.
Он был расположен у выхода ядовитых вулканических газов.Жрицы храма, надышавшись отравы, начинали пророчествовать, произносянепонятные слова. Специальные "переводчики" - жрецы храма толковали этислова и отмечали на вопросы пришедших со своими проблемами паломников.В США в 1960-х годах методом Дельфи назвали экспертную процедурупрогнозирования научно-технического развития. В первом туреэкспертыназывали вероятные даты тех или иных будущих свершений. Во втором турекаждый эксперт знакомился с прогнозами всех остальных. Если его прогнозсильно отличался от прогнозов основной массы, его просили пояснить своюпозицию, и часто он изменял свои оценки, приближаясь к средним значениям.Эти средние значения и выдавались заказчику как групповое мнение.
Надосказать, что реальные результаты исследования оказались довольно скромными хотя дата высадки американцев на Луну была предсказана с точностью до месяца,все остальные прогнозы провалились - холодного термоядерного синтеза исредства от рака в ХХ в. человечество не дождалось. Однако сама методикаоказалась популярной - за последующие годы она использовалась не менее 40тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс.долларов США, но в ряде случаев приходилось расходовать и более крупныесуммы - до 130 тыс.
долларов.Несколько в стороне от основного русла экспертных оценок лежит методсценариев, применяемый прежде всего для экспертного прогнозирования.Рассмотрим основные идеи технологии сценарных экспертных прогнозов.Экологическое или социально-экономическое прогнозирование, как и любоепрогнозирование вообще, может быть успешным лишь при некоторойстабильности условий. Однако решения органов власти, отдельных лиц, иныесобытия меняют условия, и события развиваются по-иному, чем ранеепредполагалось. При разработке методологического, программного иинформационного обеспечения анализа риска химико-технологических проектовнеобходимо составить детальный каталог сценариев аварий, связанных сутечками токсических химических веществ.
Каждый из таких сценариевописывает аварию своего типа, со своим индивидуальным происхождением,развитием, последствиями, возможностями предупреждения. Таким образом,метод сценариев - это метод декомпозиции задачи прогнозирования,предусматривающий выделение набора отдельных вариантов развития событий(сценариев), в совокупности охватывающих все возможные варианты развития.При этом каждый отдельный сценарий должен допускать возможностьдостаточно точного прогнозирования, а общее число сценариев должно бытьобозримо.Возможность подобной декомпозиции не очевидна. Приприменении метода сценариев необходимо осуществить два этапа исследования:- построение исчерпывающего, но обозримого набора сценариев;- прогнозирование в рамках каждого конкретного сценария с цельюполучения ответов на интересующие исследователя вопросы.Каждый из этих этапов лишь частично формализуем.
Существеннаячасть рассуждений проводится на качественном уровне, как это принято вобщественно-экономических и гуманитарных науках. Одна из причинзаключается в том, что стремление к излишней формализации и математизацииприводит к искусственному внесению определенности там, где ее нет посуществу, либо к использованию громоздкого математического аппарата. Так,рассуждения на словесном уровне считаются доказательными в большинствеситуаций, в то время как попытка уточнить смысл используемых слов с помощью,например, теории нечетких множеств приводит к весьма громоздкимматематическим моделям.
Набор сценариев должен быть обозрим. Приходитсяисключать различные маловероятные события. Само по себе создание наборасценариев - предмет экспертного исследования. Кроме того, эксперты могутоценить вероятности реализации того или иного сценария. Прогнозирование врамках каждого конкретного сценария с целью получения ответов наинтересующие исследователя вопросы также осуществляется в соответствии сописанной выше методологией прогнозирования. При стабильных условиях могутбыть применены статистические методы прогнозирования временных рядов.Однако этому предшествует анализ с помощью экспертов, причем зачастуюпрогнозирование на словесном уровне является достаточным (для полученияинтересующих исследователя и ЛПР выводов) и не требующим количественногоуточнения.Как известно, при принятии решений на основе анализа ситуации, в томчисле результатов прогнозных исследований, можно исходить из различныхкритериев.
Так, можно ориентироваться на то, что ситуация сложится наихудшим,или наилучшим, или средним (в каком-либо смысле) образом. Можно попытатьсянаметить мероприятия, обеспечивающие минимально допустимые полезныерезультаты при любом варианте развития ситуации, и т.д.Еще один вариант экспертного оценивания - мозговой штурм.Организуется он как собрание экспертов, на выступления которых наложеноодно, но очень существенное ограничение - нельзя критиковать предложениядругих. Можно их развивать, можно высказывать свои идеи, но нельзякритиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказываютвсе более экстравагантные соображения. Часа через два записанное намагнитофон или видеокамеру заседание заканчивается, и начинается второй этапмозгового штурма - анализ высказанных идей.
Обычно из 100 идей 30заслуживают дальнейшей проработки, из 5-6 дают возможность сформулироватьприкладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект прибыль, повышение экологической безопасности и т.п. При этом интерпретацияидей - творческий процесс. Например, при обсуждении возможностей защитыкораблей от торпедной атаки была высказана идея: "Выстроить матросов вдольборта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идеяпривела к созданию устройств, создающих волны, сбивающиеся торпеду с курса.3.4.2. Основные стадии экспертного опросаКак показывает опыт проведения экспертных исследований, с точкизрения менеджера - организатора такого исследования целесообразно выделятьследующие стадии проведения экспертного опроса.1) Принятие решения о необходимости проведения экспертногоопроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели.