Экспертные процедуры и методы субъективных оценок при измерении риска

Лекция № 5 Экспертные процедуры и методы субъективных оценок при измерении риска

5.1. Характеристика экспертных процедур

Существуют ситуации, когда по различным причинам, в значительной мере в связи с отсутствием достоверной информации, использование статистического метода не представляется возможным.

В таких случаях широко применяются методы, использующие результаты опыта и интуицию, то есть эвристические методы или методы экспертных оценок.

Особенностью эвристических методов и моделей является отсутствие строгих математических доказательств оптимальности получаемых решений. Общей направленностью этих процедур является использование человека как «измерительного прибора» для получения количественных оценок процессов и суждений, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению.

Примерами традиционных эвристических процедур являются различные экспертизы, консилиумы, совещания и т.п., результатом которых являются экспертные оценки состояния объекта исследования.

Метод экспертных оценок находит достаточно широкое применение в различных областях деятельности, и на его основании реализуются серьезные и дорогостоящие мероприятия. Одной из сфер его применения является качественный анализ и количественная оценка экономического риска.

Рассмотрим кратко характеристику экспертных процедур.

Рекомендуемые материалы

В практической деятельности применяются как индивидуальные, так и групповые (коллективные) экспертные оценки (опросы).

Основными целями использования индивидуальных экспертных оценок являются:

• прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем. Применительно к анализу и оценке риска это выявление источников и причин риска, прогнозирование действий конкурентов, установление всех возможных рисков, оценка вероятности наступления рисковых событий, назначение коэффициентов относительной важности (значимости последствия) и ранжирование рисков, выявление путей снижения риска и многое другое;

• анализ и обобщение результатов, представленных другими экспертами;

• составление сценариев действий;

• выдача заключений на работу других специалистов и организаций (рецензии, отзывы, экспертизы и т.п.).

Достоинством индивидуальной экспертизы является оперативность получения информации для принятия решений и относительно небольшие затраты.

В качестве недостатка следует выделить высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок.

Указанный недостаток призваны устранить или ослабить коллективные экспертные оценки.

Процессу группового обсуждения по сравнению с индивидуальными оценками присущи некоторые отличительные особенности: коллективные оценки, как правило, менее субъективны, и решения, принятые на их основе, связаны с большей вероятностью осуществления.

Можно выделить следующие типы групповых экспертных процедур:

• открытое обсуждение поставленных вопросов с последую­щим открытым или закрытым голосованием;

• свободное высказывание без обсуждения и голосования;

• закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса.

Эти методы страдают рядом недостатков, таких, как влияние авторитетных и «напористых» участников на суждение остальных и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично.

Поэтому на практике при подготовке решений по широкому кругу вопросов (в том числе по проблемам анализа и оценки риска) все большее распространение находят второй и третий типы групповых экспертных оценок.

Второй тип групповых экспертных оценок предусматривает отсутствие любого вида критики, препятствующей формулировке идей, свободную интерпретацию идей в рамках поставленной проблемы.

Такой метод обсуждения получил названия метода коллективной генерации идей (по американской терминологии — метод «мозговой атаки »). Он направлен на получение большого количества идей, в т.ч. и от лиц, которые, обладая достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний.

С помощью этого метода может успешно решаться ряд задач управления риском:

v выявление источников и причин риска, установление всех возможных рисков;

v выбор направлений и путей снижение риска;

v формирование полного набора и качественная оценка вариантов, использующих различные способы снижения риска или их комбинацию и др.

К числу важнейших недостатков метода коллективной генерации идей относится значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.

При использовании результатов групповых экспертных процедур, осуществляемых посредством открытого обсуждения поставленных проблем, следует учитывать такое явление как «сдвиг риска».

Феномен сдвига риска означает, что после проведения открытой групповой дискуссии возрастает уровень рискованности принимаемых решений.

Третий тип групповых экспертных оценок — закрытое обсуждение поставленных проблем — позволяет в значительной степени устранить указанные выше недостатки первого и второго типов экспертных процедур.

Примером экспертных процедур третьего типа может быть метод «Дельфи» — по имени греческих дельфийских оракулов.

В методе «Дельфи» сделана попытка усовершенствовать групповой подход к решению задач прогноза или оценки путем вза­имной критики субъективных взглядов, высказываемых отдельными специалистами, без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений. Это позволяет исключить влияние авторитетных и «напористых» участников на суждение остальных, а также уменьшить или исключить явление «сдвига риска».

Метод «Дельфи» предусматривает проведение экспертного опроса в несколько туров.

Во время каждого тура эксперты сообщают свое мнение и дают оценку исследуемым явлениям. При обработке информации, полученной от экспертов, все оценки располагают в по рядке N₁, ..., N_m их убывания, затем определяют медиану (М) и квартили (Q₁, Q₂), которые разбивают все оценки на четыре интервала, как показано на рис. 5.1.

Экспертов, чьи оценки попадают в крайние интервалы (не лежат внутри диапазона Q₁ - Q₂), просят обосновать свое мнение по поводу назначения ими оценок. С их обоснованием и выводами, не указывая, от кого они получены, знакомят остальных экспертов.

Подобная процедура позволяет специалистам изменять в случае необходимости свою оценку, принимая в расчет обстоятельства, которые они могли случайно упустить или которыми пренебрегли в первом туре опроса. Благодаря этому результаты второго и последующих туров опроса дают, как правило, меньший разброс оценок.

Метод «Дельфи» наиболее целесообразен при количественных оценках отдельных рисков и всего проекта в целом - определении вероятности наступления рисковых событий, оценке величины потерь, вероятности попадания потерь в определенный интервал и т.п.

5.2 Общая схема экспертизы

Общая схема экспертных опросов включает следующие основные этапы:

v подбор экспертов и формирование экспертных групп;

v формирование вопросов и составление анкет;

v работа с экспертами;

v формирование правил определения суммарных оценок на основе оценок отдельных экспертов;

v анализ и обработка экспертных оценок.

Прежде чем приступить к рассмотрению содержания отдельных этапов экспертной процедуры, необходимо сделать следующее замечание.

Проблема экспертных оценок имеет самостоятельное теоретическое и прикладное значение и далеко выходит за рамки проблем экономического риска. Для ее решения используются спе­циальные экономико-математические методы и методы системного анализа.

Здесь не стоит задача раскрытия сущности и содержания используемых методов, поскольку они достаточно полно отражены в обширной специальной литературе по проблеме. Поэтому представленная ниже краткая характеристика содержания отдельных этапов носит ознакомительно-описательный характер.

Подбор экспертов и формирование экспертных групп

На этом этапе, исходя из целей экспертного опроса, решаются вопросы относительно структуры экспертной группы, количества экспертов и их индивидуальных качеств, т.е. определяются требования к специализации и квалификации экспертов, необходимое число экспертов каждой специализации и общее их количество в группе.

Оценки численности группы экспертов производятся на ос­нове следующих соображений.

Численность группы не должна быть малой, т.к. в этом случае будет потерян смысл формирования экспертных оценок, определяемых группой специалистов, Кроме того, на групповые экспертные оценки в значительной степени влияла бы оценка каждого эксперта.

При увеличении группы экспертов, хотя и устраняются эти недостатки, но зато появляется опасность возникновения новых. Так, при очень большом количестве экспертов оценка каж­дого из них в отдельности почти не влияет на групповую оценку. Причем рост численности экспертной группы далеко не всегда приносит повышение достоверности оценок. Часто расширение группы экспертов возможно лишь за счет малоквалифицирован­ных специалистов, что, в свою очередь, может привести к уменьшению достоверности групповых оценок. Одновременно с ростом числа экспертов увеличиваются трудности, связанные с координацией работы группы и обработкой результатов опроса.

Анализируя предшествующую деятельность экспертов, необходимо выяснить наличие причин, которые приводят к стремлению завышать или занижать оценки так, чтобы повлиять на групповые оценки в желательном для себя, либо для других лиц, направлении.

Формирование вопросов и составление анкет

Правила опроса экспертов содержат ряд положений, обязательных к выполнению всеми. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. В число таких условий входят:

v независимость формирования экспертами собственного мнения об оцениваемых событиях;

v удобство работы с предполагаемыми анкетами (вопросы формулируются в общепринятых терминах и должны исключать всякую смысловую неоднозначность и др.);

v логическое соответствие вопросов структуре объекта опроса;

v приемлемые затраты времени на ответы по вопросам анкеты, удобное время получения вопросов и выдачи ответов;

v сохранение анонимности ответов для членов экспертной группы;

v предоставление экспертам требуемой информации.

Для обеспечения выполнения этих условий должны быть разработаны правила проведения опроса и организации работы экспертной группы.

Работа с экспертами

В зависимости от характера исследуемого объекта, от степени его формализации и возможности привлечения необходимых экспертов, порядок работы с ними может быть различным, но в основном он содержит следующие три стадии.

На первой стадии эксперты привлекаются в индивидуальном порядке с целью: уточнить модель объекта, ее параметры и показатели, подлежащие экспертной оценке; уточнить формулировки вопросов и терминологию в анкетах; согласовать целесообразность той или иной формы представления таблиц экспертных оценок; уточнить группы экспертов.

На второй стадии экспертам направляются анкеты с пояснительным письмом, в котором описываются цель работы, структура и порядок построения таблиц с примерами.

Если имеется возможность собрать экспертов вместе, то цели и задачи анкетирования, а также все вопросы, связанные с анкетированием, могут быть изложены устно. Обязательное условие такой формы экспертного опроса — последующее самостоятельное заполнение анкет, при соблюдении правил анкетирования.

Третья стадия работы с экспертами осуществляется после получения результатов опроса, в процессе обработки и анализа полученных результатов.

На этой стадии от экспертов в форме консультации обычно получают всю необходимую информацию, которая требуется для уточнения данных и их окончательного анализа.

Формирование правил определения суммарных оценок на основе оценок отдельных экспертов.

Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.

Существует несколько способов использования группы экспертов. Один из них (метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем с помощью определенных приемов эти оценки объединяются в одну обобщенную (согласованную).

где m — число экспертов, участвующих в экспертизе.

В методе «Дельфи» в качестве обобщенного мнения принимается медиана оценок последнего тура опроса экспертов. Например, если речь идет о вероятности наступления рис­кового события (р) и i-й эксперт указывает для этой вероятности число р., то простейший способ получения обобщенной оценки состоит в вычислении средней вероятности:

Можно рассчитать и средневзвешенное значение вероятнос­ти, если попытаться учесть вес (компетентность) самого экс­перта, который определяется на основе предыдущей деятельно­сти (количество верных ответов к общему количеству), либо на основе других методов — «самооценка» экспертом своих знаний в области заданных вопросов, квалификация, должность, уче­ное звание и т.д.

где hi — вес, приписываемый i-му эксперту.

Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного эксперт­ного опроса.

В общем случае значения веса, приписываемого i-му эксперту, интерпретируются как вероятность задания им достоверной оценки.

В этом случае: 0 < hi<= 1.

В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки, даваемые экспертами, могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10, от 0 до 100. Так, известная нам экспертиза определения индекса БЕРИ для оценки странового риска использует шкалу от 0 до 100 баллов. Вместе с тем, принципиальной разницы в шкалах измерения нет, выбор той или иной из них во многом определяется вкусом исследова­теля, производящего экспертный опрос. Принятая шкала измерения может в некоторой степени повлиять на выбор методов анализа и обработки мнений экспертов.

Анализ и обработка экспертных оценок

При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты — варианты, показатели, факторы и т.п.), а также опреде­лить согласованность действий экспертов и достоверность экспертных оценок.

Так, например, выявленные в процессе качественного анализа риски необходимо представить в порядке их важности (степени возможного их влияния на уровень потерь), или варианты снижения риска — в порядке их предпочтительности и т.п.

Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффективного применения. Наиболее распространенными из них являются: ранжирование, непосредственная оценка, последовательное сравнение, парное сравнение.

Важным моментом экспертных процедур является оценка согласованности действий экспертов и достоверности экспертных оценок.

Как отмечалось, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.

Обратите внимание на лекцию "Негативные воздействия".

Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, достоверности их оценок.

Коэффициент конкордации определяется из выражения:

Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками различных экспертов отсутствует. При W = 1 — согласованность мнений экспертов полная.

Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше заданного (нормативного) значения w_h (W >W_H).

Можно принять w_h = 0,5. Считается, что при W > 0,5 действия экспертов в большей степени согласованы, чем не согласованы.