Технология экспертной оценки качества

4 Технология экспертной оценки качества

4.1 Отбор экспертов

Принцип отбора не является обоснованным, если наблюдается одна из следующих ситуаций:

1. некомпетентность всех или части экспертов по предмету экспертизы;

2. возможная заинтересованность всех или части экспертов в определенном решении;

3. отсутствие в экспертной группировке специалистов, способных рассмотреть объект с определенной стороны, существенной для его оценки;

4. квалиметрическая некомпетентность – отсутствие навыков участия в работе экспертной группы;

5. отсутствие стремления всех или части экспертов принять активное участие в работе.

Рекомендуемые материалы

Способы отбора экспертов делятся на две группы:

1. способы определения первоначального круга экспертов (кандидатов в эксперты). Результаты заносятся в банк данных.

2. способы отбора экспертов из числа этих кандидатов для участия в конкретной экспертизе.

4.1.1 Способы определения кандидатов в эксперты

Способы назначения

1) Непосредственное назначение заказчиком экспертизы

Членов экспертной группы назначает ответственное лицо (руководитель организации), по распоряжению которого проводится экспертиза, лично в экспертизе он не участвует.

Достоинства:

§ в число экспертов попадают в основном специалисты, заинтересованные в проведении экспертизы и склонные к коллективной работе;

§ руководитель обязательно назначает авторитетных лиц, решение которых не вызовет сильных возражений у других сотрудников;

§ решение такой экспертной группы будет авторитетно для самого заказчика.

Основной недостаток:

§ эксперт, зная руководителя, может выражать не подлинное суждение, а суждение, соответствующее ожиданиям руководителя.

2) Назначение по выбору эксперта руководителя группы

Руководитель организации назначает только одно лицо – ведущего эксперта. Затем ведущий эксперт подбирает членов экспертной группы, ориентируясь на собственные неформальные критерии. Затем весь состав экспертной группы утверждается приказом руководителя.

Достоинства:

§ удается собрать специалистов, хорошо сработавшимися между собой;

§ в экспертной группе не будет лишних людей, что позволит сэкономить средства и время.

Недостатки:

§ в экспертную группу войдут специалисты одной научной школы, склонные к одностороннему подходу к решению проблемы экспертизы, совпадающему с подходом руководителя группы;

§ руководитель экспертной группы почти наверняка не сможет привлекать к работе экспертов выше себя по служебному положению. Авторитетность этой группы в глазах заказчика будет зависеть только от авторитетности ведущего эксперта.

3) Назначение комиссии, состоящей из руководителей экспертных групп

В организации могут проводиться экспертизы примерно одного и того же назначения. Создается постоянная комиссия из руководителей экспертных групп. Перед очередной экспертизой руководители экспертных групп независимо друг от друга составляют списки кандидатов в эксперты. В экспертную группу включают тех, которые названы большинством руководителей.

Достоинства:

§ в экспертную группу привлекаются необходимые специалисты различного профиля, обеспечивается многосторонность анализа проблемы;

§ перед каждой экспертизой экспертную группу формируют заново, отбирая тех экспертов, которые лучше знают конкретную проблему;

§ личная ответственность эксперта повышена, так как он ожидает критику со стороны представителей других школ. Это обеспечивает взаимный контроль результатов.

Недостатки:

§ продуктивность работы экспертной группы может оказаться невысокой из-за противоречий во взглядах у представителей разных школ. На устранение этих противоречий может уйти значительное время.

§ могут возникнуть трудности со сбором экспертов в одну группу из-за плохой психологической совместимости друг с другом.

Документальные показатели

Документальные способы основаны на использовании показателей, хранящихся в отделе кадров организации.

Основные документальные показатели: стаж работы, возраст, ученая степень, количество научных трудов, изобретений, частота участия в конференциях, количество премий и поощрений по результатам работы и др.

1) Отбор по критерию максимальной авторитетности

В экспертную группу отбирают специалистов, имеющих наилучшие документальные  показатели.

Достоинства:

§ созданная экспертная группа обладает максимальной авторитетностью в глазах высшей администрации;

§ независимость суждений экспертов от мнения начальства.

Недостатки:

§ трудно добиться согласования оценок в случае появления разногласий;

§ мала вероятность попадания в экспертную группу инициативных специалистов, способных решать задачи нетрадиционными методами;

§ получила распространение практика покупки дипломов, преподнесения ученых степеней в качестве подарков и т.д.

2) Отбор по условию полноты охвата проблем

Предварительно специалист по организации групповой экспертизы путем консультаций выделяет в объекте экспертизы стороны, анализ которых требует участия представителей разных специальностей. По документальным данным сотрудников организатор производит набор требуемых специалистов.

Достоинства:

§ осуществляется всестороннее рассмотрение объекта экспертизы;

§ по документальным характеристикам удается найти экспертов узкого и широкого профиля. Участие первых обеспечивает подробность анализа, участие вторых – увязку между собой оценок различных свойств объекта.

Недостатки:

§ ввиду невозможности привлечь многих специалистов одного профиля подход некоторых экспертов может быть односторонним;

§ возможна несовместимость некоторых экспертов в группе ввиду их несработанности;

§ не исключено, что организаторы допустят решающую ошибку при выборе совокупности тех сторон, с которых следует рассматривать объект.

Способы взаимных рекомендаций

1) Способ «снежного кома»

Вначале опрашивают одного специалиста по объекту экспертизы. Он должен назвать других лиц, которые по его мнению должны войти в состав экспертной группы. Эти специалисты вновь должны назвать возможных экспертов. Постепенно круг взаимных рекомендаций замыкается: все потенциальные эксперты оказываются названными.

Достоинство: способ позволяет найти коллектив сработавшихся сотрудников независимо от служебного положения. Такая экспертная группа может провести наиболее глубокий анализ качества.

Недостатки:

§ иногда этот способ приводит к слишком большому численному составу экспертной группы. Приходится при опросе вводить правило остановки, либо отбирать тех экспертов, которые рекомендованы большинством;

§ односторонний подход к решаемой квалиметрической задаче (все эксперты принадлежат к одной школе).

2) Способ взаимных выборов

Способ отличается от предыдущего тем, что одновременно с формированием полного списка потенциальных экспертов каждый эксперт знакомится со всем имеющимся на момент опроса списком и отмечает тех кандидатов, с которыми он хотел бы сотрудничать, и тех, сотрудничать с которыми он считал бы нецелесообразным.

При этом возможно образование в списке двух и более подгрупп, в этом случае для экспертизы следует использовать представителей одной подгруппы или проводить работу с каждой подгруппой в отдельности. При этом могут сильно отличаться результаты.

Основной недостаток: лишь некоторые кандидаты в эксперты знакомятся со всем списком, большинство специалистов получает список на стадии его формирования и не могут в полной мере выразить свой выбор.

Способы выдвижения

1) Выдвижение экспертов коллективами подразделений

Выдвижение специалистов может быть проведено коллективами подразделений данных организаций путем открытого или тайного голосования.

Таким способом могут быть отобраны эксперты, пользующиеся всеобщим доверием и уважением независимо от их служебного положения и не обязательно более квалифицированных.

Как показывает опыт, такие эксперты коммуникабельны и хорошо работают в составе экспертной группы. Применяют способ в тех случаях, когда требуется учет факторов, связанных с моралью и этикой. Например: оценка качества работы подразделений с целью премирования лучших экспертов.

Недостаток: узость области применения. Экспертизу, требующую обширных знаний, такая экспертная группа выполнить не может.

2) Выдвижение экспертов заинтересованными организациями (способ «кота в мешке»)

Если решение проблемы экспертизы требует участия представителей различных организаций в разных городах, то выбор экспертов по документальным данным становится практически невозможным.

Для привлечения специалистов обращаются к руководству соответствующей организации с просьбой о командировании представителей с указанием на те характеристики экспертов, которые желательны для участия в данной экспертизе.

Этот способ приводит к появлению в составе экспертной группы специалистов с трудно совместимыми позициями, каждый из них стремится к достижению тех или иных целей, поставленных перед ним руководством.

3) Способ максимального соответствия

Встречаются ситуации, когда члены экспертной группы должны отражать не собственную точку зрения, а позицию определенной категории населения. Целью такой экспертизы является выявление отношения населения (отношение населения к появлению новой продукции или введению нового вида услуг, отношение к сносу и возведению зданий, отношение к изменению природной среды). Цель такой экспертизы – выявить отношение населения к тем или иным решениям.

Предварительно составляется классификация контингента населения по социальным группам, которые могут иметь отличную от других групп позицию по отношению к объекту экспертизы. Эта классификация вручается всем работникам организации, которая проводит экспертизу. Каждый сотрудник должен указать своих коллег, наиболее способных имитировать позицию определенной социальной группы населения.

Трудности способа: При подготовке анкет для опроса при самой классификации групп населения. При рациональной классификации и хорошей организационной работе метод дает хорошо обоснованную оценку.

Достоинство: меньшие затраты времени и средств, чем при использовании социологического метода.

4) Способ «фокус-групп»

Фокус-группа – это 7-10 человек, проводящих дискуссию по заранее составленному плану и направленную на выявление суждений представителей различных       социальных групп по квалимитрическому вопросу.

В отличие от способа  максимального соответствия фокус-группу формируют из числа представителей общественных организаций, заинтересованных в решении вопроса.

Так как к экспертизе привлекаются лица, не знакомые с такой формой работы, то формирование группы и работа с ней требуют хорошей подготовки организатора.

4.1.2 Способы отбора экспертов из сформированного банка данных по кандидатам

Способы, основанные на использовании коэффициентов компетентности

1) Оценивание со стороны коллег

Экспертов просят указать коллег из числа уже имеющихся в банке, которых наиболее рационально привлечь для оценивания именно данного объекта.

Иногда в литературе упоминают возможность получения оценки компетентности со стороны коллег в виде некоторого балла.

Такие оценки нежелательны по следующим причинам:

1) оценка со стороны коллег может оказаться лишь оценкой взаимоотношения экспертов.

2) сама попытка взвесить компетентность эксперта неэтична как по отношению к оцениваемому специалисту, так и к оценивающему.

Кандидат в эксперты, зная, что его суждениям придают меньший вес, склонен отказаться от участия в экспертизе.

3) нет никаких экспериментальных доказательств, что оценки экспертов, имеющих большие коэффициенты компетентности, точнее или надежнее, чем оценки экспертов с меньшими коэффициентами.

2) Коэффициент компетентности как функция документальных оценок

где k – коэффициент компетентности;

  - значения оценок, приписываемых эксперту за определенные документальные показатели;

 - коэффициент весомости.

ГОСТ 23554.1-79 «Эксплуатационные методы оценки качества промышленной продукции»

K = 0,4 * Kарг + 0,6 * Kсам, где

Kарг – коэффициент аргументированности. Рассчитывается пропорционально количеству публикаций, конференций и т.д;

Kсам – коэффициент знакомства. Его эксперт назначает его себе сам.

Современная литература не советует опираться на подобные расчеты.

На включение специалиста в экспертную группу могут влиять не общие сведения о документальных показателях, а только те данные, которые относятся к объекту предстоящей экспертизы.

Опыт практической работы свидетельствует, что результативность работы эксперта значительно больше зависит от заинтересованности в результатах работы, добросовестного отношения к работе, чем от введения коэффициентов компетентности.

3) Отбор экспертов по результатам тестирования

Тестирование может осуществляться следующими способами:

1. по результатам решения тестовых задач

Способ целесообразно применять, когда членам экспертной группы предстоит многократно решать однотипные задачи, требующие знания правил, инструкций, юридических положений и т.д.

2. психометрическое тестирование

Применяется в тех случаях, когда для участия в экспертизе требуется некоторый минимум развития психофизиологических функций, например: оценка качества дисплеев ЭВМ.

3. тестирование по результатам оценивания тестового объекта

Группа уже сложившихся экспертов оценивает некоторый объект, затем оценку того же объекта проводят кандидаты в эксперты. По числу совпавших оценок судят о пригодности кандидатов для предстоящей экспертизы.

4) Отбор экспертов по результатам участия в деловых играх

Успешность деятельности игрока в деловой игре фиксируют в виде некоторой суммы выигрыша. По ней судят о его способности исполнять ту или иную должность. Этот показатель может служить и для оценки его способностей исполнять обязанности эксперта.

Достоинство: Деловые игры развивают и тренируют инициативу эксперта и необходимые профессиональные навыки.

Ограничения применения метода:

§ трудно придумать деловую игру, в которой достаточно полно проявились бы все необходимые способности кандидата в эксперты;

§ не всегда специалист, успешно выступивший в деловой игре, так же хорошо проявит себя в реальной обстановке.

5) Использование рейтинга экспертов

В тех случаях, когда специалиста неоднократно привлекают для участия в экспертизе и есть возможность оценить степень соответствия его прошлых оценок истине, можно ввести величину, называемую рейтингом экспертов.

Изначально при включении в банк всем экспертам присваивают одинаковый рейтинг, например, 100 баллов. Если специалист участвовал в некоторой экспертизе и его оценка впоследствии оказалась соответствующей истине, то рейтинг может быть повышен.

Например, за очень хорошую оценку рейтинг возрастает на 5 баллов, а в случае хорошей оценки – на 3 балла.

Ошибочная оценка снижает рейтинг эксперта на определенное число баллов. Изменения рейтинга могут быть введены за предоставляемую экспертом дополнительную информацию (+), за отказ от участия в экспертизе (-).

Спустя некоторое время эксперты приобретают различные значения рейтинга. Дальнейший их отбор может быть проведен с учетом этой величины. Оплата работы экспертов также может зависеть от рейтинга эксперта.

Можно предусмотреть критерии отказа от дальнейшего привлечения специалиста к работе в экспертной группе (например, если его рейтинг ниже 20 баллов).

Отбор экспертов по их самооценке

1) Самооценка по направлению

Если экспертизу поступающих объектов проводят неоднократно и объекты можно разделить на направления таким образом, что экспертиза каждого направления требует привлечения особой группы специалистов, то применяют данный метод..

Организаторы подразделяют всю область возможной экспертизы на направления, и каждый кандидат в эксперты отмечает те из них, в работе по которым он хотел бы участвовать и наоборот. Эти сведения заносят в банк. При поступлении на экспертизу очередного объекта организаторы определяют направление, к которому принадлежит объект и отбирают соответствующих специалистов в экспертную группу.

Достоинства:

§ в экспертную группу попадают специалисты, чувствующие себя уверенно в отношении объекта экспертизы;

§ при условии систематической работы в экспертной группе растет квалификация  специалиста как эксперта;

§ способ удобен для автоматизированного отбора экспертов в тех случаях, когда их число велико, и они разобщены территориально.

Недостатки:

§ организатор может неточно определить направления, к которым относятся представленные на экспертизу объекты; экспертная группа окажется неверно сформирована;

§ эксперты, отобранные в соответствии с оценками, полученными задолго до экспертизы, к моменту экспертизы могут изменить ориентацию своей работы и не обнаружить желания участвовать в экспертизе.

2) Самооценка по объекту экспертизы

Кандидатам в эксперты объявляют задачу и знакомят их с объектом предстоящей экспертизы. После этого каждый из них принимает решение, участвовать в работе экспертной группы или нет.

Этот способ лишен недостатков предыдущего способа, но труднее в реализации, так как требуется проведение опроса всех кандидатов, включенных в банк в кратчайшее время. Количество отобранных экспертов может оказаться слишком большим или малым, что потребует дополнительных мер по корректированию состава экспертной комиссии.

Способы, основанные на минимизации расхода ресурсов

Всегда не хватает временных и финансовых ресурсов.

Например, для проведения экспертизы требуется отрывать экспертов от их основной деятельности и оплачивать их работу в экспертной группе или требуется вызывать экспертов из других городов (оплата командировочных). При этом организаторы выбирают прежде всего тех экспертов, которые на момент экспертизы не заняты срочной работой и тех, кто находится поближе.

Достоинство: минимизация ресурса.

Недостатки:

§ возможность появление школ;

§ из-за лимитирования кол-ва экспертов может не оказаться специалистов того или иного профиля и не может быть обеспечен всесторонний анализ объекта экспертизы;

§ результаты работы слишком маленькой экспертной группы может не вызвать доверия со стороны заказчика экспертизы.

4.2 Индивидуальный опрос экспертов

Основная организационная задача опроса экспертов – это создание условий для наиболее полного и свободного от искажений выявления информации, имеющейся у экспертов и создание условий для всестороннего анализа этой информации с разных точек зрения.

При индивидуальном опросе эксперт отвечает на поставленные перед ним вопросы, не взаимодействуя с другими экспертами.

Также существует групповой опрос, когда эксперт отвечает на вопрос в составе группы.

При проведении опроса обычно рекомендуют соблюдать принцип необратимости. Вопросы к эксперту должны быть сформулированы в нейтральной форме, т.е. они не должны подталкивать эксперта к тому или иному варианту ответа. Лицо, проводящее опрос, не должно выражать заинтересованности в том или ином варианте ответа.

4.2.1 Заочное анкетирование

Полная изоляция от других людей (организаторов).

Достоинства способа:

§ способ позволяет достичь наибольшей относительной изоляции экспертов;

§ способ позволяет получить наиболее продуманные ответы.

Недостатки способа:

§ значительные затраты времени;

§ имеет место неполный возврат анкет. Анкеты следует отсылать специалистам, с которыми предварительно проведена беседа и получено их принципиальное согласие на участие в экспертизе;

§ в связи с неполным возвратом анкет возможен эффект селекции: на анкеты будут отвечать преимущественно эксперты, придерживающиеся определенно ориентации по проблеме экспертизы;

§ невозможность своевременно уточнить постановку вопроса, непонятного эксперту.

СТРУКТУРА АНКЕТЫ

Анкета состоит из пояснительной записки и карты опроса.

В пояснительной записке указывается цель анкетирования, на конкретных примерах показывают, как заполнять карту опроса. Объем пояснительной записки должен быть минимизирован ( 1-1,5 страниц).

В карте опроса приводят определенным образом организованный набор вопросов, для каждого из которых предусмотрена своя форма ответа:

1. все возможные варианты приведены в карте опроса, эксперты выбирают наиболее подходящий;

2. ответ имеет количественную форму;

3. эксперты отвечают в свободной форме.

При проведении анкетного опроса важным является порядок расположения вопросов. Вопросы рекомендуется располагать не в случайном порядке, а в зависимости от значений для проблемы экспертизы, по степени общности или так, чтобы обдумывая ответы на первые вопросы, эксперт подготавливался к ответу на последующие вопросы.

4.2.2 Смешанное анкетирование

Способ применяют в тех случаях, когда предстоит разъяснить эксперту многие неясные или нечетко сформулированные вопросы анкеты. Эксперт заполняет анкету в присутствии организатора. Это упрощает подготовку пояснительной записки, позволяет значительно сократить время операции, исключить возможность неполного возврата анкет.

Недостатки:

§ в процессе разъяснения отдельных вопросов организатор невольно ориентирует экспертов на собственное понимание желаемого ответа;

§ в присутствии организатора каждый эксперт может предложить оценки, отличающиеся от тех, которые он предложил бы при обдумывании в одиночестве;

§ в условиях ограниченного времени обдумывание ответов бывает не столь тщательным, как при заочном анкетировании.

4.2.3       Мобильное анкетирование

Способ сочетает в себе смешанное и заочное анкетирование. Его удобно применять, когда число экспертов невелико (до 5 человек). С помощью этого метода удобно производить разработку нормативных документов, в том числе МОК.

Опрос экспертов проводят индивидуально с мобильно меняющимся от эксперта к эксперту составом вопросов. Организатор во время очной встречи разъясняет эксперту цель работы и результаты, достигнутые в процессе предшествующего опроса других экспертов. Затем он передает эксперту полученный к этому моменту материал (фрагменты разрабатываемого документа и вопросы, подготовленные для данного эксперта его предшественниками) для дальнейшей работы.

Опрашиваемый эксперт через определенный срок возвращает организатору разрабатываемый документ со своими уточнениями и вопросами, которые организатор должен передать следующему эксперту.

Лучше, чтобы каждый эксперт не знал, кому поставляются его материалы и от кого он получает вопросы.

Мобильное анкетирование позволяет значительно увеличить объем и качество информации, полученной от экспертов, стимулирует эксперта на проявление максимальной компетентности.

Достоинство: неясные и спорные вопросы эксперт может включить в анкету для последующего специалиста.

Ограничение способа: способ требует больших затрат времени со стороны организатора, ему приходится неоднократно беседовать с каждым экспертом, готовить каждый раз заново карту опроса. Иногда число туров такой экспертизы доходит до 10.

4.2.3       Интервью

Интервью наиболее удобно для организатора, так как не требует ни карты опроса, ни пояснительной записки. Нужен лишь небольшой план и список вопросов, которые организатор собирается задать эксперту. Необязательно в ходе интервью получить ответы на все подготовленные вопросы, следует способствовать максимальному развитию экспертом его мыслей при ответах на те вопросы, которые наиболее глубоко изучены и интересны для эксперта. Не рекомендуется стремиться получить ответы на те вопросы, в которых эксперт чувствует себя неуверенно или не хочет отвечать.

Этим способом можно решить некоторую квалиметрическую задачу в ситуации, когда по условиям работы каждого эксперта можно опросить только один раз в удобное для него время.

3.2.5       Косвенный опрос

Способ применяют в тех случаях, когда по этическим соображениям или по соображениям секретности истинная цель экспертизы не может быть сообщена эксперту.

Опрос выполняют любым из возможных способов. При этом основные вопросы помещают среди других вопросов, подобранных так, чтобы дезориентировать эксперта, создать у него ложное представление о цели опроса.

Недостатки:

§ Благодаря тому, что эксперт не знает истинной цели опроса, он формирует в своем сознании ложную цель и , исходя из нее, отвечает на вопросы. Получив ответы эксперта, заказчик экспертизы не может быть уверен в том, что эксперт дал бы такие же ответы, будь ему известна истинная цель опроса.

§ Значительное время уходит на подготовку опроса, подбор отвлекающих вопросов и смысловой анализ материала.

4.3          Операции с экспертной группой

4.3.1       Общий план групповой экспертизы

Групповая экспертиза заключается в последовательном проведении серии экспертных операций.

Экспертная операция – это организационно выделенный этап работы с группой экспертов, в ходе которого достигается законченное преобразование информации, относящейся к решаемой задаче, из одной формы в другую.

В квалиметрии различают следующие экспертные операции:

· ориентировка;

· генерация;

· назначение оценок;

· коммуникация (обмен информацией между экспертами).

Типичный план групповой экспертизы

Пример: Оценивание эстетических свойств товаров в институте технической эстетики.

Экспертиза начинается с анализа представленных материалов, который выполняет ведущий эксперт. Он подбирает данные о мировом рынке оцениваемого товара,       выбирает 2-3 эталона для сравнения, составляет предварительный перечень эстетических показателей качества, т.е. готовит ориентирующую информацию.

После ориентировки эксперты индивидуально дополняют и корректируют материалы, представленные ведущим экспертом (операция генерации).

После статистической обработки и назначения оценок рабочая группа вновь выполняет статистическую обработку, выявляя рассогласованные оценки и формулирования нерешенных вопросов. После повторного заседания экспертной группы и достижения согласия ведущий эксперт утверждает результаты либо не согласуются с ними и назначает новое обсуждение.

Повторное осуществление операций обсуждения и назначения оценок называется итерацией.

Благодаря проводимым итерациям создается возможность объединить знания и способности многих специалистов и прийти к согласованному решению.

4.3.2       Ориентировка

Ориентировка состоит в снабжении экспертов информацией по анализируемой проблеме, полученной от заказчика экспертизы.

Как правило, ориентировку проводят один раз – в начале экспертизы.

Операция имеет следующие назначения:

1) уточняется сформулированная заказчиком генеральная цель экспертизы;

2) проверяется принципиальная правильность намеченного пути достижения цели;

3) у экспертов создается определенная ориентация в отношении проблемы и принципам подхода к ее решению.

Формы ориентировки:

1) Краткий доклад по проблеме, сделанный организатором или представителем заказчика

Основное достоинство: простота, поскольку не требуется подготовки информации в письменном виде, распространяемой среди экспертов.

Недостатки:

§ Эксперты могут прослушать, забыть основные положения доклада

§ Эксперты не могут в ходе доклада всесторонне осмыслить задачу и предложить продуманные формулировки цели и способы работы.

2) Ознакомление всех экспертов с печатными материалами о проблеме экспертизы.

Недостатки:

§ Крайне трудно подобрать, обработать и представить в удобной форме весь необходимый объем информации, имеющий отношение к проблеме экспертизы. Весьма возможно, что именно важные для оценивания источники не войдут в состав ориентирующей информации, что решающим образом отразится на работе экспертов.

§ При обработке разнохарактерной информации велика возможность одностороннего субъективного подбора данных. Если представить информацию в необработанном виде, то эксперты могут ее вообще проигнорировать. Рекомендуется вручать экспертам не сами документы, а их аннотированный список, чтобы эксперт мог сам выбрать необходимую ему информацию.

3) Выполнение экспертами определенных домашних заданий (составление докладных записок по проблеме экспертизы, заполнение определенных анкет в ходе которых эксперт вынужден обращаться к специальной литературе).

Недостаток: некоторые эксперты из-за нежелания заниматься самоподготовкой откажутся от участия в экспертизе.

4) Проведение деловой игры

Можно обеспечить освоение всеми экспертами ориентирующей информацией в форме, не приводящей к значительной усталости экспертов. Такой формой является деловая игра. Подготовка деловой игры требует большой работы рабочей группы и занимает значительное время. Способ применяют при неоднократной экспертизе одного и того же назначения.

4.3.3       Генерация

Генерация – это опрос экспертов, предназначенный для получения от них возможно большего числа предложений, идей, факторов, гипотез и других новых сведений, относящихся к предмету экспертизы.

Способы генерации:

Способы генерации подразделяются на 2 большие группы:

1) Способы, связанные с индивидуальной работой с экспертами

· Анкетные виды опроса

· Создание экспертами докладных записок

· Морфологический анализ

2) Способы, осуществляемые на заседании в составе экспертной группы, когда эксперты активно взаимодействуют друг с другом.

· Мозговая атака и ее разновидности

Способ генерации выбирают в зависимости от характера задачи и ситуации оценивания качества. Если стоит задача оценивания качества представленного объекта, то экспертам нужно дать возможность тщательного обдумывания, лучше применить один из способов индивидуального опроса экспертов.

В задачах прогнозного характера генерацию лучше осуществить, чередуя способы группового и индивидуального опроса.

Решение изобретательских задач рационально проводить с помощью мозговой атаки и ее разновидности.

Задачи, связанные с разрешением конфликтной ситуации применяют сценарные способы, деловые игры.

1º Морфологический анализ

Способ предназначен для выявления и анализа всех возможных вариантов осуществления вариантов осуществления некоторого мероприятия, либо всех вариантов сочетания показателей в оцениваемых объектах.

Сущность способа состоит в построении многомерной схемы, в которой перечислены основные показатели оцениваемых объектов и их градации (значения). Если удается перебрать все возможные сочетания градаций и каждому сочетанию поставить в соответствие определенное заключение, то квалиметрическая задача будет решена.

Достоинство: Способ позволяет надежно определить небольшое число вариантов, в рамках которых имеет смысл осуществлять дальнейший анализ.

Недостатки:

1) Морфологическая схема будет тем полнее, чем больше она содержит показателей и чем больше вариантов предусмотрено для каждого показателя.

При этом рост числа показателей катастрофически увеличивает объем работы.

2) Отсутствие уверенности в том, что при построении морфологической схемы учтены все возможные факторы и все варианты. Можно упустить один из важных вариантов.

2º Мозговая атака

Мозговая атака и ее разновидности (мозговой штурм, осада, атака разносом) имеют общую организационную черту. Это представляют собой проведение управляемой дискуссии небольшой группой экспертов. Для проведения мозговой атаки создается экспертная группа (6-25 чел), которая проводит одно или ряд заседаний продолжительностью не более 45 мин. Перед началом заседания проводят практическую ориентировку (2-3 мин), в которой напоминают исходные данные и выделяют единственную задачу предстоящей генерации.

Во время мозговой атаки организатор должен замечать новые предложения любого рода и способствовать их развитию. Нельзя выражать сомнения, скептицизм или объявлять предложение эксперта бесполезным, неверным или не относящимся к делу. Организатор также должен исключить критику предложения эксперта со стороны других экспертов. Разрешены только высказывания новых идей и выступления в развитие предыдущего предложения. Во время мозговой атаки должно быть получено как можно большее число новых предложений. Слишком тщательное обсуждение каждого предложения ведет к снижению продуктивности работы.

Мозговую атаку ведут два сопредседателя: специалист по проблеме экспертизы и специалист по процедуре мозговой атаки.

Весь ход заседания записывают на магнитофон. Основное управление ведет процедурный председатель. Он следит за тем, чтобы все эксперты выступали достаточно активно, не критиковали друг друга и не углублялись в анализ частных вопросов.

Председатель-специалист следит за тем, чтобы каждое высказывание аргументировалось в понятиях для экспертов терминов. Председатель-специалист выступать не имеет права. Он может только предложить тому или иному эксперту развить мысль, которая ему показалась неясной.

Способ отнесения оценки

Практика проведения мозговых атак показала, что многие полезные идеи не получают развития в последующих выступлениях и затухают. Это происходит из-за того, что эксперты обращают внимание на слабые места в выступлениях. В целях борьбы с этим недостатком используют способ отнесенной оценки. Его сущность состоит в разделении во времени процесса генерации и процесса практического анализа полученных данных.

После генерации делают перерыв, рабочая группа прослушивает магнитофонную запись и выделяет предложения подлежащие развитию и критическому анализу, затем происходит обсуждение этих предложений, назначение оценок и подготовка решений.

3º Мозговой штурм и мозговая осада.

Мозговой штурм – это усовершенствованный вариант мозговой атаки. Он состоит в том, чтобы разделить процессы генерации и развития и анализа предложений не только во времени, но и по группам экспертов. Одна группа экспертов, получив задачу, только выдвигает предложения, другая осуществляет их развитие и критический анализ.

В группу генерации входят 6-10 человек различных специальностей.

Регламент выступления 1 минута. Общая продолжительность генерации 20-40 мин. В группе анализа нужно тщательно прорабатывать все идеи, даже те, которые кажутся явно ошибочными. Если проводить мозговой штурм так, чтобы каждую идею обязательно доводить до логического завершения, то эффективность штурма повышается. В этом случае сильно возрастают затраты времени и штурм приходится вести в течение многих дней. Такой вариант штурма называют мозговой осадой.

4º Атака разносом.

Методика может быть приведена для обнаружения недочетов, недоделок и ошибочных заключений в разработке близкой к завершению.

В заседании принимают участие до 25 чел., которым заранее раздаются копии рабочего документа. Все эксперты выступают по очереди. Задача каждого эксперта – обнаружить как можно большее число недостатков работы. О достоинствах работы и о путях ликвидации ее недостатков эксперты говорить не должны. Каждому эксперту отводится на выступление 1-3 мин. Атака разносом является сильнодействующим средством негативного анализа. Авторам подготовленного документа лучше не присутствовать на заседании, чтобы не связывать инициативу экспертов и во избежание душевных травм. Организация атаки разносом не отличается от обычной мозговой атаки. Ведут заседание два сопредседателя, ход заседания записывается на магнитофон и продолжительность не более 45 мин.

Смягченной модификацией атаки разносом, является атака с использованием «адвокатов дьявола». Этот способ применяют в тех случаях, когда по условиям работы с подготовленным документом может полностью ознакомится только 2-3 чел. Их задача состоит в том, чтобы в течение 10-12 мин. сделать краткий обзор документа, доказывая его методическую неработоспособность и ошибочность. Остальные эксперты выступают после «адвокатов дьявола» с краткими замечаниями негативного характера. Высказывания о положительных результатах работы и дискуссия с «адвокатами дьявола» запрещены.

4.3.4. Коммуникация.

Общие принципы и особенности коммуникации.

Способы коммуникации предназначены для того, чтобы дать возможность каждому эксперту всесторонне обдумать полученную информацию, учесть аргументы коллег и предложить обоснованные оценки или без ущерба для самолюбия изменить ранее предложенные оценки.

Недостатки:

а) большие затраты времени на отдельные заседания и в целом на серию

б) при увеличении числа заседаний возрастает влияние высокоавторитетных экспертов, которые подавляют суждения менее авторитетных

Для борьбы с последним недостатком применяют способ отнесения оценки (переносят операцию назначения оценок на некоторое время после заседания)

3) способ обмена мнениями

Это вид мозговой атаки, целью которого является достижение соглашения между небольшим числом экспертов (6-8) или между представителями школ, имеющихся в экспертной группе. Процедурный председатель предварительно готовит вопросы, которые должны быть решены путем соглашения и по каждому вопросу приводит несколько вариантов решений. Эксперты заранее получают списки решений и дополняют их новыми. По ходу обсуждения председатель-специалист четко формулирует появившиеся новые идеи. После обсуждения эксперты независимо друг от друга определяют наиболее желательное решение, и далее рабочая группа находит наиболее приемлемое из них по оценкам. При недостаточной согласованности операцию повторяют. В процессе обмена мнениями возможна расширенная аргументация предложений, но нельзя критиковать коллег.

Основной недостаток в том, что результат обсуждения сильно зависит от способности председателя-специалиста находить и формулировать компромиссные решения.

4) «Мини-Дельфи»

Члены экспертной группы (10-25) в начале заседания независимо друг от друга назначают требуемые оценки. Опросные листы собирает организатор, выделяет согласованную группу и еретические оценки. Эксперты, предложившие выпадающие оценки далее выступают с их обоснованием. Затем участникам раздают новые опросные листы и они назначают уточненные оценки. Операцию повторяют 2-3 раза.

Достоинства:

а) быстрота выполнения метода

Рекомендация для Вас - Медь.

б) характер обсуждения таков, что конформизм сказывается мало

Недостаток: ввиду краткости обсуждения возможно проявление сильного влияния ошибочных аргументов.

4.3.4.2Способ анонимного обмена информацией

Состоит в том, что, кроме, оценки, эксперт приводит в анкете те или иные аргументы, на основании которых он пришел к своей оценке. Каждый эксперт выполняет операцию индивидуально. Заполненные анкеты с оценками и аргументацией собирает и обрабатывает организатор. Сводку аргументов дают экспертам вместе с указанием параметров полученного распределения оценок. Каждый получает возможность оценить аргументы, предложенные его коллегами и пересмотреть свои оценки с учетом новой информации. Сообщение экспертам имеющейся аргументации всегда приводит к сближению оценок. Однако, часто это обусловлено эффектом конформизма. Для его снижения целесообразно несколько исказить информацию. Экспертам, предложившим оценки, близкие к средним, сообщать только аргументацию еретиков, а еретикам – аргументацию согласованных оценок.

Достоинство: снятие давления авторитетов и влияния разговорчивых экспертов.

Недостаток: невозможность экспертом глубоко понять аргументацию коллег; если он плохо представляет себе основные закономерности оцениваемого объекта, то для него прямо противоположные аргументы могут оказаться равновесомыми и изменение оценок эксперта окажется случайным. Анонимная аргументация требует больших затрат времени на связь с экспертами и на обработку получаемой от них информации.