Экспертное оценивание в психологии

Курс: «Методика психологического исследования»

(Материалы для самостоятельного изучения студентами психологами и социальными работниками)

ЛЕКЦИЯ № 20

Экспертное оценивание в психологии

ВОПРОСЫ:

1)сущность и специфические особенности экспертного оце­нивания;

2)причины нарушения достоверности результатов экс­пертизы (на примере дидактического оценивания).

Рекомендуемые материалы

Эксперт - (от лат. "опытный", "искушенный") - компе­тентное лицо, имеющее специальный опыт в конкретной обла­сти и участвующее в исследовании в качестве источника не­посредственной информации. Его задачей является выраже­ние своего мнения о качестве объекта или явления по опреде­ленной шкале в соответствии с предусмотренными для этого правилами.

Основное содержание метода экспертных оценок заклю­чается в рациональной организации работы одного или не­скольких специалистов над поставленной проблемой с регист­рацией и последующей обработкой полученных данных.

В психологическом исследовании экспертное оценивание может рассматриваться как в качестве самостоятельного ме­тода познания, так и в виде существенного компонента проце­дур наблюдения, опроса, эксперимента, анализа продуктов дея­тельности, словом, везде, где имеет место нестандартизированный переход от признаков к выводам.

Более того, тс или иные разновидности экспертизы приме­няются на любом этапе исследования: в определении его це­лей и задач, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интерпретации понятийного ап­парата, для обоснования адекватности используемого инстру­ментария, в процессе выработки рекомендаций и т.д.

Разумеется, экспертное оценивание не ограничено предела­ми психологической науки. Промышленность, образование, ме­дицина, юриспруденция, спорт - поистине, трудно найти ту об­ласть знания или сферу деятельности, где оно не находило бы применений с давних пор и по настоящее время.

Особый интерес к исследовательскому потенциалу данно­го метода появился после успешной реализации так называ­емого "Дельфийского проекта". Суть его, как известно, состо­яла в решении сугубо актуальной после Второй мировой войны задачи для правительства США: определении количества ядерных зарядов, достаточных для обеспечения безопасности страны и ее союзников. В то время частная фирма "Ренд кор­порейшн", предложив экспертное оценивание в качестве спо­соба решения проблемы, превзошла но ряду параметров (крат­ковременность процедур, их сравнительно малая трудоемкость и себестоимость) традиционные методики добывания инфор­мации Пентагона и ЦРУ. Вместо сотен секретных агентов и десятков аналитиков, выявляющих потенциальные цели на тер­ритории противника, было задействовано семь экспертов (че­тыре экономиста, специалист по атомным взрывам, специалист по системному анализу и инженер-электронщик). Еще несколь­ко человек снабжали их разного рода информацией.

Само название проекта возникло в кругах скептически на­строенных чиновников, утверждавших, что достоверность его результатов вполне соответствует качеству предсказаний древ­негреческих прорицательниц в храме Аполлона в Дельфах. Однако независимая проверка сделанных экспертами обосно­ваний стала доказательством адекватности данного метода ис­следовательской задаче.

Успех "Дельфийского проекта" был обусловлен тщатель­ностью подбора экспертов, своевременным и всесторонним их информированием, а также эффективностью организации всех этапов оценочной деятельности.

Рассмотрим наиболее существенные особенности этой экс­пертизы.

К основным чертам организации "Дельфийского про­екта" следует отнести:

1)цикличность процедуры, повторяемость се стадий. (Как известно, вначале каждый эксперт выдавал свою оценку и обо­сновывал ее. Затем составлялась итоговая сводка, отражаю­щая мнения всех участников работы. Изучив эту информа­цию, эксперты корректировали свои прежние оценки и коммен­тарии. Формулирование индивидуальных мнений повторялось четыре раза. При этом было отмечено значительное сближение
экспертных суждений между собой);

2)отсутствие прямого контакта экспертов друг с другом, что гарантировало сведение к минимуму интерсубъективных влияний общения на качество результатов;

3)анонимность участников работы, позволявшая им при­нимать во внимание оценки и обоснования других, но не их звания, регалии, общественное положение или научный авто­ритет;

4)оперирование не только количественными оценками, но и их аргументацией, что способствовало повышению уровня обдуманности индивидуальных суждений;

5)участие в работе специальной группы, обеспечивающей обработку и передачу экспертной информации.

В последнем случае имеется в виду так называемая мониторная группа, деятельность которой в экспертном оценива­нии обычно включает в себя формулирование исследователь­ской задачи, подбор компетентных специалистов, их инструк­таж, разработку оценочных параметров, обеспечение работы экспертов (техническое, математико-статистическую обработ­ку данных, логико-семантическое оформление суждений). Это своеобразные "эксперты но организации экспертиз".

Недостатки в осуществлении мониторной деятельности са­мым пагубным образом сказываются на качестве оценочных процедур. Дело в том, что рассматриваемый нами метод отно­сится к категории субъективных. Это, напомним, означает признание факта, что результаты экспертного оценивания в зна­чительней .мере зависят не только от объекта исследования, но и от характеристик тех лиц, которые это исследование выполняют.

Иногда эксперта сравнивают с измерительным "устрой­ством", к сожалению, не всегда способным к точной работе. С одной стороны, это может быть связано с темы или иными его качествами (некомпетентностью, предвзятостью, недобросове­стностью, незаинтересованностью в успехе дела, неувереннос­тью в себе и т.д.), с другой стороны, быть следствием целого ряда просчетов мониторной группы (например, таких, как не­четкость в определении целей работы, осуществление эксперт­ного опроса без специально разработанной программы, невнят­ность инструкций по оценке, недостаточный учет влияния фак­торов искажения достоверности результатов экспертизы, по­верхностность в обработке суждений экспертов).

Следует заметить, что основной задачей мониторной дея­тельности является максимальное приближение оценок экс­пертов к истине. Субъективность метода вовсе не означает его неэффективности. Экспертное оценивание становится спосо­бом получения недостоверной информации только в тех слу­чаях, когда плохо подобраны специалисты и некачественно организована их работа.

На данной схеме представлена классификация типов экспертиз (по П.Б. Шошину)

Перейдем к анализу содержания оценочной деятельности экспертов. В целом в ней можно выделить такие этапы:

1.Подготовка к экспертизе (изучение порядка и правил оценивания, ознакомление со способами регистрации сужде­ний, актуализация знаний в данной конкретной области).

2.Исследование объекта экспертизы.

3.Возникновение имплицитной оценки - той, где субъек­тивное впечатление, слабо дифференцированное и неустойчи­вое, еще не получило выражения средствами внутренней речи, символами или словами.

4.Экспликация оценки - формулирование ее в уме, а затем и в вербальном или символическом виде.

5.Проверка правильности результата оценивания.

6.Аргументирование оценки.

7.Участие в информационном обмене между экспертами.

Работа экспертов может происходить в условиях большей или меньшей стандартизации. Так, выражение их суждений в зависимости от особенностей исследования планируется в фор­ме свободного интервью или анкетирования с полузакрытыми (или открытыми) вопросами, или же как стандартизирован­ное интервью.

Особо следует остановиться на статистической обработке материала.

В практике научных исследований традиционно выделяют такие типы измерительных шкал:

1.  Шкала наименований (или номинальная). Здесь уста­навливается лишь факт подобия или различия объектов отно­сительно какого-либо признака. Это деление на качественно однородные группы. Объекты в пределах каждой из групп располагаются в случайном порядке, в любой последователь­ности. При статистической обработке данных в такого рода шкале обычно лишь подсчитывается частотность отнесения объектов к категории.

Примерами категориальных признаков являются "девуш­ки - юноши", "экстраверты - интроверты", "сангвиники - флег­матики - холерики - меланхолики", "дети - взрослые" и т.д. Главное, чтобы каждый объект входил всякий раз только в одну группу.

2.  Шкала порядковая (или ранговая). Предполагает рас­пределение объектов по интенсивности проявлений того или иного признака. С помощью нее устанавливается последова­тельность носителей признака и направление степени его вы­раженности в ряду объектов. Дело ограничивается определе­нием отношений "больше - меньше", "выше - ниже" и т.п. Таким образом, каждый объект занимает свое место в ряду других.

Однако это не означает, что интервалы между делениями такой шкалы равны друг другу. К примеру, если один школь­ник ответил на "2" балла, а другой - на "4", нельзя сказать, что кто-то из них знает учебный материал вдвое лучше, чем дру­гой. Неправомерно складывать, вычитать, умножать, делить по­рядковые места (ранги) или с их помощью вычислять среднее арифметическое. При статистической обработке данных в пре­делах этой шкалы обычно ограничиваются установлением ме­дианы (величины выраженности признака, соответствующей объекту со средним рангом).

Примером использования шкалы порядка является, скажем, составление упорядоченного списка испытуемых, показавших тс или иные результаты при выполнении определенной дея­тельности.

3.  Шкала интервалов. К ней относят материалы, в кото­рых дана количественная оценка изучаемого объекта в фик­сированных единицах. Между делениями такой шкалы рав­ные расстояния, одинаковая удаленность.

К примеру, если один человек при тестировании интеллекта набрал 100 баллов, а другой - 90, это означает, что разли­чия в показателях их интеллекта столь же велики, как если бы один получил 60 баллов за тот же тест, а другой - лишь 50. Однако это вовсе не подразумевает, что имеющий показатель 100 вдвое "интеллектуальнее", чем тот, у кого 50 баллов. Дело в том, что точка отсчета здесь установлена произвольно. Даже если при выполнении теста не будет решена ни одна задача, мы не решимся утверждать, что показатель интеллекта равен нулю.

Основная проблема при ориентации оценивания на шкалу интервалов заключена в поиске такой единицы, которая во всех случаях была бы тождественна сама себе, то есть неиз­менна, одинакова. А это далеко не всегда возможно.

С помощью данной шкалы можно выполнять обычные ал­гебраические операции типа сложения величин и вычисления среднего арифметического.

4. Шкала отношений (или пропорций). В отличие от пре­дыдущей шкалы здесь не только равные интервалы между еди­ницами измерения, но и имеется абсолютная точка, от которой и ведется отсчет. Тем самым становятся возможными выводы о пропорциях (типа "в два раза меньше", "в полтора раза выше", "в четыре раза тяжелее" и т.п.). В рамках этой шкалы могут производиться все статистические действия.

Однако, изучая тс или иные психологические признаки, прак­тически невозможно исходить из некоего "абсолютного нуля". Шкала отношений используется, как правило, только если речь идет о физических особенностях испытуемых (типа веса, рос­та, размера и др.).

Итак, мониторная группа, определив тин базовой измери­тельной шкалы, адекватный исследованию, разрабатывает для экспертов конкретные параметры, но которым будут вынесе­ны индивидуальные суждения. Важно, чтобы в последующем, при статистической обработке и логическом сопоставлении результатов экспертизы не осуществлялось неправомерных вы­ходов за пределы возможностей того или иного типа измерения.

После вынесения оценок экспертами исследователь осуще­ствляет обычно следующие операции:

- проверку индивидуальных суждений и обоснований на непротиворечивость составляющих;

- анализ совокупности мнений экспертов с целью уста­новления степени согласованности их между собой;

- выделение групп экспертов с близкими позициями в слу­чае наличия существенных расхождений в оценках;

- выявление причин разброса индивидуальных мнений;

- определение влияния компетентности экспертов на со­держание их оценок и обоснований.

Теперь обратимся к рассмотрению причин нарушения дос­товерности результатов в ходе экспертного оценивания. В ка­честве примера используем дидактическое оценивание, осу­ществляемое педагогами для выявления качества знаний и степени сформированности умений и навыков обучаемых.

Известно, что иногда несколько педагогов, оценивая неза­висимо друг от друга один и тот же устный ответ или пись­менную работу ученика, выставляют совершенно разные от­метки но традиционной шкале успешности обучения. Бывает и так, что учитель, повторно оценивая письменную работу че­рез некоторый промежуток времени, выставляет отметку, от­личающуюся (подчас значительно) от собственной отметки, сделанной ранее. Почему это происходит?

Можно выделить следующие причины оценочного субъек­тивизма:

1.  Полифункциональность отметки в учебном процессе иног­да приводит к тому, что вступают в противоречие функции контроля и воспитания, ориентации учащегося в его достиже­ниях и стимуляции к достижениям.

Как писал но этому поводу Ш.А. Амонашвили: "Фемида-учитель, взвешивая знания, не может оставаться беспристраст­ной к ученику, порой сама того не сознавая. И на чашу с экви­валентами надают мелкие крупицы субъективизма: "Он лен­тяй, можно было бы поставить "3", но нет, лучше пусть подтя­нется... А этот ...смотри как постарался ... молодец! Давай порадую его, поощрю! Не может учитель поступить иначе: его опыт, знание им жизни, радостей и огорчений каждого ребенка обязательно влияют на оценку..." [ 1, с. 15 ].

2.  Неисчисляемость оценочных процедур. Традиционная для современного образования шкала успешности обучения является порядковой. Учитель не измеряет качества ответов или работ, а сравнивает их с неким идеальным образом, этало­ном. Он пользуется цифрами, но не делает вычислений, при­меняя обозначения количества в качестве ярлыков. Естественно, что каждый из них делает это по-своему.

3.Разный уровень профессиональной подготовленности эк­спертов, в частности, степень владения учебным материалом, умение пользоваться данным средством контроля, коммуникативно-аудиальные умения.

4.  Индивидуально-личностные особенности педагогов, в том числе:

- степень автономности от социальных стереотипов;

- уровень инертности сложившихся к моменту оценива­ния представлений о возможностях ученика (в силу этого "от­личнику" так же трудно бывает получить "3", как "троечни­ку" - "5", даже если их ответы заслуживают такой отметки);

- различия в умении абстрагироваться от имеющихся меж­личностных отношений с учащимся;

- характерологические особенности: ответственность, доб­росовестность, собранность, заинтересованность и др.;

различия во влиянии на оценку несущественных аспек­тов ответа или работы ученика, таких как темп речи, дикция, громкость голоса, наличие пауз и количество оговорок, ора­торские способности, особенности почерка, число исправлений или орфографических ошибок (если оценивается не грамот­ность) и т.д.

Особо выделим здесь несколько т.н. "эффектов".

Эффект ореола (в пед. оценивании) заключается во влия­нии на отметку сложившихся представлений о возможностях ученика. Это влияние образа учащегося, который обычно "глобален", слабо дифференцирован, стереотипен и статичен (к при­меру, "умный студент", "интересуется моей дисциплиной" ит.д.).

Эффект фасада (в пед. оценивании) обозначает зависи­мость отметки от впечатления, произведенного отвечающим в момент оценивания. Известно, что на восприятие эксперта влияют внешний вид, пол, манеры поведения, логичность отве­та, уверенность отвечающего и др.

5.   Ситуационные условия оценивания, такие как:

- степень усталости проверяющего;

-  различия в оборудовании рабочего места и характерис­тиках условий труда (освещенность, температура помещения и т.д.);

фактор чередования различных по качеству ответов или работ;

-  воздействие на отметку общего уровня подготовленнос­ти класса.

Необходимо пояснить последние тезисы

Эффект контраста отражает зависимость отметки от несколь­ких предшествующих отметок других учащихся. Известно, что хороший ответ часто оценивается выше, чем он заслуживает, если ему предшествовали плохие но качеству ответы. И, на­оборот, слабый ответ может быть оценен еще хуже, если он выслушивается после серии отличных ответов.

Эффект фона обозначает влияние на отметку выявленного педагогом к тому времени общего уровня подготовленности класса. По сути, это внутригрупповая поправка в систему норм оценки. Так, в "слабом" классе бывает намного легче полу­чить хорошую отметку, чем в "сильном", за счет выделения на общем фоне.

Специфика той или иной сферы, естественно, определяет свой набор причин искажения достоверности результатов эк­спертного оценивания. Однако многие из тех, что были назва­ны выше, имеют весьма широкое распространение.

До сих пор речь шла о субъективизме эксперта, работаю­щего индивидуально, без непосредственного (очного) взаимо­действия с другими.  Следует заметить, что в работе группы специалистов, сообща оценивающих объект и дискутирующих о его характеристиках, влияние многих причин искажения качества экспертизы существенно ослабляется. Но при этом далеко не всегда можно гарантировать повышение достовер­ности результатов процедуры. Дело в том, что при этом воз­никают феномены интерсубъективного искажения результа­тов оценивания.

К причинам нарушения достоверности данных при очном групповом оценивании следует отнести:

- стремление к идентификации сообщения с его источни­ком, в силу которого слушатель бывает склонен принять или опровергнуть чье-либо мнение в зависимости не от реального содержания, но от отношения к человеку, высказавшему его;

- центростремительное давление, проявляющееся в виде смещения экспертных оценок в ходе обсуждения в сторону "безопасной середины";

- тенденцию защищать собственную позицию, высказан­ную публично, даже после того, как сам эксперт убедился в  её неверности;

- стремление к доминированию как личностная особенность, возникающая часто у лиц, не являющихся признанны­ми лидерами, но претендующих на это;

- влияние феномена "огруппления мышления", появляю­щееся в том случае, когда чувство принадлежности человека к группе подталкивает его к поддержке решений не столько пра­вильных, сколько способных обеспечить единодушие;

- неустойчивость имплицитной оценки, легко изменяющей­ся под воздействием уже высказанных мнений со стороны дру­гих экспертов.

Большинство из этих факторов не оказывают особого вли­яния на итоги группового оценивания, осуществляющегося в заочной форме, без непосредственного взаимодействия экспер­тов между собой. Однако заочная форма экспертизы обычно требует нескольких туров, что увеличивает продолжительность и трудоемкость процедуры.

ОСНОВНЫЕ ПОНЯТИЯ: экспертное оценивание; экс­перт; мониторная группа; "Дельфийский проект"; имплицит­ная оценка; экспликация оценки; типы измерительных шкал: наименований (номинальная), порядковая (ранговая), интер­валов, отношений (пропорций).

Вопросы для обсуждения:

1.В чем состоит своеобразие экспертного оценивания в
сравнении с другими методами опроса? Каковы его преиму­щества и недостатки?

2.Каких ошибок следует избегать при организации экс­пертизы?

3.По каким причинам возможно искажение достоверности
результатов экспертного оценивания, производимого в психо­логическом исследовании?

Упражнение 1:

Опишите, как бы вы организовали экспертное оценивание влияния условий обучения студентов на динамику степени их утомления в течение рабочей недели.

Упражнение 2:

Разработайте программу осуществления экспертного оце­нивания эффективности мер по повышению качества организации учебного процесса у студентов психологического фа­культета.

Упражнение 3:

Проанализируйте и обсудите ошибки и недочеты, возник­шие при выполнении упражнений 1 и 2.

Упражнение 4:

Понаблюдав в течение некоторого времени за жизнью класса (студенческой группы), произведите экспертное оценивание качества психологической атмосферы в ней.

ЛАБОРАТОРНАЯ РАБОТА

ЦЕЛЬ: овладение умениями осуществления экспертной оценки качеств личности руководителя и характеристик спо­собов управления (по методике Ю. П. Платонова).

В представленном ниже бланке для экспертной оценки вы­делено девять базовых характеристик руководителя:

1.Определенность - раскрывает структуру интересов к раз­личным аспектам деятельности;

2.Осознанность - осознание целей организаторской дея­тельности;

3.Целеустремленность - приоритет мотивов организаторс­кой деятельности;

4.Избирательность - способность глубоко и полно отра­жать психологические особенности коллектива;

5.Тактичность - способность соблюдать чувство меры и находить наилучшую форму взаимоотношений;

6.Действенность - умение увлечь за собой людей, мобилизировать их;

7.Требовательность - готовность проявлять данное каче­ство в различных формах в зависимости от особенностей си­туаций;

8.Критичность - способность обнаружить и выразить зна­чимые отклонения от установленных норм;

9.Ответственность - способность брать на себя ответствен­ность за результаты собственной работы и деятельности кол­лектива.

Каждая характеристика определяется по проявлению в дея­тельности руководителя семи признаков. Оценка признака дела­ется по пятибалльной шкале, где низший балл -1, а высший - 5.

В состав группы экспертов необходимо включить 7-10 чле­нов трудового (учебного) коллектива одного ранга. В зависи­мости от конкретных условий исследование может проводить­ся либо в групповой форме (но без взаимодействия экспер­тов), либо индивидуально. Количество бланков должно соот­ветствовать числу экспертов.

Итого:

При обработке результатов исследователь подсчитывает сумму баллов, выставленных по каждой из 9 характеристик. Итоги переносятся в обобщающую таблицу.

 Затем вычисля­ются:

1.Сумма баллов, выставленных в целом каждым экспертом.

2.Средний балл каждого эксперта.

3.Сумма баллов, выставленных всей группой экспертов по
каждой отдельной характеристике.

4.Средние баллы группы по отдельным характеристикам.

5.Общая сумма баллов всех экспертов.

6.Общий средний балл группы экспертов.

Обобщающая таблица

Общий средний балл позволяет выявить уровень качеств личности руководителя и характеристик способов управления. Так, значения менее 21 интерпретируются как практическая непригодность к выполнению функций руководителя; показа­тели в интервале 21-27 - низкий уровень, показатели от 28 до 35 - средний уровень, и более 36 - высокий уровень.

В том случае, если при обработке результатов выяснится, что максимальная и минимальная экспертные оценки резко отличаются от остальных, то целесообразно исключить их из общего рассмотрения. Значительная вариативность в оценках экспертов может свидетельствовать о неоднородности группы, о разном уровне компетентности экспертов.

ЛИТЕРАТУРА

1.Амонашвили III.Л. Воспитательная и образовательная функция оценки учения школьников. - М., 1984

Лекция "Комплексный технологический контроль и стресс-коррозионный мониторинг состояния МГ" также может быть Вам полезна.

2.Введение в практическую социальную психологию ..Ред. Ю.М.Жуков, JI.Л. Петровская, О.В. Соловьева. - М., 1996

3.Ингенкамп К. Педагогическая диагностика. - М., 1991

А. Основы психодиагностики /Ред. Л.Г. Шмелёв. - Р-н-Д., 1996

5. Практикум по социологии /Ред. И.М. Слепенков, НИ. Дряхлев и др.   -  М.,   1992

6. Практикум по экспериментальной и прикладной психологии / Ред. Л.Л. Крылов. - СПб., 1997

7. Шошин П.Б. Метод экспертных оценок. - М., 1987