Диссертация (Аффективная оценка результата решения когнитивных задач), страница 9

В исследовании Эрлингера иДаннин (Ehrlinger, Dunning, 2003) студентам предлагалось заполнить опросник, вкотором нужно было дать оценку своей эффективности по ряду шкал, включаяабстрактное мышление и навыки программирования. Затем им предлагался тест,который для одних испытуемых описывался как тест на абстрактное мышление, адля других - как тест на способность к программированию. После прохождениятеста их также просили оценить свою эффективность в данном тесте.Испытуемые в целом оценивали себя лучше в области абстрактного мышления идавали более высокие оценки своих результатов, если считали, что тест направленна абстрактное мышление, хотя объективных различий в эффективностиобнаружено не было.

В другом эксперименте в той же работе авторы39манипулировали самооценками испытуемых и показали, что это приводит кснижению оценок эффективности в конкретном тесте. Испытуемым предлагалосьответить на ряд вопросов на тему географии, которые были либо легкими, либосложными. После чего им предлагалось отметить на карте местоположениегородов из заранее подготовленного списка. Хотя объективно точность ответовиспытуемых практически не различалась, те, кто отвечал на сложные вопросы,оценил свою эффективность в тесте ниже, чем тем, кто отвечал на легкиевопросы.Схожим образом эксперты с низкой и средней эффективностью склонныпереоценивать свою успешность. Например, предсказания профессиональныхбиржевых трейдеров не отличаются по своей точности от предсказаний обычныхлюдей.

При этом первые в значительно большей степени склонны переоцениватьуспешность своих прогнозов, чем вторые (Torngren, Montgomery, 2004).Аналогичное исследование прогнозов в условиях финансового кризиса показало,что хотя эксперты лишь слегка лучше в прогнозах на рынке акций и рынке валют,их уверенность в своих прогнозах значительно превосходит уверенностьобывателей(Zaleskiewicz,2011).Нужноотметить,чтоэффективностьклинических прогнозов в психологии и психиатрии также далека от совершенстваи практически всегда оказывается не лучше простейших статистических моделей(Ægisdóttir и др., 2006; Dawes, Faust, Meehl, 1989; Grove и др., 2000; Hilton, 2006).Однакопредставителиданныхпрофессийчастосклоннысчитатьсебяспособными делать точные предсказания и редко соглашаются с выводамиисследований (Dawes, 1994). Таким образом, мета-оценки эффективности могутбыть значительно завышенными по сравнению с объективными оценкамиэффективности даже в тех случаях, когда речь идет о профессионально значимыхобластях деятельности.В то же время Даннинг и др.

(Dunning и др., 2012) показали, что те, ктообъективно высокоэффективен в своей области склонны недооценивать своюэффективность в сравнении с другими, а те, кто низкоэффективен —40переоценивать. Авторы объясняют эффект недоуверенности высокоэффективныхиспытуемых тем, что они страдают от «проклятья знаний» (Camerer, Loewenstein,Weber, 2013), т.е. считают, что другие обладают теми же знаниями, что и они, и,как следствие, недооценивают себя.

Чрезмерно высокая оценка эффективности умалоэффективных испытуемых в свою очередь возникает в связи с тем, что навыкмета-когнитивной оценки тесно взаимосвязан с оцениваемым навыком. Говоряиначе, если человек не знает, как делать правильно, он не в состоянии понять,когда может совершить ошибку. Соответственно, его оценка эффективности вцелом оказывается завышенной, что приводит к появлению сверхуверенности вконкретном тесте.Разумеется,помимопредставленияособственнойэффективности,существует большое количество других схем, позволяющих давать мета-оценкивне зависимости от возможности прямой оценки эффективности решения.Например, Гигеренцер и коллеги (Gigerenzer; Gigerenzer, Goldstein, 1996;Gigerenzer, Hoffrage, Goldstein, 2008; Gigerenzer, Hoffrage, Kleinbölting, 1991)указывают, что оценки уверенности могут строиться на основе «вероятностныхментальных моделей».

Они предполагают, что мы вполне можем оценитьправильность ответа, опираясь на ряд имплицитных логических связей междуответом и нашими знаниями о мире. Например, человек может быть уверен, чтофутбольная команда Томска играет хуже команды Сан-Паулу, хотя он никогда неслышал ни о той, ни о другой. Его уверенность будет основана на том, что онзнает, например, что Сан-Паулу – в Бразилии, а бразильцы, в целом, хорошоиграют в футбол. Подобного рода косвенные оценки характерны не только дляуверенности. Исследования Кориата, уже упоминавшиеся ранее, показали, чтооценки чувства знания, т.е. оценки того, что я знаю нечто, когда я не могу этонечто вспомнить, в задачах воспроизведения определяются не наличием особогодоступа к памяти, а количеством все же воспроизводимой информации (Koriat,1993).

При этом не важно, правильная или неправильная информациявоспроизводится. При вопросе, знает ли испытуемый, как звали полководца,который вместе с Кутузовым и Багратионом был одним из командующих41российской армии в войне 1812 года, он может вспомнить памятник на Казанскойплощади, фрагменты из романа «Война и мир», то, что эта война подробноизучалась на уроках истории, и т.д., и т.п. Исходя из того, что он вспоминаетдостаточно много связанного материала, испытуемый, вероятно, ответит, чтознает ответ, даже если не может вспомнить или вовсе не знает его. Схожимобразом, чувство «на кончике языка» при запоминании пар слов оказываетсясвязано с частотой запоминания слова-ключа независимо от частоты запоминанияслова-цели (Metcalfe, Schwartz, Joaquim, 1993).

Вероятность того, что у человекавозникнет чувство «на кончике языка» для слова НОРА выше, если он запоминалпары СОВА-НОРА и СОВА-КРОЛИК, чем если он запоминал только первуюпару.Описанные эффекты и стоящие за ними модели говорят о том, что нам ненужно иметь специальный доступ к той информации, на основе которойпринимается решение, чтобы оценить его эффективность, как это предполагаетсяв теориях дополнительной оценки, описанных в предыдущей части статьи. Нам, впринципе, вообще не нужен доступ к этой информации, как это предполагаетсятеориями частичного доступа. Эта идея хорошо иллюстрируется работой Мэтвии коллег (Matvey, Dunlosky, Guttentag, 2001). Авторы продемонстрировали, чтооценки степени заученности материала при задаче генерации слова неразличаются для тех, кто непосредственно генерирует слова, и тех, кто тольконаблюдает за этим процессом.

Другими словами, внешний наблюдатель на основеданных об испытуемом делает те же выводы, что и сам испытуемый. У внешнегонаблюдателя, по определению, нет доступа к информации, на основе которойпринималось решение, а значит, для мета-оценок эта информация не нужна.Основная трудность для моделей косвен ной оценки заключается вобъяснении того, почему мета-оценка в случае эффективного решениякогнитивных задач все же обычно выше, чем в случае неэффективного. Другимисловами, если у нас нет особого доступа к процессу или данным, как мы можем42отличить ситуации правильного и неправильного ответа или правильного илинеправильного предсказания в оценка чувства знания?Кориат высказывает следующую точку зрения: «Мета-знания точны потому,что точны знания» (Koriat, 2011, с.

119). Если при звучании некоторого вопроса учеловека возникает множество ассоциаций, то более вероятно, что он знает ответна этот вопрос, чем если ассоциаций мало или вовсе нет. Поэтому, хотя в рядеслучаев эвристика «больше ассоциаций – больше уверенность в знании» будетошибочна, в целом она вполне полезна для мета-оценки. Исходя из моделисамосогласованности Кориата (Koriat, 2012), оценки уверенности отражают необъективнуюточностьответа,асогласованностьразличныхпроверок,направленных на выяснение ответа. С точки зрения этой теории, принятиерешения можно описать как многократный выбор из набора возможных ключей,относящихся к ответу. Уверенность определяется долей ключей, относящихся кответу в итоговой выборке.

Эта модель отличается от других моделей оценкинеопределенности, рассмотренных ранее (Audley, 1960; Vickers, 1970), толькотем, что здесь прямо указано, что ключи могут как непосредственно относиться кответу, так и иметь к нему только косвенное отношение, как, например, указаннаявыше доступность информации. Впрочем, если это те же ключи, на основекоторых человек принимает решение, то становится неясно, как разграничитькосвенные и прямые ключи к ответу. Подобный взгляд размывает границу междуданной теорией и теориями дополнительной оценки, поскольку предполагается,что человек использует одни и те же эвристики для принятия решения и оценкиуверенности, и тогда к нему оказывается применима та же критика, что и ктеориям дополнительной оценки.Другим возможным вариантом ответа является предположение о частичномсовпадении между эвристиками, используемыми для принятия решения и для егооценки.