Достоверные и артефактные выводы в экспериментальном исследовании

Содержание

1. Контроль за выводом как завершающий этап экспериментальной психологической гипотезы

1.1 Основные источники артефактных выводов

1.2 Оценка валидности эксперимента как условие достоверных выводов

1.3 Оценка адекватности обобщений

2. Схема вывода о психологической гипотезе на основе результатов и оценки валидности эксперимента

3. Содержательные выводы и логическая компетентность при обобщении данных психологического исследования

3.1 Вывод о подкрепленности теории экспериментальными фактами

3.2 Проблема возникновения новых гипотез

3.3 Проблема неверных обобщений как артефактных выводов

3.4 Редукционизм выводов

Список литературы

1. Контроль за выводом как завершающий этап экспериментальной психологической гипотезы

После этапов планирования и проведения психологического исследования, получения и обсуждения результатов необходимо сделать выводы, или обобщения. Возможности обобщений существенно зависят от реализованного метода исследования (наблюдение, корреляционное исследование, эксперимент или квазиэксперимент). Так, причинные объяснения установленной эмпирически закономерности возможны только при проведении экспериментального исследования. Тип эксперимента, т.е. решение проблем соответствия составляющих экспериментальной модели переменным, представленным в реальных условиях жизнедеятельности или в теоретической модели, в свою очередь задает и ограничивает возможности обобщений. Направленность эксперимента – проводился он с практическими или научными целями – также указывает пути последующих обобщений. Выводы о необходимости отвергнуть проверяемую гипотезу или считать ее выдержавшей эмпирическую проверку, а также о возможности переноса обобщений могут оказаться достоверными, или валидными, либо недостоверными (неправильными, артефактными). При разнице в организации теоретических выводов, включающих в экспериментальном исследовании оценку конструктной валидности и принцип фальсификации (асимметрии выводов), и выводов, направленных на обоснование практических рекомендаций или принятие "рабочей гипотезы", можно выделить ряд общих проблем, решаемых исследователем, если он не хочет ошибиться в обобщениях.

Оценка обоснованности, или достоверности, выводов, осуществляемых на основе анализа результатов проведенных экспериментов, включает ряд линий рассуждения исследователя, в которых этапы нормативного логического умозаключения сопутствуют необходимым "прорывам" в обобщениях. Возможности ошибиться в уровне обобщения относительно проверяемой психологической гипотезы, в принятии решения об экспериментальном факте или о виде полученной зависимости остаются всегда, в том числе и в случае получения достоверных экспериментальных результатов. На основании правильно спланированного и проведенного, т.е. валидного, эксперимента исследователь получает достоверные результаты. Однако их обобщение предполагает ряд умозаключений, в ходе которых психолог может проявить логическую некомпетентность или ошибки рассуждений. Применительно к экспериментальному исследованию это означает не просто нарушение правил логики (при соотнесении общих и частных посылок в умозаключениях), но также и подмену нормативов гипотетико-дедуктивного рассуждения принятием необоснованных доводов. В результате сделанные выводы оказываются невалидными, недостоверными, или артефактными.

1.1 Основные источники артефактных выводов

Можно выделить два основных пути к ошибочным, или артефактным, выводам:

• проведение невалидного эксперимента и вследствие этого принятие ошибочных решений о результатах действия переменных (т.е. о полученных экспериментальных эффектах);

• недостаточный контроль за выводом, т.е. нарушение правил гипотетико-дедуктивного рассуждения и осуществление неверных умозаключений или неверных обобщений.

Во втором случае подразумевается, что артефактные выводы могут быть сделаны и после получения достоверных данных в валидном эксперименте. Здесь также можно указать два основных направления возможных ошибок. С одной стороны, это недостоверные выводы при статистических решениях (ошибки в принятии решений об отвержении или не отвержении нуль-гипотез). Они охватывают переход от уровня статистических гипотез к уровню психологических: экспериментальной гипотезе, контргипотезе или предполагают поиск третьей – конкурирующей гипотезы. С другой стороны, ошибки в выводах могут характеризовать переход исследователя к таким обобщениям, когда используются необоснованные доводы или логика соотнесения эмпирических результатов и теоретических гипотез подменяется субъективными предпочтениями в направленности обоснований.

Дискурсивные и интуитивные компоненты неразрывно связаны в регуляции мысли исследователя. Хотя нет правил для продуцирования "правильных" гипотез, но в науке разработаны (сложились в исследовательских парадигмах) правила организации достоверных, т.е. валидных, выводов. В психологии это в первую очередь понимание, что реализация того или иного метода (пути, который проходит исследователь в сборе данных) предполагает не только содержательную оценку гипотез, но и выполнение "привязанных" к методу нормативов соотнесения результатов и возможных на их основе выводов. Планирование исследования направляет возможности последующих обобщений. Теоретическая направленность выводов, связанная с принятием положений той или иной психологической школы, соотносится при этом с выполнением таких правил экспериментирования, как выполнение условий причинного вывода, экспериментальный контроль переменных и т.д. Именно на этапе выводов психолог наиболее полагается на ненормативные компоненты в индивидуально осуществляемом обобщении. Исследователи могут быть в разной степени критичны к ходу своих размышлений, но как профессионалы они должны представлять те возможные подвохи, которые им необходимо преодолевать на пути к правильным выводам.

В данной главе представлены типичные направления ошибок в выводах, допускаемые психологами при обобщениях:

• включение в выводы утверждений, необоснованно полагаемых в качестве их оснований, но эмпирически не подтвержденных (т.е. не связанных с результатами исследования или имеющих оценочный характер);

• осуществление неправомерных обобщений при переносе зависимости на другие психологические реалии (другие ситуации, виды деятельности, популяции);

• подмена нормативов экспериментального метода субъективно очевидными, но логически не обоснованными умозаключениями;

• нарушения правил соотнесения теоретических гипотез и эмпирических результатов и ряд других.

В этой главе намечены также те основные направления контроля за выводом, учет которых позволяет избежать типичных ошибок в выводах на этом последнем этапе исследования.

Любой эксперимент проводится с целью обобщений за его пределами, но это не означает, что на основе экспериментально полученных данных могут быть сделаны любые обобщения. Оценка валидности проведенного исследования – существенное условие контроля за выводами, связанное как с решениями об установленной зависимоста, так и с необходимостью формулировать конкурирующие гипотезы, источником которых могут выступать "технические" условия проведения эксперимента.

1.2 Оценка валидности эксперимента как условие достоверных выводов

Иногда оценку достоверности выводов связывают с возможностью сделать на основе проведенного эксперимента такие выводы, которые являлись бы обоснованными в случае приближения этого эксперимента к безупречному. Более широкая трактовка достоверности выводов включает оценку их правильности с точки зрения проявленной исследователем логической компетентности и тем самым правомерности сделанных в выводах обобщенных высказываний. Оценка репрезентативности испытуемых, экспериментальных условий и достоверности полученных результатов является важным этапом контроля такого аспекта обобщений, как обоснование переноса установленных зависимостей на другие ситуации, виды деятельности, других испытуемых и т.д. В главе 8 эти аспекты подробно обсуждались в связи с оценкой разных видов валидности психологического эксперимента.

Первым этапом при оценке достоверности выводов является все же оценка правильности принятия решений об экспериментальном эффекте, или установленном эмпирически отношении между переменными. Не затрагивая проблем статистических выводов, связанных с принятием решения о значимости полученных в эксперименте различий (или связей) между выборочными значениями переменных, отметим общие линии следующих за статистическими решениями рассуждений о возможности принятия экспериментальной гипотезы.

Во-первых, это рассуждения, реализуемые исследователем при переходах между различными уровнями проверяемых гипотез: статистических и содержательных (т.е. психологических), экспериментальных (включая контргипотезу) и теоретических. Во-вторых, это рассуждения при обосновании интерпретационного звена экспериментальной и теоретической гипотез, т.е. психологического понимания принятого причинного объяснения, и других – конкурирующих психологических объяснений.

1.3 Оценка адекватности обобщений

Ошибки обобщений могут возникать потому, что они включают "ненормативные", т.е. не облекаемые в форму логических требований, рассуждения о допустимых уровнях распространения экспериментальной зависимости на другие уровни исследуемой психологической реальности. Эти обобщения касаются утверждений о переносе выявленных экспериментально закономерностей на другие виды ситуаций, другие выборки испытуемых и т.д. При этом подробно обсуждаются основания такого распространения обобщений за пределы эксперимента, учитывая способы отбора испытуемых, факторы выполняемых ими задач, репрезентативности установленной зависимости с точки зрения уровней представленных в экспериментальной ситуации дополнительных переменных, но прежде всего аспекты внешней и конструктной валидности.

При теоретически направленных обобщениях важнейшим аспектом оказывается учет типа проведенного эксперимента. Напомним, что при лабораторном эксперименте обобщение предполагает путь "модель–эксперимент–теория".

Признание ограниченности в широте обобщения той или иной закономерности связано не только с оценкой типа проведенного исследования и представленных в нем уровней дополнительных переменных. Ограничения возникают при решении вопросов о содержательном соответствии типа психологической регуляции, представленной изучаемыми в эксперименте базисными процессами, и подразумеваемой (гипотетической) научной модели. В ряде жизненных или профессиональных ситуаций, отличающихся по предметной направленности деятельности, значимости психологических переменных для испытуемого, возможности проявления им активности и т.д., экспериментально установленная зависимость может не проявляться, подчиняясь иным психологическим детерминантам.

Учет схемы проведения экспериментов – в контроле за выводом – предполагает оценку репрезентативности индивидуальных данных или полученных "усредненных" зависимостей для других людей или выборок, т.е. решение вопроса о соотношении случайного и закономерного применительно к анализируемому индивидуальному случаю, группам людей или популяциям.

Наконец, правильность выводов связана с оправданным переходом от логики экспериментального доказательства "изнутри", т.е. по отношению к проведенному исследованию, к логике доказательства "извне". В последнем случае имеется в виду критичное сопоставление обоснованности сделанных автором исследования обобщений с другими возможными теоретическими интерпретациями установленных зависимостей или доводами "здравого смысла". Рассмотрение доводов только в пользу представленного в экспериментальной гипотезе психологического объяснения и исключение из обсуждения результатов сопоставления его с другими допустимыми интерпретациями также противоречат нормативам экспериментального рассуждения, как и непринятие во внимание описанной ранее проблемы асимметрии вывода при эмпирическом опробовании истинности обобщенных высказываний.

2. Схема вывода о психологической гипотезе на основе результатов и оценки валидности эксперимента

Проведение любого эксперимента служит цели проверки истинности сформулированного высказывания о каузальной зависимости только с точки зрения соответствия или несоответствия ему эмпирически установленной связи между НП и ЗП. Интерпретационная часть гипотезы (т.е. собственно психологическое объяснение) не оценивается в самом эксперименте с точки зрения ее истинности. Привлекаемые для описания отношения между НП и ЗП гипотетические конструкты "живут" в мире теорий, и оценка адекватности тех или иных теорий включает не только отношение теории к миру эмпирии, но и многие другие компоненты. Для психологической теории, например, существенными являются допущения о типе психологического объяснения и способе реконструкции психологического закона.

Так, с помощью инструментально-генетического метода (в частности, при реализации методик "двойной стимуляции") в рамках культурно-исторической теории Л. С. Выготского реконструировались иные типы психологических закономерностей, чем те, которые были названы К. Левиным динамическими и демонстрировались им па ином пути объяснения (с привлечением апелляции к структурам напряжений в психологическом поле). Возможность состояться или не состояться тому или иному психологическому событию подразумевалась при построении обоих типов исследования, но оба типа психологических объяснений подразумевали детерминистские утверждения о том, почему это событие могло произойти. Полученные результаты связывались здесь в первую очередь с оценкой структуры ситуации, в которой находился испытуемый, и с этой точки зрения включали обоснования, которые в более поздней терминологии экспериментирования следовало бы отнести к проблемам конструктной и операциональной валидности.

Эти же две теории демонстрируют и разные типы объяснений с точки зрения принятого в них понимания психологической причинности и характера привлекаемых аналогий ("стимулы-средства" или "плюсы-минусы" в психологическом поле метафоричны, но эти метафоры раскрывают разные типы возможных размышлений о психологической реальности).

Вывод о психологической гипотезе не будет рассматриваться здесь в указанных содержательных отличиях типов психологических объяснений. Контроль за выводом предполагает более формальный аспект оценки приемлемости проверяемого утверждения с точки зрения анализа логически возможных соотнесений эмпирического результата и оценки валидности как реализованных форм экспериментального контроля. Если в исследовании был получен ожидаемый в соответствии со сформулированной психологической закономерностью экспериментальный эффект, это еще не позволяет автоматически принять или отвергнуть ЭГ или КГ. Следующим условием, влияющим на принятие вывода об установлении эмпирической зависимости, является оценка валидности психологического эксперимента, включая реальные методические ("технические") условия его проведения. Оценка валидности дает возможность делать следующие заключения (схема 1).

Результат действия НП (или эффект Х-воздей-ствия)	Валидность эксперимента (внутренняя и операциональная)
	+ (высокая)	– (низкая)
+ (в пользу сформулирован-ного в ЭГ эффекта)	1 + +	2 + –
– (противоречит ожидаемому в ЭГ эффекту)	3 – +	4 – –

Схема 1. Комплексная оценка валидности и эмпирических результатов в выводе об экспериментальной гипотезе.