130150 (Основы психологии поведения животных), страница 3

“Закон эффекта” Торндайка гласит: “Для реакции, за которой следует вознаграждение или состояние удовлетворения, вероятность повторения возрастает, а для реакции, вызывающей вредное или неприятное последствие, вероятность повторения снижается”.

Большинство современных психологов соглашаются с тем, что для объяснения поведения взрослого человека “закон эффекта” имеет ограниченную сферу применения.

б) Свободно-оперантная методика по Скиннеру. Это вариация методики, примененной Торндайком. Отличие от методики “проб и ошибок” в том, что животное подвергается не отдельным пробам, а может совершать любую реакцию в любое время. Обычно в инструментальной установке находится приспособление, например, рычаг, на которое животное должно воздействовать. В опытах, проведенных Скиннером в 1938 году, лабораторная крыса нажимает на рычаг и получает пищу. В начале опыта животное не совершает требуемую реакцию, но за поведение, приближающееся к реакции, которую хотят сформировать, подкрепление получит. Вначале подкрепляется нахождение крысы в той части клетки, где расположен рычаг. Затем подкрепляют поднимание лапы по направлению к рычагу. Постепенно требования к реакции, заслуживающей подкрепления, повышаются. В конечном итоге подкрепляют уже само нажатие на рычаг.

Интересные исследования по выработке оперантных реакций у дельфинов были проведены американской исследовательницей Прайер. В каждой серии проб подкреплялись различные реакции. После того, как какая-либо реакция подкреплялась, в последующих сериях эта реакция уже не позволяла животному получить подкрепление. Когда был исчерпан весь репертуар реакций, на которые способны дельфины, животные стали вырабатывать множество новых, “творческих” реакций.

в) Методики с отрицательным подкреплением. Животное должно вести себя так, как установлено экспериментатором, чтобы избежать болевых стимулов. В наиболее распространенном варианте этой методики используется челночная камера. Она состоит из двух отделений, окрашенных в разные цвета. Отделения сообщаются между собой проемом. Процедура начинается с ряда проб, сопровождающихся сигналом, например, зуммером. Животному дается несколько секунд, чтобы покинуть стартовую камеру и перейти в другую часть установки. Если животное этого не сделает, оно получит удар электротоком через электроды на полу камеры. По мере повторения ряда проб процент успешных избеганий растет. Было показано, что даже среди близкородственных видов животных успешнее обучаются те животные, которые в природе ведут более активный образ жизни.

г) Выработка дифференцировки. В этих опытах животному предлагают два или несколько стимулов и предоставляют возможность как-нибудь реагировать. Реакции на один из стимулов подкрепляются, на другие - нет. Научение состоит в повышении процента реакций на “правильный” стимул. Например, обезьяна будет всегда получать банан, если будет из двух предъявляемых стимулов выбирать стимул красного цвета. Существует очень много вариантов выработки дифференцировки. Некоторые задачи способны решить только животные с достаточно развитым интеллектом.

• Одновременная дифференцировка. Все стимулы предъявляются в одно и тоже время. Задача животного - выбрать правильный стимул.

• Последовательная дифференцировка. Стимулы предъявляются по одному. Животное должно тормозить реакцию в присутствии неправильного стимула.

• Переделка дифференцировки. Значение положительного стимула меняется от одной задачи к другой. Например, животное должно выбирать между красным и зеленым стимулом, причем красный - положительный. Через некоторое время, не информируя животное, начинают подкреплять зеленый стимул. Многие виды животных обнаруживают способность улучшать решение таких задач при их повторении, то есть вырабатывают установку на научение.

• Отсроченные реакции дифференцировки. Приманку на глазах у животного помещают под один из двух предметов. Через длительный промежуток времени животное должно выбрать стимул, который подкрепляется.

д) Научение в лабиринте. Это одна из форм дифференцировок. Первый лабиринт для крыс построил Уильям Смолл в 1900 году. Простейший лабиринт напоминает по форме буквы У или Т. Животное должно идти прямо до точки выбора. Сложные лабиринты имеют много точек выбора. Путь через лабиринт представляет чаще всего дорогу в гнездо крысы или, реже, дорогу к корму. Иногда нахождение “правильного” пути подкрепляется возможностью крысы убить мышь.

В опытах с лабиринтами фиксируются время решения задачи и число ошибок, то есть число тупиков, в которые заходила крыса. Была обнаружена интереснейшая закономерность - число ошибок начинает падать вначале обучения вблизи конца пути, у цели, и лишь затем - в начале лабиринта. Постепенно крысы научаются выбирать кратчайший путь к цели.

е) Научение решению задач на абстрактные понятия. Опыты проводятся на приматах. Под абстрактным понимается частичное свойство воспринимаемого, общее по крайней мере для двух объектов, различных по другим своим характеристикам. Абстрактное понятие люди обозначают словом, например: “больший” или “черный” или “квадрат”. У животных нет описательного языка, следовательно, у них нет понятий, тем не менее, многие приматы способны решать задачи на дифференцировку стимулов, отличающихся абстрактным признаком. Например, из серии предъявляемых стимулов, чтобы получить подкрепление, обезьяна должна выбирать стимул, больший по размеру, причем относительно больший.

Обезьян также научали выбирать стимул по признаку отличия. Животному предъявляли три стимул-объекта, два из которых одинаковы. Чтобы получить подкрепление, обезьяна должна была выбрать “третий лишний”. Ставились задачи на выбор по образцу. Наконец, давались задачи на чередование. Животное должно по очереди выбирать то один, то другой объект (например, то правый, то левый). Более сложными задачами, с которыми приматы все же справлялись, были задачи на двойное и тройное чередование, а также задачи чередования отсроченных реакций.

9. Режимы подкрепления

В контексте учения о высшей нервной деятельности подкреплением называется сочетание безусловного раздражителя, вызывающего биологически значимую реакцию, с предваряющим ее индифферентным стимулом, что приводит к формированию классического условного рефлекса. В качестве подкрепляющего рассматривают любой стимул, увеличивающий вероятность определенной реакции или формы поведения.

Ряд видов научения требует подкрепления. При инструментальном научении подкреплением служат награда или наказание. В отдельных видах научения человека подкреплением является просто информация о том, правильны или нет его действия.

Вторичное подкрепление. В ходе ассоциативного научения некоторые сигналы, которые изначально не имели никакой ценности или не говорили об опасности, соединяются в сознании с событиями, обладающими ценностью или связанными с опасностью. Если это происходит, сигналы или события, ранее носившие нейтральный характер, начинают сами действовать как поощрение или наказание; такой процесс носит название вторичного подкрепления. Классический пример вторичного подкрепления — деньги. Животные в ящике Скиннера готовы нажимать на рычаг, чтобы завладеть специальными жетонами, обмениваемыми на пищу, или добиться того, что начнет звонить звонок, со звуком которого они приучены отождествлять появление еды. Научение, приводящее к избеганию, иллюстрирует вариант вторичного подкрепления через наказание. Животное выполняет определенные действия при появлении сигнала, который, хотя сам и не является неприятным, постоянно сопровождает какое-то неприятное событие. Например, собака, которую часто бьют, съеживается и обращается в бегство, стоит ее хозяину поднять руку, хотя в самой по себе поднятой руке ничего опасного нет. При использовании для контроля за поведением положительного и отрицательного вторичного подкрепления нет необходимости в частом фактическом поощрении или наказании. Так, когда животных дрессируют по методу последовательных приближений, подкреплением при каждой попытке обычно служит лишь щелкающий звук, который до этого регулярно сопровождал появление пищи.

Поощрение или наказание. Одна из проблем научения — не только добиться нового, желательного поведения, но и избавиться от проявлений нежелательного. Главная цель наказания — устранить имеющее место поведение, а не заменить его новым. Часто, например, при воспитании детей или их обучении, возникает вопрос, что лучше: наказать за проступок или дождаться желательного поведения и поощрить ребенка. Наибольших результатов удается достичь, когда наказание сопровождает старое поведение, а награда — новое. Хотя это всего лишь общее правило, которое не может использоваться во всех случаях жизни, оно подчеркивает важный принцип: следует обращать внимание не только на само поведение — нежелательное, устраняемое при помощи наказания, и желательное, поощряемое наградой, — но и на наличие альтернативы данному типу поведения.

Частичное подкрепление. Инструментальное научение с использованием поощрения — например, приучение крысы в ящике Скиннера нажимать на рычаг ради получения пищи или похвала ребенку, когда он говорит "спасибо" и "пожалуйста", — предполагает несколько видов зависимости между поведением и поощрением. Самый обычный вид зависимости — постоянное подкрепление, при котором награда выдается за каждую правильную реакцию. Другой вариант — частичное подкрепление, предлагающее поощрение только при некоторых правильных реакциях, скажем в каждом третьем случае желаемого поведения, или в каждом десятом, или при его первом проявлении каждый час или каждый день. Воздействие частичного подкрепления важно и представляет большой интерес. При частичном подкреплении для освоения желаемого поведения требуется больше времени, но результаты оказываются гораздо более стойкими. Сохранение эффекта особенно заметно, когда поощрение прекращается; такая процедура называется "угасанием". Поведение, освоенное при частичном подкреплении, сохраняется надолго, а освоенное при постоянном подкреплении быстро прекращается.

Суть оперантного научения состоит в том, что подкрепленное поведение стремится повториться, а поведение неподкрепленное или наказуемое имеет тенденцию не повторяться или подавляться. Следовательно, концепция подкрепления играет ключевую роль в теории Скиннера.

Скорость, с которой оперантное поведение приобретается и сохраняется, зависит от режима применяемого подкрепления.

Режим подкрепления - правило, устанавливающее вероятность, с которой подкрепление будет происходить.

Самым простым правилом является предъявление подкрепления каждый раз, когда субъект дает желаемую реакцию. Это называется режимом непрерывного подкрепления и обычно используется на начальном этапе любого оперантного научения, когда организм учится производить правильную реакцию. В большинстве ситуаций повседневной жизни, однако, это либо неосуществимо, либо неэкономично для сохранения желаемой реакции, так как подкрепление поведения бывает не всегда одинаковым и регулярным. Ребенок плачет неоднократно, прежде чем добьется внимания матери. Неподкрепленные реакции встречаются до тех пор, пока одна из них не будет подкреплена.

Скиннер тщательно изучал, как режим прерывистого, или частичного, подкрепления влияет на оперантное поведение. Хотя возможны многие различные режимы подкрепления, их все можно классифицировать в соответствии с двумя основными параметрами:

1) подкрепление может иметь место только после того, как истек определенный или случайный временной интервал с момента предыдущего подкрепления (так называемый режим временного подкрепления);

2) подкрепление может иметь место только после того, как с момента подкрепления было получено определенное или случайное количество реакций (режим пропорционального подкрепления).

Режимы подкрепления – любой из режимов, в котором субъекту предъявляется подкрепление, определяемых некоторыми пространственными, временными или последовательными аспектами реакции. В приводящемся ниже описании подразумевается, что речь идет в оперантном поведении, хотя некоторые из этих режимов использовались в классическом обусловливании (например, непрерывное подкрепление), употребление термина режим подкрепления в таком контексте редко. Притягательность режимов подкрепления для многих психологов, особенно скиннеровских бихевиористов, объясняется тем фактом, что подкрепление поведения в повседневной жизни обычно нерегулярно и неоднообразно. Поэтому были приложены значительные усилия для исследования того эффекта, который оказывает режимы представления подкрепления на создание и поддержание поведения. Следующий список включает наиболее полно изученные режимы подкрепления. Используемая здесь система классификации более или менее стандартна, хотя в специальной литературе можно встретить и другие: сначала представлены "простые" режимы, где имеется единственный тип сопряженности между реакцией и подкреплением; затем описываются "составные" режимы, где действуют два или более простых режима; в заключение приводятся "специальные" режимы, которые не подходят ни к одному из предыдущих классов.

I. Простые режимы. Все нижеперечисленные режимы, в которых имеется только одна связь между реакцией и появлением подкрепляющего стимула.

1.Непрерывное подкрепление (crf, или CRF). Довольно просто: подкрепляется каждая реакция.