Подкрепление: виды, схемы и отличие от наказания

Подкрепление - центральное понятие оперантного обусловливания: последствие поведения, которое повышает вероятность его повторения. Путаница в этой теме начинается почти всегда в одном месте: отрицательное подкрепление принимают за наказание, а вторичное - за «второстепенное». Между тем виды подкрепления делятся сразу по четырём независимым основаниям: по знаку, по происхождению стимула, по источнику и по расписанию выдачи. Форма ниже собирает разбор нужного вида под ваш формат ответа: определение, пример, типичную ошибку.

Что такое подкрепление в психологии

Термин в современном значении ввёл Беррес Фредерик Скиннер в книге «Поведение организмов» (1938), опираясь на закон эффекта Эдварда Торндайка: реакции, за которыми следует удовлетворяющее состояние, закрепляются, а те, за которыми следует дискомфорт, ослабевают.

Ключевая особенность определения - оно функциональное, а не содержательное. Подкрепление опознаётся не по тому, приятен ли стимул, а по эффекту: выросла ли частота поведения. Шоколадка, выданная ребёнку за убранную комнату, становится подкреплением только в том случае, если комнату начали убирать чаще. Если частота не изменилась, это просто шоколадка. Отсюда рабочее правило: вид подкрепления определяется задним числом, по динамике поведения, а не по намерению того, кто его выдаёт.

Второе разграничение - с классическим обусловливанием Павлова. Там стимул предшествует реакции и связывается с безусловным раздражителем; в оперантной схеме последствие следует за реакцией и меняет вероятность её повторения. Подкрепление живёт именно во второй схеме.

Положительное и отрицательное подкрепление

Знак в названии указывает не на «хорошо или плохо», а на арифметическую операцию со стимулом: плюс - стимул добавили, минус - стимул убрали.

• Положительное подкрепление - после реакции появляется желаемый стимул. Студент выступил на семинаре, получил похвалу и балл в рейтинг; вероятность следующего выступления растёт.
• Отрицательное подкрепление - после реакции исчезает неприятный стимул. Водитель пристегнулся, и зуммер замолчал; человек принял таблетку, и головная боль ушла. Поведение тоже закрепляется, потому что оно избавило от аверсивного воздействия.

Внутри отрицательного подкрепления различают две формы: избавление (реакция прекращает уже действующий неприятный стимул) и избегание (реакция не даёт ему начаться - вышел из дома заранее и не попал под выговор за опоздание). Избегание особенно устойчиво: подкрепление тут невидимо, ведь неприятность так и не наступила, и проверить, была ли она вообще возможна, поведение уже не позволяет. На этом механизме держатся тревожные ритуалы.

Рассчитать для своей задачи

Подкрепление и наказание: где проходит граница

Самая частая ошибка в контрольных - уравнять отрицательное подкрепление и наказание. Они противоположны по результату:

Положительное наказание - это добавленный аверсивный стимул: выговор, штрафной круг. Отрицательное наказание, его же называют «ценой отклика», - изъятие приятного: лишили доступа к игре, вычли баллы. Проверочный вопрос всегда один и тот же: что случилось с частотой поведения после вмешательства. Выросла - перед вами подкрепление любого знака; упала - наказание.

Первичные, вторичные и генерализованные подкрепляющие стимулы

Второе основание классификации - происхождение подкрепляющей силы.

• Первичные (безусловные) подкрепления действуют без предварительного научения: еда, вода, тепло, сон, тактильный контакт. Их сила прямо зависит от депривации и насыщения: сытому животному пища почти ничего не подкрепляет.
• Вторичные (условные) приобретают силу через устойчивое сочетание с первичными: деньги, оценки, жетоны, похвала, символы статуса. «Вторичные» здесь означает «выученные», а не «слабые».
• Генерализованные - подвид вторичных, связанных сразу со многими первичными: деньги, внимание, социальное одобрение. Именно поэтому они почти не подвержены насыщению и работают в любом состоянии организма.

Отдельный практический вопрос - как вообще найти подкрепление для конкретного человека. Ответ даёт принцип Премака (1959): более вероятное поведение подкрепляет менее вероятное. Если подросток по своей воле час играет и десять минут читает, то доступ к игре подкрепит чтение, а не наоборот. Это житейское «бабушкино правило»: сначала суп, потом мультики. Принцип удобен тем, что не требует угадывать приятность стимула - достаточно понаблюдать, чему человек отдаёт время сам.

На вторичных подкреплениях построены жетонные системы: за целевое поведение выдают жетоны, которые обмениваются на выбранное самим человеком благо. Классический протокол описали Теодоро Айллон и Натан Азрин в 1968 году для психиатрической клиники; сегодня та же логика лежит в основе школьных балльных систем и трекеров привычек.

Рассчитать для своей задачи

Схемы подкрепления: непрерывное и частичное

Третье основание - расписание, по которому подкрепление выдают. Чарлз Ферстер и Скиннер систематизировали его в работе «Схемы подкрепления» (1957).

Непрерывное подкрепление (каждая правильная реакция подкрепляется) быстрее всего формирует новый навык, но и гаснет почти мгновенно, как только выдача прекращается.

Частичное делится на четыре базовых режима:

• Фиксированная пропорция - подкрепление после каждой энной реакции (сдельная оплата за десять деталей). Высокий темп с короткой паузой сразу после награды.
• Переменная пропорция - среднее число реакций задано, конкретное непредсказуемо. Даёт самый высокий и самый устойчивый к угасанию темп; на этом режиме работают игровые автоматы и лента социальной сети.
• Фиксированный интервал - подкрепляется первая реакция после истечения срока. Порождает «фестонную» кривую: активность обваливается сразу после подкрепления и резко растёт к концу интервала, как подготовка к сессии.
• Переменный интервал - срок колеблется вокруг среднего. Даёт ровный умеренный темп без пауз: так проверяют почту или ждут ответа на сообщение.

Расписание отвечает на вопрос «когда», но есть и вопрос «за что». Дифференциальное подкрепление выделяют в отдельный вид: подкрепляют не любую активность, а строго определённую её форму, одновременно оставляя без последствий все остальные. В прикладном анализе поведения различают подкрепление альтернативного поведения (награждают приемлемый способ добиться того же результата) и подкрепление отсутствия поведения (награждают за интервал, в котором нежелательная реакция не появилась). Тот же механизм лежит в основе шейпинга: подкрепляют всё более точные приближения к целевой реакции, отсекая предыдущие, более грубые версии.

Практический вывод: навык формируют на непрерывном режиме, а закрепляют переходом на переменную пропорцию - тогда поведение переживает длинные периоды без подкрепления.

Рассчитать для своей задачи

Викарное подкрепление и самоподкрепление

Четвёртое основание - источник. Классический бихевиоризм считал, что подкрепление получает сам действующий, но Альберт Бандура показал: достаточно наблюдать за подкреплённой моделью. Такое викарное подкрепление меняет поведение наблюдателя, даже если он сам ничего не получил, - подробнее об этом в разборе теории социального научения Бандуры. Отдельно выделяют самоподкрепление: человек сам назначает себе критерий и сам выдаёт награду за его достижение, что лежит в основе техник самоуправления поведением.

Ещё одна прикладная линия - программированное обучение Скиннера, где ценность подкрепления держится на его немедленности: обратная связь приходит после каждого маленького шага, а не в конце темы.

Как определить вид подкрепления в задаче

Разбор любого учебного кейса удобно вести по четырём вопросам подряд:

1. Частота поведения выросла или упала? Рост - подкрепление, падение - наказание.
2. Стимул добавили или убрали? Добавили - положительное, убрали - отрицательное.
3. Стимул врождённый или выученный? Еда и тепло - первичный, деньги и оценка - вторичный.
4. По какому расписанию выдают? Каждый раз, за число реакций или по времени.

Четыре ответа дают полную квалификацию, например: «отрицательное подкрепление вторичным стимулом на переменном интервале».

Частые ошибки

• Отрицательное подкрепление называют наказанием. Оно увеличивает частоту поведения, а наказание уменьшает; общее у них только слово «неприятный стимул».
• Подкрепление отождествляют с наградой. Определение функциональное: если частота не изменилась, награда подкреплением не была.
• Путают отрицательное наказание с отрицательным подкреплением. В обоих случаях стимул убирают, но в первом убирают приятный, во втором - аверсивный.
• Считают вторичные подкрепления слабыми. Деньги и оценки часто мощнее пищи именно потому, что генерализованы и не насыщаются.
• Полагают, что непрерывный режим лучший. Он лучший для формирования и худший для сохранения навыка.

FAQ

Чем отрицательное подкрепление отличается от наказания? Результатом. Отрицательное подкрепление убирает неприятный стимул и повышает частоту поведения, наказание её понижает. Проверять нужно динамику частоты, а не то, был ли задействован неприятный стимул.

Какая схема подкрепления даёт самое устойчивое поведение? Переменная пропорция: подкрепление приходит в среднем через известное число реакций, но конкретный момент непредсказуем, поэтому паузы не воспринимаются как сигнал прекращения и угасание идёт очень медленно.

Что такое генерализованное подкрепление? Вторичный стимул, связанный сразу со многими первичными: деньги, внимание, одобрение. Его сила почти не зависит от текущего состояния депривации, поэтому он работает в любых условиях.

Коротко

Виды подкрепления различают по четырём основаниям: по знаку (положительное добавляет стимул, отрицательное убирает аверсивный, и оба усиливают поведение в отличие от наказания), по происхождению стимула (первичные, вторичные, генерализованные), по источнику (прямое, викарное, самоподкрепление) и по расписанию (непрерывное и четыре частичных режима). Определять вид всегда следует по функции - по тому, как изменилась частота поведения, - а не по внешней привлекательности стимула.