Угасание реакции: почему она гаснет и возвращается

Собака перестаёт капать слюной на звонок, если после звонка десять раз подряд не приносят еду. Ребёнок перестаёт клянчить конфету на кассе, если её перестали покупать. Кот перестаёт орать под дверью спальни в шесть утра, если дверь больше не открывают. Во всех трёх случаях выученная реакция не отменяется приказом и не выбивается наказанием: она гаснет сама, потому что перестала окупаться. Это и есть угасание реакции, и главная его особенность в том, что угасшая реакция умеет возвращаться. Калькулятор ниже строит кривую угасания и показывает, какая часть реакции вернётся после перерыва.

Что такое угасание реакции

Угасание (экстинкция) - процедура, при которой выученную реакцию перестают подкреплять, и её частота, сила и устойчивость снижаются. Термином называют и саму процедуру, и её результат, поэтому в задачах стоит уточнять, о чём речь: «провели угасание» - это процедура, «наступило угасание» - результат.

Рассчитать для своей задачи

Угасание легко спутать с двумя соседними явлениями, и на экзамене это самая частая потеря балла.

• Забывание - ослабление реакции просто от того, что прошло время и организм не практиковался. При угасании же реакция происходит, а результата не даёт: время тут ни при чём, работают пробы.
• Наказание - добавление неприятного последствия или отъём приятного после реакции. При угасании ничего не добавляют, а просто ничего не происходит. Чем виды последствий отличаются друг от друга, подробно разбирает статья про подкрепление.

Угасание в классическом и в оперантном научении

Процедура выглядит по-разному в зависимости от того, что именно перестают давать.

В классическом обусловливании условный стимул предъявляют без безусловного: звонок звучит, мяса нет. Реакция слюноотделения слабеет от пробы к пробе. Саму схему выработки условного рефлекса и его фазы разбирает статья про классическое обусловливание - здесь нас интересует только то, что происходит после отмены.

В оперантном научении реакцию перестают подкреплять: крыса жмёт рычаг, гранула не выпадает. Отдельный приём - дифференциальное подкрепление другого поведения, когда одну реакцию гасят, а несовместимую с ней подкрепляют; на практике он работает быстрее чистого угасания и не даёт поведенческого вакуума.

Количественно спад описывает модель Рескорлы и Вагнера. На подкреплённой пробе сила связи тянется к пределу, который задаёт подкрепление; на угасании предел равен нулю, поэтому прирост становится убылью:

$\Delta V = \alpha\,(0 - V) = -\alpha V, \qquad V_n = V_0\,(1-\alpha)^n.$

Отсюда сразу видно, что спад экспоненциальный, а не линейный: первые пробы съедают большую часть силы, последние почти ничего не меняют. Число проб до критерия в 10 % от исходного уровня равно $n^{*} = \ln 0{,}1 / \ln(1-\alpha)$: при $\alpha = 0{,}35$ это 5,3 пробы, при $\alpha = 0{,}10$ - уже 21,9.

Вспышка угасания: почему сначала становится хуже

Первые пробы после отмены подкрепления дают не спад, а рост. Реакция учащается, усиливается, становится разнообразнее, к ней примешивается раздражение - это вспышка угасания (extinction burst). Крыса жмёт рычаг чаще и сильнее, человек колотит по залипшей кнопке лифта, ребёнок кричит громче и дольше, чем кричал раньше.

Рассчитать для своей задачи

Объяснение простое: неподкреплённая проба - это новая информация, и первая реакция организма на неё - попробовать то же самое энергичнее. В калькуляторе всплеск задан отдельным ползунком, и на прореженном режиме подкрепления пик доходит до 156 условных единиц против исходных 100, то есть реакция временно становится сильнее, чем была до отмены.

Практический вывод из вспышки важнее самого явления. Если взрослый сдаётся именно на пике - покупает конфету после пятнадцати минут крика, - он подкрепляет не «крик вообще», а самую громкую и длинную его форму, да ещё и по прореженной схеме. После такой уступки поведение становится заметно устойчивее к угасанию, чем было.

Спонтанное восстановление: след не стёрт

Павлов заметил это ещё в первых опытах: если после угасания дать животному отдохнуть, а потом снова предъявить условный стимул, реакция частично возвращается - без единого повторного подкрепления. Это спонтанное восстановление, и оно означает ровно одно: угасание не стёрло старую связь.

В модели калькулятора возврат описывает насыщающаяся кривая: доля восстановления растёт с длиной паузы и упирается в потолок. При недельном перерыве реакция возвращается к 31,6 условной единицы, при двухнедельном - к 43,2, дальше прирост почти прекращается. Отсюда типичная картина курса: несколько сеансов угасания подряд, между ними частичный откат, но каждый следующий сеанс стартует ниже предыдущего и идёт быстрее.

Сюда же примыкает растормаживание: посторонний сильный раздражитель посреди сеанса угасания возвращает уже погасшую реакцию. Если бы связь стиралась, возвращать было бы нечего.

Обновление и восстановление: контекст решает

Спонтанное восстановление не единственный способ вернуть угасшую реакцию. Марк Баутон описал ещё три, и вместе они складываются в связную картину механизма.

Рассчитать для своей задачи

• Обновление (renewal) - реакцию выработали в обстановке А, погасили в обстановке Б, а при возвращении в А она снова тут как тут. Работают и схемы АБВ, и ААБ: достаточно, чтобы проверка шла не в той обстановке, где гасили.
• Реинстатирование (reinstatement) - после угасания испытуемый один раз сталкивается с безусловным стимулом отдельно от сигнала, и реакция на сигнал возвращается.
• Быстрое переучивание - если после угасания дать хотя бы одно подкрепление, реакция восстанавливается за считаные пробы, а не заново с нуля.

Все четыре эффекта несовместимы с идеей стирания и хорошо ложатся на другую: угасание - это новое научение, надстроенное над старым. Организм не забывает «сигнал предвещает еду», он выучивает вторую связь «здесь и сейчас не предвещает». Вторая связь сильнее привязана к контексту и ко времени, чем первая, поэтому при смене обстановки или после паузы верх снова берёт исходная. Именно поэтому расширение реакции на похожие сигналы, которое разбирает статья про генерализацию стимула, переносится легко, а вот результат угасания переносится плохо.

Эффект частичного подкрепления и устойчивость к угасанию

Скорость угасания зависит не только от процедуры, но и от того, как реакцию учили. Реакция, выработанная на прореженном подкреплении, гаснет заметно медленнее выработанной на непрерывном - это эффект частичного подкрепления, описанный Ллойдом Хамфрисом в 1939 году.

Ходовое объяснение - гипотеза различения. На непрерывном режиме первая же пустая проба резко отличается от всего предыдущего опыта, и перемену правил видно сразу. На переменной пропорции длинная серия без награды ничем не отличается от обычной полосы невезения, различить угасание нечем, и реакция держится. В калькуляторе это видно на числах: непрерывное подкрепление доводит реакцию до критерия за 7 проб, переменная пропорция - за 23. Порядок устойчивости режимов и их кривые разбирает отдельная статья про режимы подкрепления.

Бытовые следствия узнаваемы: игровой автомат, изредка выдающий выигрыш, и родитель, который сдаётся не каждый раз, а «когда уже совсем невмоготу», формируют одинаково неугасимое поведение.

Угасание в экспозиционной терапии

Экспозиция при фобиях и тревожных расстройствах - это и есть процедура угасания: пациент раз за разом встречается с пугающим сигналом, а ожидаемая катастрофа не наступает. Механику градуированной встречи со страхом на фоне расслабления разбирает статья про систематическую десенсибилизацию Вольпе.

Из контекстной природы угасания следуют вполне конкретные правила работы. Проводить экспозицию нужно в разных местах и в разной обстановке, иначе результат останется привязанным к кабинету и не доедет до метро. Полезны сигналы-напоминания о сеансе, которые пациент забирает с собой: они переносят контекст угасания в реальную жизнь. Важно строить пробы так, чтобы прогноз пациента максимально расходился с исходом, - по современной модели тормозного научения работает именно рассогласование ожидания, а не снижение тревоги внутри сеанса. И, наконец, возврат страха через месяц стоит объяснить пациенту заранее: это спонтанное восстановление или обновление, то есть штатное свойство механизма, а не провал курса.

Частые ошибки

• Путают угасание с забыванием. Забывание идёт от бездействия и времени, угасание - от неподкреплённых проб. Если реакция ослабла за отпуск, это не угасание.
• Называют угасание наказанием. При угасании после реакции не происходит ничего; при наказании добавляется неприятное последствие или изымается приятное.
• Считают вспышку провалом процедуры. Рост реакции в первые пробы заложен в саму динамику; отказ от процедуры на пике вспышки закрепляет усиленную форму поведения.
• Думают, что угасание стирает связь. Спонтанное восстановление, обновление, реинстатирование и быстрое переучивание доказывают обратное: над старой связью надстраивается новая.
• Гасят поведение, не давая замены. Чистое угасание оставляет пустое место; на практике реакцию гасят вместе с подкреплением альтернативного, совместимого с целью поведения.

FAQ

Чем угасание отличается от торможения? Угасание - это процедура и наблюдаемый результат, торможение - предполагаемый механизм. У Павлова угасание объяснялось выработкой внутреннего торможения, которое накладывается на сохранную возбудительную связь. Современные модели говорят о новом научении, но идея «надстройки, а не стирания» осталась той же.

Сколько нужно проб, чтобы реакция угасла? Столько, сколько задаёт скорость угасания и режим прежнего подкрепления. По экспоненциальной модели число проб до 10 % от исходного уровня равно $\ln 0{,}1 / \ln(1-\alpha)$, и для быстрого угасания это 5–7 проб, а для реакции, выученной на переменной пропорции, - больше двадцати. Страх, выработанный за один эпизод, гаснет ещё медленнее.

Почему страх возвращается после успешной терапии? Потому что угасание контекстно-зависимо. Новая связь «здесь не опасно» привязана к обстановке кабинета и к недавнему времени, а старая - нет. Смена места даёт обновление реакции, пауза даёт спонтанное восстановление, случайная встреча с пугающим событием - реинстатирование. Лечится это не большим числом повторов в одном месте, а разнообразием контекстов.

Коротко

Угасание реакции - отмена подкрепления при сохранённой возможности отвечать, а не забывание и не наказание. Спад экспоненциальный, но начинается со вспышки, на которой реакция временно сильнее исходной. Прореженное подкрепление делает поведение устойчивее к угасанию: 23 пробы против 7 в модели калькулятора. Угасшая реакция возвращается сама после паузы, при смене обстановки, после напоминания о безусловном стимуле и с одного подкрепления - значит, старая связь цела, а угасание надстроило над ней новую. Отсюда и практика: гасить в разных контекстах, не сдаваться на вспышке и заранее закладывать в план возврат реакции.