Классическое обусловливание: от Павлова до формулы

Классическое обусловливание - форма научения, при которой нейтральный сигнал, много раз совпав по времени с биологически значимым событием, сам начинает вызывать реакцию. Собака Павлова выделяла слюну на звук метронома; человек морщится при одном виде лимона; студент напрягается, услышав в коридоре шаги научного руководителя. Механизм всюду один, и он поддаётся счёту: сила связи растёт не равномерно, а по насыщающейся кривой, которую описывает короткая формула. Ниже - четыре элемента схемы, фазы приобретения и угасания, генерализация и дифференцировка, модель Рескорлы - Вагнера и граница с оперантным научением. Калькулятор ниже строит кривую по вашим параметрам: покрутите ползунки, чтобы увидеть, откуда берётся её форма, а дальше разберём каждый блок по порядку.

Четыре элемента схемы

Любое описание классического обусловливания собирается из четырёх обозначений:

• Безусловный стимул (БС) - событие, которое вызывает реакцию без всякого обучения: пища во рту, струя воздуха в глаз, удар тока.
• Безусловная реакция (БР) - врождённый ответ на БС: слюноотделение, моргание, вздрагивание.
• Условный стимул (УС) - изначально нейтральный сигнал: звук, свет, обстановка комнаты. До обучения он вызывает лишь ориентировочную реакцию («что это?»).
• Условная реакция (УР) - ответ, который УС начинает вызывать после сочетаний.

Обучение состоит в том, что животное или человек усваивает связь между двумя стимулами, а не между действием и наградой. Организм ничего не делает, чтобы получить пищу: она приходит независимо от его поведения. Именно поэтому такое научение называют респондентным - оно отвечает на среду, а не воздействует на неё.

Важная тонкость: УР почти никогда не бывает точной копией БР. Слюны на метроном выделяется меньше, чем на пищу, а по составу она другая. УР - это скорее подготовка организма к событию, которое сигнал предвещает.

Опыты Павлова: как это открыли

Иван Петрович Павлов пришёл к теме не от психологии, а от физиологии пищеварения, за которую в 1904 году получил Нобелевскую премию. Фистула выводила проток слюнной железы наружу, и капли можно было считать. Мешало «психическое слюноотделение»: собака начинала выделять слюну, едва услышав шаги служителя с миской. Лаборатория переопределила помеху в предмет исследования.

Классическая процедура выглядела так: нейтральный сигнал (метроном, свет лампы, звук зуммера) включают на несколько секунд, затем подают пищу. Пара повторяется десятки раз. Через некоторое количество сочетаний сигнал сам начинает вызывать слюноотделение - появился условный рефлекс.

Рассчитать для своей задачи

Заодно выяснилось, что порядок и интервал критичны. Лучше всего работает отставленное сочетание: УС включается первым и ещё продолжается, когда подаётся БС; оптимальный интервал для многих реакций - от полусекунды до нескольких секунд. Обратный порядок (сначала пища, потом звук) почти не даёт связи: сигнал, который приходит после события, ничего не предсказывает.

Приобретение, угасание, спонтанное восстановление

Жизнь условного рефлекса делится на фазы.

Приобретение - рост силы связи при подкреплённых сочетаниях. Прирост максимален на первых пробах и падает по мере приближения к пределу: первые повторения дают почти всё, последние - почти ничего.

Угасание - предъявление УС без БС. Сигнал звучит, пищи нет, реакция слабеет и исчезает. Ключевое: угасание не стирает старую связь, а надстраивает над ней новое торможение.

Спонтанное восстановление - после паузы угасшая реакция частично возвращается. Это и доказывает, что первая связь сохранилась. Сюда же примыкает растормаживание: посторонний сильный раздражитель во время угасания возвращает реакцию.

Рассчитать для своей задачи

Практический вывод, важный для терапии: страх, снятый экспозицией, не удалён, а перекрыт. Поэтому рецидивы фобий после перерыва - норма, а не провал метода.

Генерализация и дифференцировка

Сразу после обучения реакция распространяется на похожие стимулы: собака, обученная на тон 1000 Гц, отвечает и на 900, и на 1100 Гц, причём тем слабее, чем дальше сигнал от исходного. Это генерализация, и график силы ответа по оси похожести называют градиентом генерализации.

Если один тон подкреплять, а близкий - систематически нет, ответ сузится до подкрепляемого: это дифференцировка. У Павлова именно на тонком различении близких стимулов у собак возникали срывы поведения, которые он назвал экспериментальным неврозом.

Практический смысл пары «генерализация - дифференцировка» очевиден в клинике: страх, начавшийся с одной ситуации, легко расползается на весь класс похожих, а лечение возвращает границы на место.

Модель Рескорлы - Вагнера

Модель 1972 года превратила описание в расчёт. Обозначим силу связи после $n$-й пробы через $V_n$. Тогда прирост на очередной пробе:

$\Delta V_n = \alpha\beta\,(\lambda - V_n), \qquad V_{n+1} = V_n + \Delta V_n$

Здесь $\lambda$ - предел, который способен поддержать данный БС; $\alpha$ - заметность условного стимула; $\beta$ - заметность безусловного. Произведение $\alpha\beta$ - скорость научения.

Смысл выражения: организм учится на ошибке предсказания. Величина $\lambda - V_n$ - это расхождение между ожидаемым и случившимся. Пока сигнал предсказывает плохо, расхождение велико и связь растёт быстро; когда предсказание точное, учить больше нечему и прирост стремится к нулю. Отсюда и насыщающаяся кривая:

$V_n = \lambda\left[1 - (1 - \alpha\beta)^n\right]$

Угасание в модели - тот же расчёт при $\lambda = 0$: подкрепления нет, ожидание завышено, ошибка отрицательна, связь падает.

Главное подтверждение модели - эффект блокировки Кэмина. Если стимул A уже полностью предсказывает пищу, то добавленный к нему стимул B не приобретает силы: суммарное ожидание уже равно $\lambda$, ошибка нулевая, учиться не на чем. Простая теория «смежности во времени» этого не объясняет, а модель ошибки предсказания - объясняет. Та же логика ошибки лежит в основе алгоритмов обучения с подкреплением.

Чем отличается от оперантного обусловливания

Обе процедуры относят к ассоциативному научению, но связывают разное.

Рассчитать для своей задачи

На практике процедуры переплетаются. Ребёнок, которого укусила собака, получает условный страх (классика) и затем избегает дворов с собаками - а избегание снимает страх и потому подкрепляется (оперантика). На идее подкрепления действия построена вся линия от Торндайка до программированного обучения Скиннера.

Где это работает

• Терапия тревожных расстройств. Экспозиция - это управляемое угасание: клиент встречается с УС без пугающего исхода.
• Вкусовая аверсия. Эффект Гарсиа: отвращение к пище формируется с одной пробы и при интервале в часы - эволюционная поправка к общим правилам.
• Реклама и брендинг. Нейтральный логотип многократно сочетается с приятными образами и перенимает их эмоциональный тон.
• Медицина. Условная реакция на обстановку кабинета объясняет часть эффекта плацебо и предвосхищающую тошноту у пациентов на химиотерапии.

Частые ошибки

• Путать УС и подкрепление. В классической схеме подкрепление - это БС, приходящий независимо от поведения. Награда за действие - уже другая процедура.
• Считать УР копией БР. Условная реакция слабее, иногда качественно иная, а порой противоположна безусловной (компенсаторные реакции при обусловливании к лекарствам).
• Приписывать угасание забыванию. Угасание - активное новое научение торможению, о чём говорит спонтанное восстановление.
• Ждать линейного роста. Кривая насыщается: одинаковые по числу проб отрезки дают разный прирост.
• Игнорировать порядок стимулов. Обратное и одновременное сочетание почти не формируют связи.

FAQ

Сколько сочетаний нужно для условного рефлекса? От одного до сотни - зависит от заметности стимулов и биологической значимости БС. Слюноотделение у собак обычно требует 15–30 проб, вкусовая аверсия формируется с первой, эмоциональные реакции у человека - за 5–15.

Работает ли классическое обусловливание у человека? Да, и это показано на реакции моргания, кожно-гальванической реакции, эмоциональных оценках нейтральных изображений. Отличие от животных - сильное влияние осознания связи и словесной инструкции, которая может ускорить научение или мгновенно погасить реакцию.

Чем условный рефлекс отличается от безусловного? Безусловный врождён, видоспецифичен и постоянен; условный приобретается при жизни, индивидуален, зависит от подкрепления и угасает без него. Дуга безусловного рефлекса замыкается ниже, условного - с обязательным участием коры.

Коротко

Классическое обусловливание - научение связи между сигналом и значимым событием: нейтральный УС, многократно предшествуя БС, начинает вызывать условную реакцию. Связь растёт по насыщающейся кривой, потому что организм учится на ошибке предсказания $\lambda - V_n$ (модель Рескорлы - Вагнера), угасает при отмене подкрепления и частично восстанавливается после паузы. Генерализация переносит реакцию на похожие стимулы, дифференцировка сужает её обратно, а главное отличие от оперантного научения - здесь связываются два стимула, а не действие и его последствие.