Теория обнаружения сигнала: чувствительность и критерий

Испытуемый сидит в звукоизолированной кабине и нажимает кнопку, когда слышит слабый тон в шуме. В половине проб тона нет вовсе, но человек всё равно иногда отвечает «был». Классическая психофизика записала бы это в погрешность измерения порога. Теория обнаружения сигнала объясняет иначе: решение в условиях неопределённости складывается из двух независимых вещей - насколько хорошо наблюдатель различает сигнал и шум и насколько охотно он говорит «да». Эти две величины разделяются арифметически, по долям ответов двух типов. Калькулятор ниже делает это за вас: задайте долю попаданий и долю ложных тревог и посмотрите, как расходятся внутренние распределения.

Откуда взялась теория обнаружения сигнала

Модель пришла в психологию из радиотехники. В 1954 году Питерсон, Бёрдсолл и Фокс описали статистически оптимального приёмника радара: тот решает, есть ли отражённый импульс, сравнивая наблюдаемую энергию с порогом, который зависит от цены ошибок. В том же году Таннер и Светс перенесли схему на человека-наблюдателя, а монография Грина и Светса 1966 года закрепила её как стандарт психофизики.

Главный сдвиг был идейным. До этого считалось, что у сенсорной системы есть фиксированный порог: стимул слабее его не ощущается, сильнее - ощущается. Отсюда росли и классические методы измерения абсолютного и разностного порогов, и закон Вебера-Фехнера. Теория обнаружения сигнала утверждает: жёсткого порога нет, есть непрерывная внутренняя переменная и произвольно выбираемая точка отсечения. Испытуемый не «видит или не видит», а решает, достаточно ли ему свидетельств, чтобы ответить утвердительно.

Матрица исходов: четыре ответа вместо двух

Эксперимент строится по схеме «да/нет»: в части проб предъявляется сигнал, в части - только шум. Скрещивание двух состояний мира с двумя ответами даёт четыре исхода.

Доли считаются внутри строк, а не по всей выборке:

$H = \frac{\text{попадания}}{\text{попадания} + \text{промахи}}, \qquad F = \frac{\text{ложные тревоги}}{\text{ложные тревоги} + \text{верные отвержения}}$

Две оставшиеся доли избыточны: промахи равны $1 - H$, верные отвержения - $1 - F$. Поэтому вся статистика опыта сжимается до пары чисел $(H, F)$, и именно эта пара разлагается на чувствительность и критерий.

Рассчитать для своей задачи

Отсюда сразу видна слабость доли правильных ответов как меры качества. Если сигнал предъявляют в 10 % проб, наблюдатель, всегда отвечающий «нет», получит 90 % правильных при нулевой способности различать. Проценту правильных ответов нельзя доверять, пока не разведены две строки таблицы.

Два распределения: шум и сигнал плюс шум

Модель предполагает, что каждая проба порождает у наблюдателя одно число - силу внутреннего впечатления $X$. В пробах без сигнала $X$ колеблется вокруг некоторого фонового уровня из-за спонтанной активности нейронов и физического шума. В пробах с сигналом к тому же шуму добавляется полезная составляющая, и распределение сдвигается вправо.

В базовом варианте оба распределения считаются нормальными с одинаковой дисперсией:

$X \mid \text{шум} \sim N(0, 1), \qquad X \mid \text{сигнал} \sim N(d', 1)$

Распределения перекрываются - в этом вся суть задачи. Наблюдатель видит одно число и не знает, из какого распределения оно взято. Он выбирает точку отсечения $\lambda$ и отвечает «да», если $X > \lambda$. Тогда попадания - это правый хвост сигнального распределения, а ложные тревоги - правый хвост шумового. Оба хвоста режутся одной и той же вертикалью, поэтому подвинуть одну долю, не тронув другую, невозможно.

Показатель d-prime: чувствительность в чистом виде

Расстояние между вершинами распределений в единицах стандартного отклонения шума и есть чувствительность. Его получают через обратную функцию стандартного нормального распределения (пробит-преобразование):

$d' = z(H) - z(F)$

Пример. Наблюдатель дал 93 % попаданий при 31 % ложных тревог. Тогда $z(0{,}93) \approx 1{,}48$, $z(0{,}31) \approx -0{,}50$, откуда $d' \approx 1{,}98$. Ориентиры для интерпретации: $d' = 0$ - различения нет вовсе, около 1 - слабое, около 2 - уверенное, выше 4 задача упирается в потолок и перестаёт быть диагностичной.

Ключевое свойство: $d'$ не меняется, когда испытуемого просят отвечать смелее или осторожнее. Обе доли поедут вместе, а их разность в z-шкале останется прежней. Именно поэтому показатель годится для сравнения людей и условий, а сырые проценты - нет.

Критерий решения и смещение ответа

Вторая величина - положение точки отсечения. Её удобно измерять относительно середины между распределениями:

$c = -\frac{z(H) + z(F)}{2}$

Значение $c = 0$ означает нейтральный критерий: наблюдатель одинаково боится обоих типов ошибок. При $c > 0$ критерий консервативный - человек редко говорит «да», у него мало ложных тревог, но и попаданий меньше. При $c < 0$ критерий либеральный: много попаданий ценой ложных тревог. Иногда используют и отношение ординат распределений в точке отсечения:

$\beta = \exp\left(\frac{z(F)^2 - z(H)^2}{2}\right), \qquad \ln \beta = d' \cdot c$

Критерий смещается предсказуемо и по понятным причинам. Во-первых, априорной вероятностью сигнала: если предупредить, что цель встретится в 80 % проб, ответы «да» станут щедрее. Во-вторых, матрицей выигрышей и потерь: когда пропуск опухоли на снимке стоит несравнимо дороже лишнего повторного обследования, рентгенолог намеренно работает либерально. Оптимальное значение $\beta$ при известных вероятностях и ценах равно отношению их произведений - это и есть перенесённое в психологию правило байесовского приёмника.

Рассчитать для своей задачи

ROC-кривая: проверка модели

Если один и тот же наблюдатель поработает при разных установках критерия, каждая установка даст свою точку $(F, H)$. Соединив точки, получают рабочую характеристику приёмника - ROC-кривую. Она выходит из левого нижнего угла, приходит в правый верхний и выгибается к левому верхнему тем сильнее, чем выше чувствительность. Диагональ $H = F$ соответствует нулевому различению.

Площадь под кривой $A_z$ - непараметрическая мера чувствительности со внятным смыслом: это вероятность, что в паре «сигнальная проба против шумовой» первая породит более сильное впечатление. При равных дисперсиях она связана с чувствительностью как $A_z = \Phi\left(\frac{d'}{\sqrt{2}}\right)$.

Практический приём: если перестроить ROC в z-координатах, она превратится в прямую, а её наклон покажет отношение стандартных отклонений шумового и сигнального распределений. Наклон около единицы оправдывает равнодисперсионную модель, наклон около 0,8 (типичный для задач узнавания) означает, что сигнальное распределение шире, и вместо $d'$ корректнее использовать $A_z$ или $d_a$.

Рассчитать для своей задачи

Где применяется

За пределами психофизики схема работает везде, где решение принимается по зашумлённым данным. В психологии памяти пробы «старое или новое» дают ровно ту же матрицу, и разведение чувствительности с критерием отделяет качество следа от готовности узнавать. В медицине через ROC оценивают диагностические тесты и выбирают точку отсечения по цене ошибок. В инженерной психологии теорией описывают вигильность: за час монотонного наблюдения падает обычно не $d'$, а критерий - оператор становится осторожнее. Тот же аппарат лежит в основе оценки классификаторов машинного обучения и родствен разделению ошибок первого и второго рода в проверке гипотез, где чувствительность теста измеряет мощность критерия.

Частые ошибки

• Считать долю правильных ответов мерой чувствительности. При неравной доле сигнальных проб она вознаграждает смещение ответа, а не различение.
• Путать критерий $c$ с порогом классической психофизики. Порог мыслился свойством сенсорной системы, критерий - свободно выбираемая точка решения, зависящая от инструкции и выигрышей.
• Считать $z$ от долей, взятых по всей выборке. Попадания нормируются только на сигнальные пробы, ложные тревоги - только на шумовые.
• Оставлять крайние доли 0 и 1 без поправки. Бесконечный пробит превращается в выброс, который тянет групповое среднее.
• Применять $d'$ при наклоне z-ROC заметно ниже единицы. При разных дисперсиях показатель зависит от критерия и перестаёт быть чистой мерой чувствительности.

FAQ

Чем d-prime отличается от процента правильных ответов? Процент смешивает две причины успеха: способность различать и удачно выбранную стратегию ответа. Показатель $d'$ вычитает вклад стратегии, поэтому сравним между испытуемыми с разной осторожностью.

Как измерить критерий, если испытуемый один и установка одна? Значение $c$ считается по той же паре долей, что и $d'$, отдельного условия не нужно. Чтобы построить полную ROC-кривую, применяют либо несколько блоков с разной инструкцией или априорной вероятностью, либо рейтинговую процедуру: ответ по шкале уверенности от 1 до 6, где каждая граница шкалы даёт свою точку кривой.

Работает ли теория обнаружения сигнала для задач различения, а не обнаружения? Да, схема переносится на любую бинарную задачу: «тот же стимул или другой», «старое или новое», «норма или патология». Меняется содержательный смысл распределений, математика остаётся прежней, а в процедуре двухальтернативного вынужденного выбора чувствительность связана с долей правильных ответов как $d' = \sqrt{2} \cdot z(P)$.

Коротко

Теория обнаружения сигнала описывает ответ наблюдателя как решение о непрерывной зашумлённой переменной, а не как срабатывание порога. Из пары долей - попаданий $H$ и ложных тревог $F$ - она извлекает две несмешиваемые величины: чувствительность $d' = z(H) - z(F)$, то есть расстояние между распределениями шума и сигнала, и критерий $c = -[z(H) + z(F)]/2$, отражающий готовность отвечать утвердительно. Инструкция, априорная вероятность и цена ошибок двигают критерий, но не чувствительность; ROC-кривая показывает обе величины сразу и позволяет проверить, оправдано ли предположение о равных дисперсиях.