ROC-кривая и AUC: построение и смысл метрики

ROC-кривая показывает, как меняется доля найденных положительных объектов вместе с долей ложных тревог при разных порогах классификатора. ROC-AUC - площадь под этой кривой: она обобщает качество ранжирования объектов во всём диапазоне порогов. Например, модель сортировки писем может присваивать каждому письму оценку подозрительности. Если понизить порог, она найдёт больше спама, но может чаще ошибочно задерживать обычные письма. Попробуйте менять порог в калькуляторе: точка на графике перемещается, а площадь всей кривой для данного набора остаётся прежней.
Что откладывают по осям ROC
Пусть положительный класс - спам, а отрицательный - обычные письма. Для каждого объекта известна истинная метка и численная оценка модели: чем выше оценка, тем сильнее модель склоняется к положительному ответу. Правило решения имеет вид: оценка не меньше порога означает «положительный класс».
При фиксированном пороге возможны четыре исхода: - найденные положительные объекты, - пропущенные положительные, - отрицательные объекты с ложным положительным ответом, - верно распознанные отрицательные. По ним рассчитывают координаты точки:
По вертикали находится , или полнота: какая доля всех положительных объектов найдена. По горизонтали - , доля ложных срабатываний среди всех отрицательных объектов. Знаменатели различаются: нельзя делить обе величины на общий размер выборки. Обе доли определены, только если в выборке присутствуют оба класса. Терминология матрицы ошибок пригодится и при изучении F1 и баланса precision и recall.
Как порог создаёт кривую
Начнём с порога выше всех оценок: никто не получает положительную метку, поэтому точка расположена в начале координат . Затем опускаем порог и включаем объекты по убыванию оценки. Если очередной объект положительный, растёт TPR и точка поднимается; если отрицательный - растёт FPR и точка сдвигается вправо. Когда включены все объекты, достигается .
В ролике показана конечная учебная выборка, поэтому доступны отдельные точки, а не любой произвольный участок линии. Если несколько объектов имеют одинаковую оценку, при заданном правиле они входят одновременно: для общей оценки получается один переход. Соединительный отрезок нужен для изображения и расчёта площади; промежуточная точка такого отрезка не обязательно достижима одним детерминированным порогом.
Сама идея сравнивать попадания с ложными тревогами встречается и в теории обнаружения сигнала: там порог называют критерием решения. Для модели машинного обучения важно отдельно проверять, как получены оценки и на каких данных измерено качество.
Построение на восьми объектах
Рассмотрим синтетический пример. Оценки четырёх положительных объектов: , , , . Оценки четырёх отрицательных: , , , . Пусть на границе равенство включается: .
При пороге положительный ответ получают три положительных объекта и два отрицательных. Следовательно, , , , . Координаты равны и . Именно эта точка выделена на рисунке.

Если опустить порог до , найдутся все четыре положительных объекта, а число ложных тревог останется равным двум. При пороге к ним добавится ещё один отрицательный объект. На каждом шаге считайте доли внутри соответствующего истинного класса, затем отмечайте точку на координатной плоскости. Различие между условными долями и долей от всей выборки помогает разобрать статья об условной вероятности.
Как посчитать AUC и что означает результат
AUC - сокращение от площади под кривой. Для ломаной с точками , упорядоченными по возрастанию , используйте сумму площадей трапеций:
Вертикальные участки имеют нулевую ширину и ничего не добавляют к площади. В нашем примере два горизонтальных шага шириной проходят на высоте , а ещё два - на высоте . Поэтому площадь равна .
Есть и проверка через пары. Возьмём один положительный и один отрицательный объект: AUC равна доле пар, в которых оценка положительного выше, плюс половина доли пар с одинаковыми оценками. Здесь всего пар, из них в 12 положительный объект имеет большую оценку; равных оценок нет. Получаем . Это свойство ранжирования, а не вероятность правильного ответа для отдельного письма и не доля всех правильно классифицированных объектов.
Площадь означает идеальный порядок положительных и отрицательных объектов на данной выборке. Диагональная линия имеет площадь ; такое значение само по себе не доказывает, что модель случайна: разные формы кривой могут давать одинаковую площадь. Значение ниже означает, что ранжирование в целом направлено в неверную сторону; стоит проверить, какой класс считается положительным и как ориентированы оценки. Обзор построения приведён в учебном курсе Google по ROC и AUC, а интерфейс вычисления по оценкам описан в документации scikit-learn.
Что AUC сохраняет при преобразовании оценок
Для ROC важен порядок оценок. Если ко всем баллам применить одно и то же строго возрастающее преобразование, например умножить их на положительное число, порядок сохранится. При соответствующем переносе порогов получится та же последовательность групп объектов, а значит, та же кривая и AUC. Численные значения порогов при этом изменятся: порог нельзя переносить между шкалами без пересчёта. Принцип работы с порядком наблюдений встречается и в ранговой корреляции Спирмена, хотя коэффициент решает другую задачу и не равен AUC.
Если же округление объединит разные баллы в одинаковые, порядок внутри таких групп потеряется, и площадь может измениться. То же произойдёт после переобучения, если модель переставит объекты местами. Поэтому сравнение двух значений AUC имеет смысл проводить на одной и той же независимой выборке, с одинаковым определением положительного класса. Полезно также посмотреть на неопределённость разницы, особенно когда различие невелико или объектов мало.
Как выбрать рабочий порог
AUC полезна для сравнения ранжирования, но сама по себе порог не выбирает. Для решения нужно учесть цену обоих видов ошибок и частоту положительного класса в среде применения. Если пропуск опаснее ложной тревоги, может потребоваться высокая полнота; если каждая ложная тревога требует дорогой ручной проверки, важна и малая FPR. Ближайшая к верхнему левому углу точка - лишь геометрическое правило, которое не учитывает автоматически реальные потери.
Представим 10 000 писем, среди которых 100 - спам. При TPR и FPR модель в среднем при таких долях обнаружила бы 75 писем из 100 спамовых, но ошибочно отметила бы 4950 из 9900 обычных. Поэтому умеренная FPR при редком положительном классе может означать множество ложных тревог. Наряду с ROC стоит изучить precision и кривую precision-recall: precision отвечает на другой вопрос, какая доля положительных ответов действительно положительна.
Порог подбирают на валидационной выборке с учётом ограничений задачи, а итоговое качество проверяют на независимой тестовой выборке. При малом числе положительных или отрицательных объектов одна ошибка заметно сдвигает точку; полезно указывать размер выборки и интервалы неопределённости. При смене состава данных качество также может измениться: высокий результат на одном тесте не гарантирует такой же результат в эксплуатации.
Как проверить расчёт на практике
Сначала сохраните для каждого объекта две величины: проверенную истинную метку и оценку модели до применения порога. Отсортируйте оценки по убыванию, объедините равные значения и для каждого уровня пересчитайте четыре исхода. Затем разделите число попаданий на число всех положительных объектов, а число ложных тревог - на число всех отрицательных. Проверьте крайние точки и порядок осей, прежде чем вычислять площадь трапеций.
Для первой ручной проверки удобно выбрать порог, при котором можно без труда перечислить все объекты с положительным ответом. В нашем примере это : в такую группу входят оценки , , , и . Метки показывают, что три объекта из пяти положительны. Доля три из пяти - precision; это не TPR, которая равна трём из четырёх положительных объектов всей выборки. Такая проверка обнаруживает частую путаницу до построения графика.
Частые ошибки
- Путать FPR с долей ошибочных ответов среди всех положительных предсказаний. Для FPR знаменатель - все истинно отрицательные объекты; для precision используется другая группа.
- Считать AUC точностью при выбранном пороге. Она характеризует порядок оценок по всей кривой, а accuracy относится к конкретным ответам.
- Строить ROC только по готовым меткам. Две метки дают очень мало уровней; для содержательной кривой нужны исходные оценки или баллы модели.
- Выбирать модель только по одной площади. Две кривые могут пересекаться: в важном диапазоне ложных тревог модель с меньшей общей AUC иногда лучше.
- Подбирать порог на тестовой выборке и на ней же отчитываться. Это делает итоговую оценку чрезмерно оптимистичной; разделяйте настройку и проверку.
FAQ
Всегда ли изменение порога меняет AUC? Нет. При фиксированных оценках и истинных метках порог выбирает точку на уже построенной кривой; площадь всей кривой остаётся той же.
Можно ли вычислить AUC, если есть только один класс? Нет: ни сравнение пар разных классов, ни обе нормированные координаты ROC в таком наборе не определены.
ROC-AUC измеряет качество вероятностей? Нет. Порядок оценок может быть хорошим, даже если сами вероятности плохо откалиброваны. Калибровку нужно проверять отдельно.
Коротко
ROC-кривая связывает полноту с долей ложных срабатываний при изменении порога. AUC суммирует качество ранжирования по всей кривой, а выбор конкретного порога требует учёта ошибок, частоты классов и условий применения. В учебном наборе площадь составляет , а порог даёт точку .
Читайте также

Алгоритм AdaBoost: как слабые классификаторы дают сильный
Алгоритм AdaBoost простыми словами: адаптивный бустинг, перевзвешивание объектов, формула веса классификатора, итоговый ансамбль и разбор шага на примере с формулами.

Метод k ближайших соседей (kNN): как работает алгоритм
Метод k ближайших соседей простыми словами: как считается расстояние между объектами, как выбрать число соседей k и как работает голосование классов на числовом примере.

F1 score: баланс precision и recall в классификации
Метрика F1 score: как она объединяет precision и recall через гармоническое среднее, когда применять F1-меру вместо accuracy и как считать её при дисбалансе классов.

Алгоритм CART: как построить дерево решений
Алгоритм CART строит бинарное дерево для классификации и регрессии. Разбираем индекс Джини, выбор порога, числовой пример, обрезку и ограничения модели.

Алгоритм ID3: как построить дерево решений
Алгоритм ID3 строит дерево решений по информационному выигрышу. Разбираем энтропию, выбор признака, пример расчёта, условия остановки и ограничения метода.

Алгоритм k-means: кластеризация по шагам
Алгоритм k-means простыми словами: как точки попадают в кластеры, как пересчитываются центроиды и сумма квадратов, как выбрать число групп и подготовить признаки.