EssayAI
Блог
Блог
Математика и алгоритмы

Дивергенция Кульбака-Лейблера: смысл и расчёт

8 ноября 2026Время чтения: 8 минут
#дивергенция Кульбака Лейблера#теория вероятностей#относительная энтропия#машинное обучение#распределение вероятностей
Дивергенция Кульбака-Лейблера: смысл и расчёт

Дивергенция Кульбака - Лейблера показывает, насколько распределение вероятностей QQ отличается от опорного распределения PP, если усреднять логарифм отношения вероятностей по PP. Её также называют относительной энтропией и обозначают DKL(P∥Q)D_{KL}(P\|Q). Эта величина помогает сравнивать вероятностные модели, но у неё есть особенность: порядок распределений важен. Ниже разберём формулу, пример и случаи, когда ответ становится бесконечным. В калькуляторе можно менять вероятности двух исходов и сразу сравнивать оба направления.

Зачем сравнивать распределения

Пусть событие может закончиться одним из двух исходов. По распределению PP первый исход имеет вероятность 0,80{,}8, второй - 0,20{,}2. Модель QQ считает оба исхода равновероятными: 0,50{,}5 и 0,50{,}5. Нас интересует не ошибка отдельного прогноза, а расхождение между двумя полными распределениями.

Зафиксируем PP и будем менять QQ. Когда вероятность первого исхода в модели приближается к 0,80{,}8, вероятность второго автоматически приближается к 0,20{,}2. Дивергенция убывает до нуля: модель совпадает с опорным распределением. На видео затем происходит обратное движение, чтобы цикл можно было наблюдать снова.

Золотые столбцы модели приближаются к столбцам распределения данных и возвращаются обратно; при совпадении распределений дивергенция обращается в ноль.

Распределение PP здесь задано как учебная модель данных, а не как результат измерений. В реальной задаче сначала нужно определить, откуда берутся вероятности и что именно означает каждое распределение. Например, для прогноза погоды PP может описывать частоты исходов в выбранных условиях, а QQ - вероятности, назначенные моделью. Оценка PP по конечной выборке сама связана с неопределённостью.

Формула и смысл слагаемых

Для дискретных распределений на одинаковом наборе исходов формула имеет вид

DKL(P∥Q)=∑ipiln⁡piqi.D_{KL}(P\|Q)=\sum_i p_i\ln\frac{p_i}{q_i}.

Здесь pi=P(i)p_i=P(i), qi=Q(i)q_i=Q(i), а сумма берётся по всем исходам. Логарифм отношения сравнивает вероятности одного и того же исхода, а множитель pip_i задаёт вес этого сравнения. Иными словами, KL-дивергенция - математическое ожидание величины ln⁡(P/Q)\ln(P/Q) при исходах, распределённых по PP.

Натуральный логарифм даёт результат в натах. Если использовать логарифм по основанию 2, результат будет выражен в битах: для перевода нужно разделить значение в натах на ln⁡2\ln 2. Выбор основания меняет масштаб, но не порядок сравнения моделей. Напомним свойства натурального и десятичного логарифмов, если преобразование оснований вызывает затруднение.

Отдельное слагаемое может быть отрицательным: это происходит, когда qi>piq_i>p_i. Однако вся сумма неотрицательна. Поэтому нельзя оценивать качество модели по знаку одного слагаемого, не учитывая остальные исходы.

Пример расчёта по шагам

Подставим P=(0,8; 0,2)P=(0{,}8;\,0{,}2) и Q=(0,5; 0,5)Q=(0{,}5;\,0{,}5):

DKL(P∥Q)=0,8ln⁡0,80,5+0,2ln⁡0,20,5.D_{KL}(P\|Q)=0{,}8\ln\frac{0{,}8}{0{,}5}+0{,}2\ln\frac{0{,}2}{0{,}5}.

Первый вклад равен примерно 0,37600{,}3760, второй - примерно −0,1833-0{,}1833. Их сумма составляет 0,19270{,}1927 ната, или около 0,1930{,}193 после округления до тысячных. Отрицательный вклад второго исхода не противоречит неотрицательности всей дивергенции.

Теперь поменяем распределения местами. Веса тоже изменятся: ими станут вероятности из QQ:

DKL(Q∥P)=0,5ln⁡0,50,8+0,5ln⁡0,50,2≈0,2231 ната.D_{KL}(Q\|P)=0{,}5\ln\frac{0{,}5}{0{,}8}+0{,}5\ln\frac{0{,}5}{0{,}2}\approx0{,}2231\text{ ната}.

Два распределения по двум исходам: P равно 0,8 и 0,2, Q равно 0,5 и 0,5; дивергенции в двух направлениях равны примерно 0,193 и 0,223 ната
Два распределения по двум исходам: P равно 0,8 и 0,2, Q равно 0,5 и 0,5; дивергенции в двух направлениях равны примерно 0,193 и 0,223 ната

Результаты различны: 0,193≠0,2230{,}193\ne0{,}223. Калькулятор в начале статьи использует те же исходные числа. Попробуйте передвинуть оба ползунка к одному значению: столбцы попарно совпадут, а оба результата станут нулевыми.

Почему дивергенция не является расстоянием

Обычное расстояние между двумя точками одинаково в обоих направлениях. Для KL-дивергенции симметрия в общем случае не выполняется, как показывает расчёт выше. Она также не обязана удовлетворять неравенству треугольника, поэтому называть её метрикой нельзя.

Причина асимметрии видна прямо в формуле: при перестановке меняется не только отношение внутри логарифма, но и распределение весов. В DKL(P∥Q)D_{KL}(P\|Q) усреднение идёт по PP, а в DKL(Q∥P)D_{KL}(Q\|P) - по QQ. Один и тот же исход может получать разный вес в двух вычислениях. При этом для некоторых пар значения случайно совпадают, поэтому один симметричный пример не доказывает симметрии правила.

Порядок записи нужно выбирать по смыслу задачи. Например, если минимизируется ожидаемая по PP потеря от применения модели QQ, целевая величина имеет вид DKL(P∥Q)D_{KL}(P\|Q). Если же алгоритм явно задаёт обратное направление, менять его на привычное без обоснования нельзя: получится другая задача оптимизации.

Почему результат неотрицателен

Для положительного xx справедливо −ln⁡x≥1−x-\ln x\geq 1-x. Предположим сначала, что все pip_i и qiq_i положительны. Подставим x=qi/pix=q_i/p_i, умножим на pip_i и сложим по исходам:

DKL(P∥Q)≥∑i(pi−qi)=1−1=0.D_{KL}(P\|Q)\geq\sum_i(p_i-q_i)=1-1=0.

Равенство достигается, когда соответствующие вероятности совпадают для всех исходов. С нулевыми вероятностями используют предельные соглашения, описанные ниже; неотрицательность сохраняется и для бесконечного результата. Другой путь к тому же выводу связан с неравенством Йенсена для выпуклой функции −ln⁡x-\ln x.

Ноль означает совпадение распределений, а положительное значение - их различие в выбранном направлении. Само число не является вероятностью ошибки: например, значение 0,1930{,}193 ната нельзя читать как вероятность ошибки 19,3%19{,}3\%. Для практической интерпретации полезно сравнивать значения, полученные для одной задачи, одного PP и одного основания логарифма.

Нули, бесконечность и непрерывный случай

Если pi=0p_i=0, вклад исхода принимают равным нулю по пределу: при фиксированном положительном qiq_i выражение piln⁡(pi/qi)p_i\ln(p_i/q_i) стремится к нулю. При pi=qi=0p_i=q_i=0 вклад также считают нулевым. Но если pi>0p_i>0, а qi=0q_i=0, то DKL(P∥Q)=+∞D_{KL}(P\|Q)=+\infty: модель объявила невозможным событие, которое по PP возможно.

Например, для P=(0,5; 0,5)P=(0{,}5;\,0{,}5) и Q=(1; 0)Q=(1;\,0) второй исход порождает бесконечный вклад. Калькулятор ограничивает ползунки диапазоном от 0,010{,}01 до 0,990{,}99, чтобы вычисления оставались конечными; граничные случаи нужно анализировать отдельно. При оценивании модели по данным сглаживание может убрать нули в оценках, но его выбор меняет модель и требует обоснования.

Для непрерывных распределений вместо суммы используют интеграл по плотностям:

DKL(P∥Q)=∫p(x)ln⁡p(x)q(x) dx.D_{KL}(P\|Q)=\int p(x)\ln\frac{p(x)}{q(x)}\,dx.

Плотность qq должна быть положительна почти всюду там, где положительна pp; иначе дивергенция бесконечна. Формула предполагает общую меру интегрирования и корректно заданные плотности. Плотность в точке сама по себе не является вероятностью этой точки, поэтому дискретные и непрерывные расчёты нельзя смешивать без уточнения модели.

Связь с энтропией и обучением моделей

Энтропия H(P)=−∑ipiln⁡piH(P)=-\sum_i p_i\ln p_i зависит только от PP. Перекрёстная энтропия H(P,Q)=−∑ipiln⁡qiH(P,Q)=-\sum_i p_i\ln q_i оценивает среднюю логарифмическую потерю модели QQ при исходах из PP. Из определений следует

H(P,Q)=H(P)+DKL(P∥Q).H(P,Q)=H(P)+D_{KL}(P\|Q).

При фиксированном PP минимизация перекрёстной энтропии по QQ эквивалентна минимизации DKL(P∥Q)D_{KL}(P\|Q): первое слагаемое не зависит от модели. В интерпретации кодирования дивергенция показывает дополнительную среднюю длину идеального кода при использовании вероятностей QQ вместо PP, в выбранных единицах логарифма.

KL-дивергенция встречается и в других задачах. В алгоритме t-SNE она сравнивает вероятности близости пар точек до и после снижения размерности. Сравнение распределений также полезно отличать от вычисления отдельной условной вероятности: последняя описывает вероятность события при условии, тогда как KL суммирует вклады по исходам.

Как применять формулу в задаче

Сначала выпишите все возможные исходы и сопоставьте вероятности в одинаковом порядке. Если одно распределение задано в процентах, переведите их в доли. Проверьте, что каждая вероятность неотрицательна, а сумма по каждой строке равна единице. В задачах с несколькими категориями нельзя просто исключить неудобную категорию: после исключения остальные вероятности придётся нормировать, и получится уже другая постановка.

Затем определите направление сравнения по условию. Подставьте в числитель и в веса вероятности из первого аргумента, а в знаменатель - из второго. Для каждого положительного веса найдите отношение вероятностей, вычислите логарифм и умножьте его на вес. Сложите результаты и округляйте только в конце: раннее округление может заметно повлиять на маленькое итоговое значение.

Наконец, оцените ответ. Он не должен быть отрицательным с учётом погрешности вычислений. При полном совпадении распределений каждое отношение положительных вероятностей равно единице и сумма равна нулю. Если модель присвоила ноль возможному по опорному распределению исходу, вместо деления на ноль укажите бесконечную дивергенцию и объясните причину.

Важна и сопоставимость данных: категории должны обозначать одни и те же события при одинаковых условиях. Сравнивать распределение исходов за один сезон с прогнозом для другого сезона без дополнительных оговорок некорректно. Сначала проверьте смысл вероятностей, затем вычисляйте показатель и интерпретируйте его в контексте задачи.

Частые ошибки

  • Меняют PP и QQ местами. Перед подстановкой определите распределение, по которому берётся среднее.
  • Забывают второй исход. Для корректной суммы нужны все исходы и нормированные вероятности каждого распределения.
  • Приравнивают KL к проценту ошибок. Единица зависит от основания логарифма; это не доля неверных ответов.
  • Игнорируют нули модели. Если pi>0p_i>0, но qi=0q_i=0, конечного результата нет.
  • Считают каждое слагаемое неотрицательным. Такое свойство относится к сумме, а не к отдельному вкладу.

FAQ

Может ли дивергенция быть отрицательной?

Нет. При корректных вероятностных распределениях она неотрицательна или равна положительной бесконечности. Отрицательный численный результат иногда появляется из-за округления или неверной подстановки.

Когда она равна нулю?

Когда распределения совпадают на всех исходах с положительной вероятностью; в непрерывном случае - почти всюду относительно соответствующей меры. Простое совпадение среднего значения не гарантирует совпадения распределений.

Зависит ли результат от основания логарифма?

Да, меняется единица измерения. При натуральном логарифме результат выражается в натах, при двоичном - в битах; для перехода от натов к битам делят на ln⁡2\ln 2.

Коротко

Дивергенция Кульбака - Лейблера усредняет по PP логарифм отношения вероятностей PP и QQ. Она равна нулю при совпадении распределений, неотрицательна и обычно меняется при перестановке аргументов. Проверяйте полный набор исходов, порядок распределений, основание логарифма и случаи нулевой вероятности модели.

Доверьте текст нейросети EssayAI

Открыть EssayAI

Бесплатно, на русском языке и без VPN

Читайте также

Цепь Маркова: стационарное распределение

Цепь Маркова: стационарное распределение

Как найти стационарное распределение цепи Маркова по матрице переходов: пример для двух состояний, проверка баланса и условия сходимости с разбором ошибок.

8 ноября 20268 минут
Геометрическая вероятность: задача о встрече

Геометрическая вероятность: задача о встрече

Как решить задачу о встрече через геометрическую вероятность: квадрат времён прихода, область встречи, расчёт для ожидания 15 минут и варианты условий.

8 ноября 20268 минут
Неравенство Маркова и Чебышёва: сравнение оценок

Неравенство Маркова и Чебышёва: сравнение оценок

Неравенства Маркова и Чебышёва оценивают вероятность по среднему и дисперсии. Сравним границы одного события, проверим условия и разберём примеры равенства.

8 ноября 20268 минут
Парадокс дней рождения: вероятность совпадения

Парадокс дней рождения: вероятность совпадения

Парадокс дней рождения объясняет, почему уже в группе из 23 человек вероятность общей даты превышает 50 %. Выведем формулу, сравним случаи и проверим ограничения модели.

8 ноября 20269 минут
Процесс восстановления: теория и примеры

Процесс восстановления: теория и примеры

Процесс восстановления в теории вероятностей: интервалы между событиями, функция и уравнение восстановления, предельная теорема и пример расчёта замен.

8 ноября 20268 минут
Распределение функции случайной величины: метод

Распределение функции случайной величины: метод

Как найти распределение функции случайной величины через прообраз события и плотность: алгоритм, пример с квадратом, несколько обратных ветвей и проверка ответа.

8 ноября 20268 минут