Условная энтропия: формула и пример расчёта

Условная энтропия показывает, сколько неопределённости в среднем остаётся о случайной величине после того, как мы узнали другую. Например, передатчик отправляет случайный бит, а приёмник видит его через канал с возможными ошибками. Полученный сигнал помогает угадать исходный бит, но не всегда определяет его точно. Мера оставшейся неопределённости обозначается : сначала стоит то, что мы хотим узнать, после черты - то, что уже наблюдаем. В калькуляторе можно изменить вероятность ошибки и сравнить остаток с исходным одним битом неопределённости.
Что измеряет условная энтропия
Пусть - отправленный бит, а - принятый. Если оба исхода равновероятны, до наблюдения энтропия равна одному биту. Безошибочный приём раскрывает значение полностью: остаточная неопределённость равна нулю. При ошибке с вероятностью 50 % результат приёма уже не помогает отличить отправленный ноль от единицы: остаётся один бит неопределённости.
В промежутке ситуация меняется плавно. На видео точка проходит по кривой для симметричного канала: чем чаще в диапазоне от нуля до 50 % переворачивается бит, тем меньше приёмник узнаёт об исходе. Затем параметр возвращается назад. Это именно учебная вероятностная модель, а не измерение реальной линии связи.
Слово «средняя» здесь принципиально. Мы усредняем неопределённость по всем возможным наблюдениям , учитывая, как часто они встречаются. Значение не является количеством ошибок в конкретном сообщении и не описывает смысл переданного текста. Базовую меру неопределённости источника отдельно объясняет статья о формуле Шеннона и энтропии.
Формула и порядок вычисления
Для дискретных величин с известным совместным распределением определение имеет вид:
Здесь - вероятность пары значений, а - вероятность исхода при условии наблюдения . Логарифм по основанию два задаёт единицу измерения - биты. Нулевые слагаемые принимаются равными нулю по непрерывности; для невозможного значения условное распределение вычислять не нужно.
Удобно разделить расчёт на два шага. Сначала для каждого возможного найдите распределение и его обычную энтропию. Затем усредните результаты с весами :
Энтропия при одном фиксированном наблюдении и средняя условная энтропия - разные величины. Одно редкое наблюдение может даже повысить неопределённость относительно исходной; утверждение о том, что наблюдение не увеличивает энтропию, относится именно к среднему по всем значениям . Как получать условные вероятности из совместных, показано в статье про условную вероятность.
Пример: двоичный канал с ошибкой 10 %
Пусть ноль и единица отправляются с одинаковой вероятностью, а канал переворачивает каждый из них с вероятностью . Строки следующей таблицы соответствуют отправленному , столбцы - принятому :
| Совместная вероятность | ||
|---|---|---|
| 0,45 | 0,05 | |
| 0,05 | 0,45 |
Например, . Сумма всех четырёх ячеек равна единице, а сумма каждого столбца равна . Поэтому, увидев , получаем и . Для вероятности меняются местами, но энтропия остаётся такой же.

Подставляем вероятности в формулу двоичной энтропии и учитываем оба равновероятных наблюдения:
Остаток меньше исходного бита, но больше нуля. Это не означает, что от каждого отдельного бита физически осталась дробная часть: число характеризует среднюю неопределённость на один исход при многократном использовании заданной модели. Калькулятор начинает именно с этих 10 %, так что его результат можно сверить с расчётом.
Пример с неодинаковыми весами наблюдений
Представим другой источник: наблюдение принимает первое значение в трёх случаях из четырёх, а второе - в одном случае из четырёх. После первого значения искомый исход известен точно: его условная энтропия равна нулю. После второго возможны два равновероятных исхода, поэтому соответствующая энтропия равна одному биту. Это полное описание позволяет найти среднюю остаточную неопределённость без предположения, что оба наблюдения встречаются одинаково часто:
Если взять простое среднее нуля и единицы, получится половина бита - вдвое больше правильного ответа. Редкое наблюдение нельзя считать столь же важным для среднего, как частое. Именно поэтому в общей формуле появляются вероятности наблюдений, а таблица совместного распределения должна содержать все возможные пары.
Можно задать распределение явно: в первом случае исход всегда равен нулю, во втором ноль и единица равновероятны. Тогда без наблюдения вероятность единицы равна одной восьмой, а исходная энтропия составляет приблизительно 0,544 бита. Увидев редкое второе значение, мы оказываемся перед равновероятным выбором с энтропией один бит. Неопределённость в этом отдельном случае выросла, хотя средняя после наблюдения уменьшилась до четверти бита. Противоречия нет: результат для редкого случая компенсируется частым случаем с нулевой остаточной неопределённостью.
Этот пример полезен при работе с диагностическими признаками и классификацией. Признак оценивают не только по тому, насколько он проясняет отдельную группу, но и по частоте появления каждой группы. Условная энтропия сводит эти сведения к одному среднему числу; при этом для практического решения всё равно стоит отдельно посмотреть распределения по группам и цену возможных ошибок.
Цепное правило и взаимная информация
Совместная энтропия описывает неопределённость пары. Её можно разложить в двух порядках:
Сначала представим, что узнали , а затем уточнили . Необходимая в среднем дополнительная информация выражается через . Алгебраически правило следует из и свойства логарифма произведения. Если совместная энтропия известна, остаток находится как .
Сколько же неопределённости сняло наблюдение? Это взаимная информация:
В нашем примере , значит бита. В отличие от условной энтропии, взаимная информация симметрична: . Эти определения и цепное правило приведены, например, в конспекте Стэнфордского университета по теории информации.
Границы и направление условия
Для дискретных величин с конечными энтропиями выполняется . Нижняя граница достигается, когда можно однозначно восстановить по почти наверняка. Верхняя - когда и независимы: знание результата не меняет распределение исхода. Например, независимый бросок второй монеты ничего не сообщает о результате первой.
При этом вообще говоря не равно . Пусть - честная монета, а состоит из и ещё одной независимой честной монеты. По паре исход известен, поэтому . Но по одному вторая монета неизвестна, и бит. Всегда уточняйте, какую величину требуется предсказать и какая уже известна.
Как применять модель и не переоценить ответ
Формула для калькулятора опирается на два условия: входные биты равновероятны и вероятность переворота одинакова для нуля и единицы. Если вход смещён или ошибки асимметричны, таблицу нужно построить заново. В частности, обратные вероятности уже не обязаны совпадать с вероятностями ошибки канала . Для перехода между направлениями используют формулу Байеса.
При оценке данных сначала проверьте, откуда взяты вероятности: из условия задачи, теоретической модели или конечной выборки. Частоты в небольшой выборке дают лишь оценку распределения, и рассчитанная по ним энтропия может отличаться от истинной. Для последовательностей с зависимостями между символами одной таблицы отдельных битов может не хватить: контекст предыдущих символов тоже влияет на неопределённость.
Биты в ответе измеряют информацию, а не обязательно длину конкретного файла. При сжатии результат зависит от схемы кодирования и длины последовательности; при передаче - ещё и от устройства канала. Соотношение битов и байтов отдельно разобрано в материале о переводе единиц информации.
Для самостоятельной проверки полезно пройти расчёт в обратном направлении: сложить вероятности в каждой строке и каждом столбце, убедиться, что общая сумма равна единице, а затем сравнить условную энтропию с исходной. Если остаток превышает исходную энтропию в среднем, вероятно, перепутаны веса или направления условных вероятностей. При округлении промежуточных значений оставляйте несколько знаков: иначе небольшое расхождение может появиться даже в верном решении.
Частые ошибки
- Не взвешивать наблюдения. Энтропии отдельных условных распределений усредняют с вероятностями соответствующих , а не всегда поровну.
- Переставлять величины. и отвечают на разные вопросы и в общем случае различаются.
- Подставлять ошибку вместо остатка. Вероятность и условная энтропия бита имеют разные единицы и смысл.
- Использовать двоичную формулу без проверки модели. При неравновероятном входе или разных вероятностях ошибок начните с совместного распределения.
- Приписывать среднее каждому наблюдению. Неравенство не гарантирует уменьшения энтропии для каждого отдельного значения .
FAQ
Может ли условная энтропия быть отрицательной?
Для дискретных случайных величин - нет: каждое слагаемое в определении неотрицательно. Дифференциальная энтропия непрерывных величин определяется иначе и может быть отрицательной, поэтому её свойства нельзя переносить без оговорок.
Когда условная энтропия равна нулю?
Когда наблюдение определяет искомую величину почти наверняка. Например, безошибочно принятый бит однозначно задаёт отправленный.
Что будет при ошибке больше 50 %?
В симметричном канале результат становится снова полезным: его можно перевернуть. Например, при ошибке 90 % условная энтропия равна той же величине, что при 10 %. Калькулятор показывает диапазон от нуля до 50 %, где зависимость возрастает.
Коротко
Условная энтропия - средняя неопределённость об после наблюдения . Её считают по совместным и условным вероятностям или через цепное правило; разность даёт взаимную информацию. Для равновероятного двоичного источника и симметричного канала с ошибкой 10 % остаётся около 0,469 бита неопределённости на исход.
Читайте также

Дифференциальная энтропия: формула и примеры
Дифференциальная энтропия непрерывной величины: формула, примеры для равномерного и нормального распределений, отрицательные значения, масштаб и квантование.

Колмогоровская сложность: длина кратчайшего описания
Что такое колмогоровская сложность строки, как связаны программы и сжатие, почему большинство строк несжимаемы и нельзя вычислить точное значение сложности.

Формула Шеннона: количество информации в битах
Формула Шеннона простыми словами: как измерить количество информации в битах, чем I = log2 N отличается от энтропии источника, как считать редкие события и где студенты ошибаются в задачах.

Пропускная способность канала: формула Шеннона-Хартли
Формула Шеннона-Хартли для пропускной способности канала: как полоса пропускания и отношение сигнал/шум задают предельную скорость передачи данных, вывод и разбор числового примера.

Абсолютно неупругий удар: сохранение импульса
Как найти скорость тел после абсолютно неупругого удара, применить закон сохранения импульса и вычислить потерю кинетической энергии на понятных примерах с формулами.

Абсолютное и избыточное давление: формулы и вакуум
Абсолютное и избыточное давление, разрежение и вакуум: как выбрать начало отсчёта, перевести показания манометра и решить задачи с примерами в килопаскалях.