Дифференциальная энтропия: формула и примеры

Дифференциальная энтропия описывает распределение непрерывной случайной величины через её плотность. Она похожа на энтропию Шеннона, но интерпретировать её как число бит для точной записи действительного числа нельзя: результат зависит от масштаба измерения и бывает отрицательным. Ниже разберём формулу, нормальное и равномерное распределения и переход к конечной точности. Для начала измените стандартное отклонение в калькуляторе и проследите за формой плотности и значением энтропии.
От дискретных исходов к плотности
Для дискретного источника с вероятностями энтропия Шеннона равна . Она измеряет среднюю неожиданность исхода в битах. Например, у двух равновероятных исходов она равна одному биту. Разницу между информацией отдельного события и средней энтропией объясняет статья про формулу Шеннона.
Для непрерывной величины вероятность отдельного точного значения обычно равна нулю. Вместо вероятностей точек используют плотность : вероятность попасть в интервал равна площади под её графиком на этом интервале. Плотность не является вероятностью точки и может быть больше единицы. При этом площадь под всей кривой равна единице.
Дифференциальная энтропия заменяет сумму интегралом:
если интеграл определён. В точках с вклад принимают равным нулю по пределу. Основание логарифма задаёт единицу: при основании 2 говорят о битах, при натуральном логарифме - о натах; один нат равен бита. Формула предполагает выбранную числовую шкалу величины. В отличие от дискретной энтропии, смена этой шкалы меняет значение .
Равномерное распределение и отрицательная энтропия
Пусть равномерна на отрезке длины . Плотность на нём постоянна и равна , а вне отрезка равна нулю. Подстановка в интеграл даёт
При получаем ноль, при - один бит, а при - минус два бита. Последний результат не означает отрицательную вероятность или отрицательное число записанных битов. На коротком интервале плотность равна четырём, её логарифм положителен, а перед интегралом стоит минус.
Для контраста формула Хартли даёт для конечного числа равновероятных исходов и не бывает отрицательной при . Здесь же - длина в выбранных единицах, а не число исходов. Сравнивать значения можно только при согласованных единицах и одинаковом основании логарифма.
Нормальное распределение: расчёт по шагам
Пусть , где - среднее, а - стандартное отклонение. Плотность имеет колоколообразную форму:
Её дифференциальная энтропия равна
Для вывода подставьте логарифм плотности в определение. Интеграл от плотности равен единице, а среднее значение равно . Поэтому сдвиг среднего исчезает из результата, тогда как масштаб остаётся. Это общая особенность: перенос кривой без изменения формы не меняет дифференциальную энтропию.
Возьмём и . Тогда бита, а высота плотности в нуле составляет около . При получаем бита и высоту около . Узкая кривая выше, потому что полная площадь под ней должна оставаться равной единице. Удвоение стандартного отклонения добавило ровно один бит к энтропии.

Калькулятор показывает тот же результат и для промежуточных значений. Он рисует лишь участок от до : хвосты нормальной плотности продолжаются за границами графика, хотя их вклад в показанном диапазоне мал. Расчёт энтропии использует всю плотность, а не площадь видимого фрагмента.
Почему масштаб и единицы важны
Если , где , то при существовании энтропии
Это следует из замены переменной: плотность растягивается по горизонтали в раз и одновременно уменьшается по высоте во столько же раз. Сдвиг на площадь и форму не влияет. При прибавляется один бит; при один бит вычитается.
Например, пусть записана в метрах, а - та же длина в сантиметрах. Численная энтропия больше на бита. Сам объект и наши знания о нём не изменились: изменилась числовая шкала. Поэтому голое значение без указания единицы измерения не даёт полной картины.
Это также причина не отождествлять дифференциальную энтропию с термодинамической величиной напрямую. В статье об энтропии в химии рассматриваются другие физические определения и единицы; связь между информационной и физической энтропией требует уточнения модели и выбранной меры состояний.
Связь с квантованием и кодированием
Чтобы записывать непрерывное измерение, на практике задают конечную точность: делят числовую ось на ячейки ширины и записывают номер ячейки. Получается дискретная случайная величина . Если плотность достаточно регулярна и шаг мал, её энтропия приближённо равна
Здесь выражена в тех же единицах, что и . Например, для равномерного распределения на имеем . При разбиении на четыре равные ячейки ширины каждую ячейку выбирают с вероятностью , поэтому бита; формула в этом случае точна. При уменьшении шага вдвое прибавляется примерно один бит на отсчёт.
Эта приближённая связь не универсальна без условий: для произвольных плотностей и грубых ячеек ошибка может быть заметной. Также энтропия индекса ячейки характеризует источник после квантования, а не размер любого конкретного файла: он зависит от кодера и других ограничений. Вопрос о числе различимых сообщений полезно сопоставить с количеством информации о событии.
Пример: измерение с конечным шагом
Представим датчик, результат которого равномерно распределён между нулём и одним метром. При записи в метрах его дифференциальная энтропия равна нулю. Если прибор различает четыре одинаковых интервала по четверти метра, номер интервала принимает четыре равновероятных значения. Для такого результата нужно два бита в расчёте на измерение при идеальном кодировании равновероятных исходов.
Теперь выразим те же результаты в сантиметрах. Численная ширина диапазона стала равна ста, а шаг измерения - двадцати пяти. Дифференциальная энтропия в сантиметровой шкале равна примерно 6,64 бита. Поправка для шага равна логарифму от одной двадцать пятой, то есть примерно минус 4,64 бита. Их сумма снова даёт два бита. Изменение единиц повлияло на оба слагаемых, но не на вероятности четырёх интервалов.
На реальном датчике распределение показаний может быть неравномерным. Тогда ячейки имеют разные вероятности и энтропию их номеров нужно считать по дискретной формуле. Если известны лишь конечные наблюдения, плотность приходится оценивать: выбор модели и ширины сглаживания влияет на результат. Поэтому численная оценка дифференциальной энтропии не является простым подсчётом разных значений в таблице. Полезно проверить устойчивость результата к настройкам и указать, в каких единицах и с какой точностью собраны данные.
Этот пример также показывает, почему высоты двух плотностей нельзя сравнивать как вероятности без общей ширины интервала. Для достаточно узкой ячейки вероятность приблизительно равна высоте плотности, умноженной на ширину ячейки. Именно площадь полоски, а не её высота сама по себе, имеет смысл вероятности.
Когда сравнение энтропий полезно
При одинаковой дисперсии нормальное распределение имеет максимальную дифференциальную энтропию среди распределений с плотностью, для которых соответствующие величины определены. Это помогает строить верхние оценки в теории связи: если известна лишь дисперсия шума, нормальная модель служит важной точкой сравнения. Утверждение не означает, что всякая реальная помеха нормальна.
Для независимых непрерывных величин с существующими конечными энтропиями совместная энтропия складывается: . При зависимости эту сумму заменяет правило с условной энтропией. В задачах анализа данных обычно важнее сравнивать распределения в единой системе координат или использовать величины, устойчивые к согласованной смене масштаба, например взаимную информацию.
Определение, правило масштаба и оговорки о существовании интегралов подробно изложены в конспекте MIT по теории информации; связь с конечной точностью рассматривается в материалах MIT о квантовании.
Частые ошибки
- Подставлять вероятность точки вместо плотности. Вероятность интервала получают интегрированием, а может превышать единицу.
- Считать отрицательное значение невозможным. Для равномерного закона на отрезке длины оно равно битам.
- Забывать единицы и основание логарифма. Перевод метров в сантиметры меняет численное значение, а натуральный логарифм даёт наты.
- Приравнивать к длине записи точного значения. Для кодирования нужен шаг квантования; точное действительное число в общем случае не записывается конечным числом бит.
- Подставлять дисперсию вместо стандартного отклонения. В формуле нормального закона стоит , поэтому проверьте, какую величину сообщает условие.
FAQ
Может ли дифференциальная энтропия быть равна нулю?
Да. Например, она равна нулю для равномерной плотности на отрезке численной длины 1. После изменения единиц то же распределение может иметь другое численное значение.
Зависят ли энтропия и плотность от среднего нормального закона?
Плотность сдвигается вместе со средним, но её форма и дифференциальная энтропия не меняются. Значение зависит от , а не от .
Всегда ли существует дифференциальная энтропия?
Нет. Наличие плотности ещё не гарантирует конечности или даже существования интеграла. При работе с необычными распределениями сходимость нужно проверять отдельно.
Коротко
Дифференциальная энтропия - интеграл для непрерывной плотности. Она может быть отрицательной и меняется при масштабировании; для нормального закона удвоение добавляет один бит. Чтобы связать её с дискретным кодированием, необходимо указать точность квантования и условия применимости приближения.
Читайте также

АЦП последовательного приближения: схема и принцип работы
Разберите схему АЦП последовательного приближения: как компаратор, ЦАП и регистр определяют код по битам, как вычислить шаг квантования и оценить погрешность.

Дельта-модуляция: как сигнал превращается в биты
Дельта-модуляция передаёт направление изменения оценки сигнала одним битом на отсчёт. Разбираем кодирование, перегрузку по крутизне, шум и выбор шага.

Колмогоровская сложность: длина кратчайшего описания
Что такое колмогоровская сложность строки, как связаны программы и сжатие, почему большинство строк несжимаемы и нельзя вычислить точное значение сложности.

Критерий Шовене: проверка подозрительного измерения
Как применять критерий Шовене к ряду измерений: формула двух хвостов, расчёт порога и пример, смысл ожидаемого числа редких наблюдений и ограничения метода.

Параллельный АЦП: схема, принцип работы и расчёт
Как работает параллельный АЦП: компараторы, делитель и термометрический код. Рассчитайте шаг квантования и выходной код, разберите пример и ограничения схемы.

Погрешность квантования: формула и пример расчёта
Как найти шаг квантования и предельную ошибку АЦП, когда применима оценка шума q/√12 и как разрядность и диапазон влияют на результат: формулы и примеры расчёта.