EssayAI
Блог
Блог
Естественные науки

Дифференциальная энтропия: формула и примеры

8 ноября 2026Время чтения: 8 минут
#дифференциальная энтропия#теория информации#плотность вероятности#нормальное распределение#квантование
Дифференциальная энтропия: формула и примеры

Дифференциальная энтропия описывает распределение непрерывной случайной величины через её плотность. Она похожа на энтропию Шеннона, но интерпретировать её как число бит для точной записи действительного числа нельзя: результат зависит от масштаба измерения и бывает отрицательным. Ниже разберём формулу, нормальное и равномерное распределения и переход к конечной точности. Для начала измените стандартное отклонение в калькуляторе и проследите за формой плотности и значением энтропии.

От дискретных исходов к плотности

Для дискретного источника с вероятностями pip_i энтропия Шеннона равна H(X)=−∑ipilog⁡2piH(X)=-\sum_i p_i\log_2 p_i. Она измеряет среднюю неожиданность исхода в битах. Например, у двух равновероятных исходов она равна одному биту. Разницу между информацией отдельного события и средней энтропией объясняет статья про формулу Шеннона.

Для непрерывной величины вероятность отдельного точного значения обычно равна нулю. Вместо вероятностей точек используют плотность f(x)f(x): вероятность попасть в интервал равна площади под её графиком на этом интервале. Плотность не является вероятностью точки и может быть больше единицы. При этом площадь под всей кривой равна единице.

Дифференциальная энтропия заменяет сумму интегралом:

h(X)=−∫−∞∞f(x)log⁡2f(x) dx,h(X)=-\int_{-\infty}^{\infty} f(x)\log_2 f(x)\,dx,

если интеграл определён. В точках с f(x)=0f(x)=0 вклад принимают равным нулю по пределу. Основание логарифма задаёт единицу: при основании 2 говорят о битах, при натуральном логарифме - о натах; один нат равен log⁡2e\log_2 e бита. Формула предполагает выбранную числовую шкалу величины. В отличие от дискретной энтропии, смена этой шкалы меняет значение hh.

Стандартное отклонение нормальной плотности увеличивается и возвращается обратно: кривая расширяется, её вершина опускается, а дифференциальная энтропия возрастает.

Равномерное распределение и отрицательная энтропия

Пусть XX равномерна на отрезке длины L>0L>0. Плотность на нём постоянна и равна 1/L1/L, а вне отрезка равна нулю. Подстановка в интеграл даёт

h(X)=−∫0L1Llog⁡21L dx=log⁡2L.h(X)=-\int_0^L \frac{1}{L}\log_2\frac{1}{L}\,dx=\log_2 L.

При L=1L=1 получаем ноль, при L=2L=2 - один бит, а при L=1/4L=1/4 - минус два бита. Последний результат не означает отрицательную вероятность или отрицательное число записанных битов. На коротком интервале плотность равна четырём, её логарифм положителен, а перед интегралом стоит минус.

Для контраста формула Хартли даёт log⁡2N\log_2 N для конечного числа NN равновероятных исходов и не бывает отрицательной при N≥1N\geq 1. Здесь же LL - длина в выбранных единицах, а не число исходов. Сравнивать значения можно только при согласованных единицах и одинаковом основании логарифма.

Нормальное распределение: расчёт по шагам

Пусть X∼N(μ,σ2)X\sim N(\mu,\sigma^2), где μ\mu - среднее, а σ>0\sigma>0 - стандартное отклонение. Плотность имеет колоколообразную форму:

f(x)=1σ2πexp⁡(−(x−μ)22σ2).f(x)=\frac{1}{\sigma\sqrt{2\pi}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right).

Её дифференциальная энтропия равна

h(X)=12log⁡2(2πeσ2)=log⁡2(σ2πe).h(X)=\frac12\log_2(2\pi e\sigma^2)=\log_2\bigl(\sigma\sqrt{2\pi e}\bigr).

Для вывода подставьте логарифм плотности в определение. Интеграл от плотности равен единице, а среднее значение (X−μ)2(X-\mu)^2 равно σ2\sigma^2. Поэтому сдвиг среднего исчезает из результата, тогда как масштаб σ\sigma остаётся. Это общая особенность: перенос кривой без изменения формы не меняет дифференциальную энтропию.

Возьмём μ=0\mu=0 и σ=1\sigma=1. Тогда h≈2,05h\approx 2{,}05 бита, а высота плотности в нуле составляет около 0,3990{,}399. При σ=0,5\sigma=0{,}5 получаем h≈1,05h\approx 1{,}05 бита и высоту около 0,7980{,}798. Узкая кривая выше, потому что полная площадь под ней должна оставаться равной единице. Удвоение стандартного отклонения добавило ровно один бит к энтропии.

Две нормальные плотности: при увеличении стандартного отклонения с 0,5 до 1 дифференциальная энтропия возрастает на один бит
Две нормальные плотности: при увеличении стандартного отклонения с 0,5 до 1 дифференциальная энтропия возрастает на один бит

Калькулятор показывает тот же результат и для промежуточных значений. Он рисует лишь участок от −6-6 до 66: хвосты нормальной плотности продолжаются за границами графика, хотя их вклад в показанном диапазоне мал. Расчёт энтропии использует всю плотность, а не площадь видимого фрагмента.

Почему масштаб и единицы важны

Если Y=aX+bY=aX+b, где a≠0a\ne0, то при существовании энтропии

h(Y)=h(X)+log⁡2∣a∣.h(Y)=h(X)+\log_2|a|.

Это следует из замены переменной: плотность растягивается по горизонтали в ∣a∣|a| раз и одновременно уменьшается по высоте во столько же раз. Сдвиг bb на площадь и форму не влияет. При a=2a=2 прибавляется один бит; при a=1/2a=1/2 один бит вычитается.

Например, пусть XX записана в метрах, а Y=100XY=100X - та же длина в сантиметрах. Численная энтропия h(Y)h(Y) больше на log⁡2100≈6,64\log_2 100\approx6{,}64 бита. Сам объект и наши знания о нём не изменились: изменилась числовая шкала. Поэтому голое значение hh без указания единицы измерения не даёт полной картины.

Это также причина не отождествлять дифференциальную энтропию с термодинамической величиной напрямую. В статье об энтропии в химии рассматриваются другие физические определения и единицы; связь между информационной и физической энтропией требует уточнения модели и выбранной меры состояний.

Связь с квантованием и кодированием

Чтобы записывать непрерывное измерение, на практике задают конечную точность: делят числовую ось на ячейки ширины Δ\Delta и записывают номер ячейки. Получается дискретная случайная величина XΔX_\Delta. Если плотность достаточно регулярна и шаг мал, её энтропия приближённо равна

H(XΔ)≈h(X)+log⁡21Δ.H(X_\Delta)\approx h(X)+\log_2\frac{1}{\Delta}.

Здесь Δ\Delta выражена в тех же единицах, что и XX. Например, для равномерного распределения на [0,1][0,1] имеем h=0h=0. При разбиении на четыре равные ячейки ширины 1/41/4 каждую ячейку выбирают с вероятностью 1/41/4, поэтому H=2H=2 бита; формула в этом случае точна. При уменьшении шага вдвое прибавляется примерно один бит на отсчёт.

Эта приближённая связь не универсальна без условий: для произвольных плотностей и грубых ячеек ошибка может быть заметной. Также энтропия индекса ячейки характеризует источник после квантования, а не размер любого конкретного файла: он зависит от кодера и других ограничений. Вопрос о числе различимых сообщений полезно сопоставить с количеством информации о событии.

Пример: измерение с конечным шагом

Представим датчик, результат которого равномерно распределён между нулём и одним метром. При записи в метрах его дифференциальная энтропия равна нулю. Если прибор различает четыре одинаковых интервала по четверти метра, номер интервала принимает четыре равновероятных значения. Для такого результата нужно два бита в расчёте на измерение при идеальном кодировании равновероятных исходов.

Теперь выразим те же результаты в сантиметрах. Численная ширина диапазона стала равна ста, а шаг измерения - двадцати пяти. Дифференциальная энтропия в сантиметровой шкале равна примерно 6,64 бита. Поправка для шага равна логарифму от одной двадцать пятой, то есть примерно минус 4,64 бита. Их сумма снова даёт два бита. Изменение единиц повлияло на оба слагаемых, но не на вероятности четырёх интервалов.

На реальном датчике распределение показаний может быть неравномерным. Тогда ячейки имеют разные вероятности и энтропию их номеров нужно считать по дискретной формуле. Если известны лишь конечные наблюдения, плотность приходится оценивать: выбор модели и ширины сглаживания влияет на результат. Поэтому численная оценка дифференциальной энтропии не является простым подсчётом разных значений в таблице. Полезно проверить устойчивость результата к настройкам и указать, в каких единицах и с какой точностью собраны данные.

Этот пример также показывает, почему высоты двух плотностей нельзя сравнивать как вероятности без общей ширины интервала. Для достаточно узкой ячейки вероятность приблизительно равна высоте плотности, умноженной на ширину ячейки. Именно площадь полоски, а не её высота сама по себе, имеет смысл вероятности.

Когда сравнение энтропий полезно

При одинаковой дисперсии нормальное распределение имеет максимальную дифференциальную энтропию среди распределений с плотностью, для которых соответствующие величины определены. Это помогает строить верхние оценки в теории связи: если известна лишь дисперсия шума, нормальная модель служит важной точкой сравнения. Утверждение не означает, что всякая реальная помеха нормальна.

Для независимых непрерывных величин с существующими конечными энтропиями совместная энтропия складывается: h(X,Y)=h(X)+h(Y)h(X,Y)=h(X)+h(Y). При зависимости эту сумму заменяет правило с условной энтропией. В задачах анализа данных обычно важнее сравнивать распределения в единой системе координат или использовать величины, устойчивые к согласованной смене масштаба, например взаимную информацию.

Определение, правило масштаба и оговорки о существовании интегралов подробно изложены в конспекте MIT по теории информации; связь с конечной точностью рассматривается в материалах MIT о квантовании.

Частые ошибки

  • Подставлять вероятность точки вместо плотности. Вероятность интервала получают интегрированием, а f(x)f(x) может превышать единицу.
  • Считать отрицательное значение невозможным. Для равномерного закона на отрезке длины 1/41/4 оно равно −2-2 битам.
  • Забывать единицы и основание логарифма. Перевод метров в сантиметры меняет численное значение, а натуральный логарифм даёт наты.
  • Приравнивать hh к длине записи точного значения. Для кодирования нужен шаг квантования; точное действительное число в общем случае не записывается конечным числом бит.
  • Подставлять дисперсию вместо стандартного отклонения. В формуле нормального закона стоит σ2\sigma^2, поэтому проверьте, какую величину сообщает условие.

FAQ

Может ли дифференциальная энтропия быть равна нулю?

Да. Например, она равна нулю для равномерной плотности на отрезке численной длины 1. После изменения единиц то же распределение может иметь другое численное значение.

Зависят ли энтропия и плотность от среднего нормального закона?

Плотность сдвигается вместе со средним, но её форма и дифференциальная энтропия не меняются. Значение hh зависит от σ\sigma, а не от μ\mu.

Всегда ли существует дифференциальная энтропия?

Нет. Наличие плотности ещё не гарантирует конечности или даже существования интеграла. При работе с необычными распределениями сходимость нужно проверять отдельно.

Коротко

Дифференциальная энтропия - интеграл −flog⁡f-f\log f для непрерывной плотности. Она может быть отрицательной и меняется при масштабировании; для нормального закона удвоение σ\sigma добавляет один бит. Чтобы связать её с дискретным кодированием, необходимо указать точность квантования и условия применимости приближения.

Доверьте текст нейросети EssayAI

Открыть EssayAI

Бесплатно, на русском языке и без VPN

Читайте также

АЦП последовательного приближения: схема и принцип работы

АЦП последовательного приближения: схема и принцип работы

Разберите схему АЦП последовательного приближения: как компаратор, ЦАП и регистр определяют код по битам, как вычислить шаг квантования и оценить погрешность.

8 ноября 20268 минут
Дельта-модуляция: как сигнал превращается в биты

Дельта-модуляция: как сигнал превращается в биты

Дельта-модуляция передаёт направление изменения оценки сигнала одним битом на отсчёт. Разбираем кодирование, перегрузку по крутизне, шум и выбор шага.

8 ноября 20268 минут
Колмогоровская сложность: длина кратчайшего описания

Колмогоровская сложность: длина кратчайшего описания

Что такое колмогоровская сложность строки, как связаны программы и сжатие, почему большинство строк несжимаемы и нельзя вычислить точное значение сложности.

8 ноября 20268 минут
Критерий Шовене: проверка подозрительного измерения

Критерий Шовене: проверка подозрительного измерения

Как применять критерий Шовене к ряду измерений: формула двух хвостов, расчёт порога и пример, смысл ожидаемого числа редких наблюдений и ограничения метода.

8 ноября 20268 минут
Параллельный АЦП: схема, принцип работы и расчёт

Параллельный АЦП: схема, принцип работы и расчёт

Как работает параллельный АЦП: компараторы, делитель и термометрический код. Рассчитайте шаг квантования и выходной код, разберите пример и ограничения схемы.

8 ноября 20268 минут
Погрешность квантования: формула и пример расчёта

Погрешность квантования: формула и пример расчёта

Как найти шаг квантования и предельную ошибку АЦП, когда применима оценка шума q/√12 и как разрядность и диапазон влияют на результат: формулы и примеры расчёта.

8 ноября 20268 минут