Теорема Радона-Никодима: формулировка, плотности и условное матожидание

Теорема Радона-Никодима - это формальное оправдание привычного слова «плотность». В курсе теории вероятностей нам говорят: «у непрерывного распределения есть плотность $f(x)$, и $P(X \in A) = \int_A f\, dx$». Откуда берётся эта плотность и почему она вообще существует - обычно остаётся за кадром. Ответ: при двух условиях ($\sigma$-конечность мер и абсолютная непрерывность одной относительно другой) плотность гарантированно есть и единственна почти всюду. Именно это и утверждает теорема Радона-Никодима. Носит имя Иоганна Радона (1913, для $\mathbb{R}^n$) и Отто Никодима (1930, общий случай $\sigma$-конечной меры).

Постановка

Пусть $(X, \mathcal{F})$ - измеримое пространство, $\mu$ и $\nu$ - две меры на нём. Хочется представить $\nu$ как «взвешенную» меру $\mu$ с некоторой плотностью $f$:

$$\nu(A) = \int_A f\, d\mu, \qquad A \in \mathcal{F}$$

Если такое $f$ существует, оно полностью кодирует $\nu$ через $\mu$. Например, для $\mu =$ мера Лебега на $\mathbb{R}$ и $\nu =$ вероятностной меры распределения $X$ это и есть знакомая плотность $f_X(x)$.

Но не для любой пары $(\mu, \nu)$ такое $f$ найдётся. Очевидное препятствие: если $\mu(A) = 0$, то $\int_A f\, d\mu = 0$ при любом $f$. Значит для всех «$\mu$-нулевых» множеств обязательно $\nu(A) = 0$. Это свойство и называется абсолютной непрерывностью меры $\nu$ относительно $\mu$.

Абсолютная непрерывность мер

Определение. Мера $\nu$ абсолютно непрерывна относительно $\mu$ (пишут $\nu \ll \mu$), если

$$\mu(A) = 0 \;\Longrightarrow\; \nu(A) = 0, \qquad A \in \mathcal{F}$$

Иначе говоря, $\nu$ не «прячет массу» в $\mu$-пренебрежимых местах. Если $\nu \ll \mu$ - есть шанс, что $\nu$ имеет плотность относительно $\mu$.

Не путайте это с абсолютной непрерывностью функции из курса анализа («$\varepsilon$-$\delta$»-формулировка). Связь есть: функция распределения $F$ абсолютно непрерывна в смысле функций тогда и только тогда, когда соответствующая мера $\mu_F$ абсолютно непрерывна относительно меры Лебега в смысле мер. Но определения формально разные, и в смешанном контексте это сбивает.

Формулировка теоремы Радона-Никодима

Теорема (Радон-Никодим). Пусть $\mu$ и $\nu$ - две меры на $(X, \mathcal{F})$, обе $\sigma$-конечны, и $\nu \ll \mu$. Тогда существует измеримая функция $f \colon X \to [0, \infty)$ такая, что

$$\nu(A) = \int_A f\, d\mu \qquad \text{для всех } A \in \mathcal{F}$$

Функция $f$ единственна с точностью до $\mu$-почти всюду равенства. Её обозначают $f = \dfrac{d\nu}{d\mu}$ и называют производной Радона-Никодима меры $\nu$ относительно $\mu$.

Обозначение $d\nu/d\mu$ намеренно похоже на дробь: эта плотность ведёт себя как производная. Например, для $\nu \ll \mu \ll \lambda$ верно цепное правило

$$\frac{d\nu}{d\lambda} = \frac{d\nu}{d\mu} \cdot \frac{d\mu}{d\lambda} \quad (\mu\text{-п.в.})$$

Подставь свою пару мер или случайную величину ниже - соберём постановку задачи и разберём по шагам: проверим $\sigma$-конечность, абсолютную непрерывность и найдём производную Радона-Никодима явно.

Условие $\sigma$-конечности зачем нужно

Мера $\mu$ называется $\sigma$-конечной, если пространство $X$ можно разбить на счётное число множеств конечной $\mu$-меры: $X = \bigcup_n A_n$, $\mu(A_n) < \infty$. На прямой и в $\mathbb{R}^n$ мера Лебега $\sigma$-конечна (разбиваем на компакты). Считающая мера на счётном множестве - тоже. А вот считающая мера $\#$ на $\mathbb{R}$ (которая считает количество точек) уже не $\sigma$-конечна.

Без $\sigma$-конечности теорема ломается. Стандартный контрпример: $X = [0, 1]$, $\mu$ - считающая мера, $\nu$ - мера Лебега. Тогда $\nu \ll \mu$ (если $\mu(A) = 0$, то $A = \varnothing$, а значит и $\nu(A) = 0$). Но никакой плотности $f$ не существует: было бы $\nu(\{x\}) = f(x) \cdot \mu(\{x\}) = f(x) \cdot 1 = f(x)$, а $\nu(\{x\}) = 0$, значит $f \equiv 0$, и тогда $\nu([0,1]) = 0 \neq 1$.

Плотность распределения как производная Радона-Никодима

Это самое известное применение. Пусть $X$ - случайная величина с распределением $P_X$ на $\mathbb{R}$ (то есть $P_X(A) = P(X \in A)$). Берём $\mu = \lambda$ - меру Лебега. Тогда:

• Если $P_X \ll \lambda$ - распределение называется абсолютно непрерывным и имеет плотность $f_X = dP_X/d\lambda$ в смысле Радона-Никодима. Это знакомая плотность $f_X(x)$ из курса вероятностей - её же используют, например, при вычислении характеристической функции распределения.
• Если $P_X$ сосредоточено на счётном множестве (дискретное распределение) - $P_X \not\ll \lambda$, потому что мера Лебега точки равна $0$, а вероятность $P(X = x_k) > 0$. Плотности нет.
• Бывают и смешанные / сингулярные распределения (классический пример - распределение, сосредоточенное на канторовом множестве): $P_X \not\ll \lambda$, но и не дискретное.

Таким образом, фраза «плотность есть» - синоним «$P_X$ абсолютно непрерывно относительно меры Лебега».

Условное матожидание через Радона-Никодима

Это место, где теорема перестаёт быть абстрактной техникой и становится определением. Пусть $(\Omega, \mathcal{A}, P)$ - вероятностное пространство, $X$ - интегрируемая случайная величина, $\mathcal{F} \subset \mathcal{A}$ - под-$\sigma$-алгебра.

Определим на $\mathcal{F}$ знаковую меру

$$Q(A) = \int_A X\, dP, \qquad A \in \mathcal{F}$$

Тогда $Q \ll P|_{\mathcal{F}}$ (если $P(A) = 0$, то и $\int_A X\, dP = 0$). По теореме Радона-Никодима существует $\mathcal{F}$-измеримая функция $Y$ такая, что $Q(A) = \int_A Y\, dP$ для всех $A \in \mathcal{F}$. Эта $Y$ и есть условное матожидание $E[X | \mathcal{F}]$.

$$E[X | \mathcal{F}] = \frac{dQ}{dP\bigl|_{\mathcal{F}}}, \qquad Q(A) = \int_A X\, dP$$

Существование $E[X | \mathcal{F}]$ для произвольной $\sigma$-алгебры - нетривиальный факт; без Радона-Никодима его пришлось бы доказывать отдельно. С теоремой - это одна строчка.

Теорема Лебега о разложении

Если требование $\nu \ll \mu$ не выполнено, теорема в чистом виде не работает. Но есть надстройка - разложение Лебега (не путать с теоремой Лебега о мажорируемой сходимости, это другой результат): любую $\sigma$-конечную меру $\nu$ можно единственным образом представить как

$$\nu = \nu_{ac} + \nu_s$$

где $\nu_{ac} \ll \mu$ (абсолютно непрерывная часть, у неё есть плотность по Радону-Никодиму) и $\nu_s \perp \mu$ (сингулярная часть, сосредоточена на $\mu$-нулевом множестве).

Пример: $\nu = \tfrac{1}{2} \lambda|_{[0,1]} + \tfrac{1}{2} \delta_0$ - половина массы равномерно «размазана» по $[0,1]$, половина сидит точкой в нуле. Относительно меры Лебега $\lambda$:

• $\nu_{ac} = \tfrac{1}{2} \lambda|_{[0,1]}$, с плотностью $f(x) = \tfrac{1}{2}\, \mathbb{1}_{[0,1]}(x)$;
• $\nu_s = \tfrac{1}{2} \delta_0$, сосредоточена на $\{0\}$, где $\lambda(\{0\}) = 0$.

Это типичная картина «смешанного» распределения: часть непрерывная, часть атомарная.

Контрпример: дельта-мера не имеет плотности

Дельта-мера $\delta_0$ на $\mathbb{R}$ (определена как $\delta_0(A) = 1$, если $0 \in A$, и $0$ иначе) не абсолютно непрерывна относительно меры Лебега $\lambda$:

$$\lambda(\{0\}) = 0, \quad \text{но} \quad \delta_0(\{0\}) = 1$$

Значит у $\delta_0$ нет плотности относительно $\lambda$. Несмотря на популярное в физике обозначение «$\delta(x)$» - никакой обычной функции $\delta(x)$ не существует. Это формальный объект (обобщённая функция, распределение Шварца), а как мера дельта определяется именно через $\delta_0(A) = \mathbb{1}_A(0)$, без всякой плотности.

То же самое с любым дискретным распределением: вероятность сидит на счётном множестве, мера Лебега этого множества - нуль, плотности нет. Поэтому в учебниках отдельно говорят про «плотность $f(x)$» (непрерывный случай) и про «функцию вероятностей $p(x)$» (дискретный случай) - это два разных языка, и Радон-Никодим объясняет, почему их нельзя объединить под мерой Лебега.

Частые ошибки

• «У любого распределения есть плотность». Нет. Плотность $f_X = dP_X/d\lambda$ существует только при $P_X \ll \lambda$. Дискретные, сингулярные и смешанные распределения плотности относительно меры Лебега не имеют.
• Путают абсолютную непрерывность меры и функции. Это разные определения. Связь есть (для мер на $\mathbb{R}$ и их функций распределения), но в общей теории меры работаем именно с определением через $\mu(A) = 0 \Rightarrow \nu(A) = 0$.
• Считают $d\nu/d\mu$ обычной производной. Это $\mu$-почти всюду определённая функция, а не предел разностного отношения. Цепное правило и линейность работают, но «значение в точке» не имеет смысла - только класс $\mu$-эквивалентности.
• Забывают про $\sigma$-конечность. Без неё единственность и существование плотности рушатся (контрпример с считающей мерой выше).
• Применяют теорему к знаковым мерам без оговорки. Для знаковых и комплексных мер теорема обобщается, но плотность тоже может быть знакоопеременной. Условие $\nu \ll \mu$ при этом понимается как $|\nu| \ll \mu$ - здесь же полезна лемма Фату для оценки интегралов от $|f|$ при предельном переходе.

FAQ

Чем теорема Радона-Никодима отличается от формулы замены переменной? Формула замены $\int g(\varphi(x))\, |\varphi'(x)|\, dx = \int g(y)\, dy$ - это частный случай: $|\varphi'|$ играет роль производной Радона-Никодима меры, индуцированной отображением $\varphi$, относительно меры Лебега. Радон-Никодим - более общее утверждение, не требующее ни гладкости, ни даже структуры евклидова пространства.

Можно ли без теоремы Радона-Никодима определить условное матожидание? Для дискретного случая ($\mathcal{F}$ порождена счётным разбиением) - да, прямой формулой $E[X | \mathcal{F}](\omega) = \sum_n \mathbb{1}_{A_n}(\omega) \cdot E[X | A_n]$. Для произвольной под-$\sigma$-алгебры (например, $\mathcal{F} = \sigma(Y)$ для непрерывной $Y$) элементарного определения нет - нужно либо Радон-Никодим, либо проекция в $L^2$. И в любом случае получится тот же объект.

Что такое сингулярная часть на практике? Это часть распределения, сосредоточенная на множестве меры нуль относительно «эталонной» меры. Самый известный пример - канторово распределение: непрерывная функция распределения, но плотности относительно меры Лебега нет, потому что вся масса сидит на канторовом множестве, у которого мера Лебега равна нулю. В прикладной статистике встречается редко, но в теории - обязательная третья категория наряду с дискретными и абсолютно непрерывными.

Коротко

Теорема Радона-Никодима: если меры $\mu$ и $\nu$ $\sigma$-конечны и $\nu \ll \mu$, то $\nu$ имеет плотность $f = d\nu/d\mu$ относительно $\mu$, единственную $\mu$-почти всюду. Частные случаи: плотность распределения = $dP_X/d\lambda$ (когда существует), условное матожидание $E[X | \mathcal{F}]$ = производная меры $\int_A X\, dP$ по $P$ на $\mathcal{F}$. Если $\nu \not\ll \mu$ - спасает разложение Лебега $\nu = \nu_{ac} + \nu_s$ на абсолютно непрерывную и сингулярную части. Контрпример к существованию плотности - дельта-мера: точка имеет лебегову меру нуль, плотности относительно Лебега не существует.