Характеристическая функция в теории вероятностей

Характеристическая функция - главный аналитический инструмент теории вероятностей. Через неё распределение случайной величины кодируется одним комплекснозначным объектом, который ведёт себя гораздо лучше, чем плотность: всегда существует, ограничен по модулю, непрерывен, поведение суммы независимых величин превращается в произведение. Именно через характеристические функции доказывается центральная предельная теорема в её современной форме - через теорему Леви о непрерывности. Разберём определение, свойства и стандартные применения.

Определение: $\phi_X(t) = E[e^{itX}]$

Пусть $X$ - случайная величина, заданная на вероятностном пространстве $(\Omega, \mathcal{F}, P)$. Характеристической функцией $X$ называется функция $\phi_X \colon \mathbb{R} \to \mathbb{C}$, определённая равенством

$$\phi_X(t) = E\!\left[e^{itX}\right] = E[\cos tX] + i\,E[\sin tX].$$

Если $X$ имеет плотность $p(x)$, то

$$\phi_X(t) = \int_{-\infty}^{\infty} e^{itx}\, p(x)\, dx,$$

то есть характеристическая функция - это преобразование Фурье плотности (с точностью до знака в показателе и нормировки $2\pi$, зависящих от конвенции). Если $X$ дискретна с $P(X = x_k) = p_k$, то

$$\phi_X(t) = \sum_{k} p_k e^{itx_k}.$$

Если разобраться с конкретным распределением и понять, как применять $\phi(t)$ для моментов, суммы или сходимости - заполни форму ниже, и мы соберём явное выражение, проверим свойства и пройдём по шагам.

Существование и базовые свойства

Главное преимущество характеристической функции перед, например, производящей функцией моментов $M_X(t) = E[e^{tX}]$ - она существует всегда и для любой случайной величины. Поскольку $|e^{itX}| = 1$, ожидание определено, и сразу получаем оценку

$$|\phi_X(t)| \le E\!\left[|e^{itX}|\right] = 1, \qquad \phi_X(0) = 1.$$

Кроме того, $\phi_X$ равномерно непрерывна на всей прямой $\mathbb{R}$ и положительно определена в смысле Бохнера. По теореме Бохнера верно и обратное: всякая непрерывная положительно определённая функция $\phi$ с $\phi(0) = 1$ есть характеристическая функция некоторого распределения. Это даёт способ распознать характеристическую функцию, не выписывая её через интеграл.

Сопряжение и симметрия: $\phi_X(-t) = \overline{\phi_X(t)}$, а распределение $X$ симметрично относительно нуля тогда и только тогда, когда $\phi_X(t)$ вещественна.

Однозначность: распределение определяется через $\phi$

Ключевое утверждение: характеристическая функция однозначно определяет распределение. Если $\phi_X = \phi_Y$ для всех $t \in \mathbb{R}$, то $X$ и $Y$ имеют одно и то же распределение. Это следует из формулы обращения, к которой мы вернёмся ниже. Практическое следствие: чтобы доказать, что $X$ распределена по нормальному закону, достаточно проверить, что её $\phi(t) = e^{i\mu t - \sigma^2 t^2/2}$ - без интегрирования плотности и без работы с функцией распределения.

Моменты через производные в нуле

Если $E[|X|^k] < \infty$, то $\phi_X$ имеет в нуле производные до порядка $k$, и

$$\phi_X^{(k)}(0) = i^k\, E[X^k], \qquad E[X^k] = (-i)^k\, \phi_X^{(k)}(0).$$

В частности $E[X] = -i\,\phi'(0)$, $E[X^2] = -\phi''(0)$. Это даёт удобный способ вычислять моменты, не возвращаясь к плотности: достаточно разложить $\phi(t)$ в ряд Тейлора в нуле и снять коэффициенты. Через моменты, в свою очередь, строятся вероятностные оценки хвостов - например, неравенство Маркова и его следствие неравенство Чебышёва.

Из разложения

$$\phi_X(t) = 1 + i\mu t - \tfrac{1}{2}(\mu^2 + \sigma^2)\, t^2 + o(t^2)$$

(для величины с конечной дисперсией) сразу видны математическое ожидание $\mu$ и дисперсия $\sigma^2$. Это ровно то разложение, которое и работает в доказательстве центральной предельной теоремы.

Сумма независимых: $\phi_{X+Y} = \phi_X \cdot \phi_Y$

Если $X$ и $Y$ независимы, то

$$\phi_{X+Y}(t) = E\!\left[e^{it(X+Y)}\right] = E\!\left[e^{itX}\right] \cdot E\!\left[e^{itY}\right] = \phi_X(t)\, \phi_Y(t).$$

Это превращает свёртку плотностей в умножение характеристических функций - техника, которой плотность не обладает. Для суммы $S_n = X_1 + \dots + X_n$ независимых одинаково распределённых величин получаем $\phi_{S_n}(t) = \phi_X(t)^n$. Также для аффинного преобразования $\phi_{aX+b}(t) = e^{ibt}\, \phi_X(at)$.

Классические примеры

• Нормальное $X \sim \mathcal{N}(\mu, \sigma^2)$: $\phi(t) = e^{i\mu t - \sigma^2 t^2 / 2}$. Произведение характеристических функций двух независимых нормальных снова имеет тот же вид - отсюда мгновенно следует, что сумма независимых нормальных нормальна.
• Пуассон $X \sim \mathrm{Poisson}(\lambda)$: $\phi(t) = e^{\lambda(e^{it} - 1)}$. Произведение даёт $e^{(\lambda_1 + \lambda_2)(e^{it}-1)}$ - пуассоновские потоки складываются.
• Биномиальное $X \sim \mathrm{Bin}(n, p)$: $\phi(t) = (1 - p + p e^{it})^n$.
• Экспоненциальное с параметром $\lambda$: $\phi(t) = \lambda / (\lambda - it)$.
• Равномерное на $[a, b]$: $\phi(t) = (e^{itb} - e^{ita}) / (it(b-a))$.
• Коши со сдвигом $0$ и масштабом $1$: $\phi(t) = e^{-|t|}$. Отсюда сразу следует устойчивость: среднее $n$ независимых одинаково распределённых $\mathrm{Cauchy}$ снова распределено по тому же закону, у Коши нет математического ожидания, а $\phi(t)$ не дифференцируема в нуле - это эквивалентные утверждения.

Теорема Леви о непрерывности

Сходимость распределений (слабая сходимость) выражается через поточечную сходимость характеристических функций. Формулировка: пусть $X_n$ - последовательность случайных величин, $\phi_n(t) = \phi_{X_n}(t)$. Тогда

• если $X_n \Rightarrow X$ (по распределению), то $\phi_n(t) \to \phi_X(t)$ для всех $t$;
• обратно: если $\phi_n(t)$ поточечно сходится к функции $\phi(t)$, которая непрерывна в нуле, то $\phi$ - характеристическая функция некоторого распределения, а $X_n \Rightarrow X$ с этой характеристической функцией.

Это и есть рабочий критерий: чтобы доказать сходимость по распределению, достаточно показать сходимость $\phi_n$ и непрерывность предела в нуле. Условие непрерывности в нуле существенно - без него можно потерять массу на бесконечности.

Вывод центральной предельной теоремы

Пусть $X_1, X_2, \dots$ - независимые одинаково распределённые величины с $E[X_i] = 0$, $\mathrm{Var}(X_i) = \sigma^2 < \infty$, $\phi(t) = \phi_{X_1}(t)$. Положим $S_n = X_1 + \dots + X_n$, нормированную сумму $Z_n = S_n / (\sigma \sqrt{n})$. Тогда

$$\phi_{Z_n}(t) = \phi\!\left(\frac{t}{\sigma\sqrt{n}}\right)^n.$$

Разложение $\phi(s) = 1 - \tfrac{\sigma^2}{2} s^2 + o(s^2)$ при $s \to 0$ даёт

$$\phi_{Z_n}(t) = \left(1 - \frac{t^2}{2n} + o\!\left(\tfrac{1}{n}\right)\right)^{n} \xrightarrow{n \to \infty} e^{-t^2/2}.$$

Предел $e^{-t^2/2}$ - характеристическая функция стандартного нормального распределения. По теореме Леви заключаем: $Z_n \Rightarrow \mathcal{N}(0, 1)$. Это и есть центральная предельная теорема - три строчки против многостраничного доказательства через свёртки.

Связь с производящей функцией моментов

Производящая функция моментов $M_X(t) = E[e^{tX}]$ устроена похоже, но с вещественным аргументом. Связь прямая:

$$\phi_X(t) = M_X(it).$$

Однако $M_X(t)$ существует не всегда - для распределения Коши она расходится при любом $t \neq 0$. Поэтому в общей теории работают именно с $\phi$. Производящая функция моментов удобнее для распределений с тяжёлыми хвостами «справа», у которых все моменты конечны (нормальное, экспоненциальное), но в роли универсального инструмента уступает характеристической функции.

Формула обращения и плотность

Если $\phi_X \in L^1(\mathbb{R})$, то $X$ имеет плотность

$$p(x) = \frac{1}{2\pi}\int_{-\infty}^{\infty} e^{-itx}\,\phi_X(t)\, dt.$$

Это обратное преобразование Фурье. В общем случае справедлива формула обращения для функции распределения через интеграл от $\phi$ - она доказывает однозначность распределения через $\phi$. Практически: если посчитанная $\phi(t)$ интегрируема, плотность восстанавливается одним интегралом.

Частые ошибки

• Путать характеристическую функцию $\phi(t) = E[e^{itX}]$ и производящую функцию моментов $M(t) = E[e^{tX}]$ - у первой аргумент мнимый и она всегда существует.
• Считать, что наличие $\phi(t)$ влечёт существование моментов: $\phi$ всегда определена, а моменты могут расходиться (Коши).
• Применять $\phi_{X+Y} = \phi_X \phi_Y$ без проверки независимости $X$ и $Y$ - для зависимых это неверно.
• Пытаться извлекать моменты через $\phi^{(k)}(0)$, забыв проверить $E[|X|^k] < \infty$: если момент не существует, производная в нуле может не существовать.
• Применять теорему Леви, не проверив непрерывность предельной функции в нуле - без этого условия предел может вообще не быть характеристической функцией.

FAQ

Почему именно $e^{itX}$, а не $e^{tX}$? Множитель $e^{itX}$ ограничен по модулю единицей, поэтому ожидание определено для любой случайной величины. У $e^{tX}$ модуль может неограниченно расти - отсюда проблемы с производящей функцией моментов для тяжёлых хвостов.

Зачем нужна теорема Леви, если есть прямое определение слабой сходимости? Сходимость функций распределения проверять трудно - в разрывах поведение хрупко. Сходимость $\phi_n(t) \to \phi(t)$ - это поточечная сходимость гладких функций, она поддаётся стандартному анализу через разложения в ряд.

Всегда ли $\phi$ дифференцируема в нуле? Нет. У распределения Коши $\phi(t) = e^{-|t|}$ не имеет производной в $0$ - и это эквивалентно тому, что у Коши нет математического ожидания. Гладкость $\phi$ в нуле напрямую связана с существованием моментов.

Коротко

Характеристическая функция $\phi_X(t) = E[e^{itX}]$ - преобразование Фурье распределения. Она ограничена единицей, всегда существует, однозначно определяет распределение, превращает сумму независимых величин в произведение и моменты в производные. Через теорему Леви о непрерывности она даёт самый прямой путь к центральной предельной теореме и ко всей теории слабой сходимости.