Неравенство Йенсена для выпуклых функций: формулы и применение

Неравенство Йенсена - базовый инструмент анализа, который формализует простую геометрическую идею: график выпуклой функции лежит ниже любой своей хорды, поэтому значение функции в «среднем» не превосходит «среднего» из значений функции. Из этого одного факта выводятся неравенство между средними (AM-GM), неравенство Гёльдера, оценки энтропии и многочисленные результаты теории вероятностей. Ниже разберём дискретную и интегральную формы неравенства Йенсена для выпуклых функций, его доказательство, условие равенства и типичные сценарии применения.

Выпуклые функции: определение и геометрия

Функция $f$ называется выпуклой на интервале $I$, если для любых $x_1, x_2 \in I$ и любого $\lambda \in [0, 1]$ выполнено

$f\big(\lambda x_1 + (1 - \lambda) x_2\big) \le \lambda f(x_1) + (1 - \lambda) f(x_2).$

Геометрически это означает, что отрезок (хорда), соединяющий точки $(x_1, f(x_1))$ и $(x_2, f(x_2))$, лежит не ниже графика. Если неравенство строгое при $x_1 \ne x_2$ и $\lambda \in (0, 1)$, функцию называют строго выпуклой. Для дважды дифференцируемой $f$ выпуклость равносильна условию $f''(x) \ge 0$ на $I$. Классические примеры выпуклых функций: $f(x) = x^2$, $f(x) = e^x$, $f(x) = -\ln x$ (на $x > 0$), $f(x) = |x|$.

Подбор функции и проверка выпуклости

Если нужно проверить выпуклость конкретной функции, применить неравенство Йенсена к своему набору точек или к случайной величине - задай функцию, точки или распределение, и в чате соберём проверку $f'' \ge 0$, подстановку в формулу и оценку с условием равенства.

Дискретное неравенство Йенсена

Пусть $f$ выпукла на $I$, точки $x_1, \dots, x_n \in I$, а веса $\lambda_1, \dots, \lambda_n \ge 0$ удовлетворяют $\sum_{i=1}^n \lambda_i = 1$. Тогда

$f\left(\sum_{i=1}^n \lambda_i x_i\right) \le \sum_{i=1}^n \lambda_i f(x_i).$

Это и есть дискретная форма неравенства Йенсена: функция от взвешенного среднего не превосходит взвешенного среднего значений функции. Частный случай - равные веса $\lambda_i = 1/n$:

$f\left(\frac{1}{n}\sum_{i=1}^n x_i\right) \le \frac{1}{n}\sum_{i=1}^n f(x_i).$

Для вогнутой функции (когда $-f$ выпукла) знак неравенства меняется на противоположный. Это удобно держать в голове: $\ln x$ вогнута, поэтому для неё $\ln\big(\tfrac1n\sum x_i\big) \ge \tfrac1n\sum \ln x_i$, что моментально даёт неравенство между средним арифметическим и средним геометрическим.

Доказательство через опорную прямую

Самое короткое доказательство неравенства Йенсена опирается на существование опорной прямой. Пусть $m = \sum_i \lambda_i x_i$ - взвешенное среднее, лежащее внутри $I$. У выпуклой функции в точке $m$ есть опорная прямая $\ell(x) = f(m) + k(x - m)$ такая, что $f(x) \ge \ell(x)$ для всех $x \in I$ (если $f$ дифференцируема, $k = f'(m)$). Подставим $x_i$ и просуммируем с весами:

$\sum_i \lambda_i f(x_i) \ge \sum_i \lambda_i \big(f(m) + k(x_i - m)\big) = f(m) + k\Big(\sum_i \lambda_i x_i - m\Big) = f(m),$

так как $\sum_i \lambda_i x_i = m$ и $\sum_i \lambda_i = 1$. Это в точности $f(m) \le \sum_i \lambda_i f(x_i)$. Дискретный случай можно доказать и по индукции, но метод опорной прямой одинаково работает и для интегральной версии.

Интегральная форма и математическое ожидание

В терминах теории вероятностей неравенство Йенсена формулируется через математическое ожидание. Если $X$ - случайная величина со значениями в $I$, а $f$ выпукла, то

$f\big(\mathbb{E}[X]\big) \le \mathbb{E}\big[f(X)\big],$

при условии, что оба математических ожидания существуют. Дискретная форма - частный случай для дискретного распределения с вероятностями $\lambda_i$, а интегральная - для непрерывного, где $\mathbb{E}[X] = \int x \, dP$. Отсюда сразу следуют полезные оценки: для $f(x) = x^2$ получаем $(\mathbb{E}X)^2 \le \mathbb{E}[X^2]$, то есть дисперсия $\operatorname{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}X)^2 \ge 0$. Неравенство Йенсена тесно связано с другими интегральными оценками - см. неравенство Гёльдера для интегралов, которое также выводится из выпуклости.

Применение неравенства Йенсена

Неравенство Йенсена для выпуклых функций - рабочий инструмент сразу в нескольких областях:

• Средние величины. AM-GM и неравенство о средних степенных $M_p \le M_q$ при $p \le q$ получаются выбором подходящей выпуклой/вогнутой $f$.
• Теория информации. Неотрицательность расхождения Кульбака-Лейблера $D_{\mathrm{KL}}(P \| Q) \ge 0$ доказывается применением Йенсена к выпуклой $-\ln$.
• Финансовая математика. «Выпуклость по Йенсену» объясняет, почему $\mathbb{E}[f(X)]$ для выпуклого выигрыша $f$ превышает $f(\mathbb{E}X)$ - основа оценки опционов.
• Статистика. Смещённость оценок вида $g(\hat\theta)$ при нелинейном $g$ объясняется именно неравенством Йенсена.

Условие равенства

Равенство в неравенстве Йенсена достигается в двух случаях. Во-первых, если функция $f$ линейна (аффинна) на отрезке, содержащем все точки $x_i$ - тогда хорда совпадает с графиком. Во-вторых, если все точки совпадают: $x_1 = \dots = x_n$ (для случайной величины - $X$ почти наверное постоянна). Для строго выпуклой $f$ остаётся только второй вариант: равенство $f(\mathbb{E}X) = \mathbb{E}[f(X)]$ возможно тогда и только тогда, когда $X = \operatorname{const}$ почти наверное. Это важно при доказательстве строгих оценок - например, строгого неравенства AM-GM при различных слагаемых.

Частые ошибки

• Путают направление неравенства для вогнутых функций. Для вогнутой $f$ (например, $\ln$, $\sqrt{x}$) знак меняется: $f(\mathbb{E}X) \ge \mathbb{E}[f(X)]$.
• Забывают условие $\sum \lambda_i = 1$. Без нормировки весов формула неверна - это не произвольная выпуклая комбинация, а именно взвешенное среднее.
• Применяют к функции, не проверив выпуклость на всём диапазоне точек. Если $f$ выпукла лишь на части $I$, а точки выходят за неё, оценка не гарантирована.
• Считают равенство автоматическим. Для строго выпуклой $f$ равенство означает вырожденность: все точки равны.
• Смешивают $\mathbb{E}[f(X)]$ и $f(\mathbb{E}X)$ при оценке смещения. Именно их разница и есть «зазор Йенсена», который нельзя игнорировать.

FAQ

Чем отличается выпуклая функция от вогнутой в контексте Йенсена? Для выпуклой $f''\ge 0$ и $f(\mathbb{E}X)\le\mathbb{E}[f(X)]$; для вогнутой $f''\le 0$ и неравенство разворачивается. Если функция меняет выпуклость на интервале, прямое применение Йенсена невозможно.

Обязательно ли $f$ дифференцируема? Нет. Определение выпуклости через хорду не требует дифференцируемости, а у любой выпуклой функции в каждой внутренней точке есть опорная прямая (через односторонние производные). Условие $f''\ge 0$ - лишь удобный достаточный признак для гладких функций.

Как связаны неравенство Йенсена и дисперсия? Применяя Йенсена к $f(x)=x^2$, получаем $(\mathbb{E}X)^2\le\mathbb{E}[X^2]$, что эквивалентно $\operatorname{Var}(X)\ge 0$. Это простейшая иллюстрация «зазора Йенсена».

Коротко

Неравенство Йенсена для выпуклых функций утверждает, что $f(\mathbb{E}X)\le\mathbb{E}[f(X)]$ (в дискретной форме - $f(\sum\lambda_i x_i)\le\sum\lambda_i f(x_i)$ при $\sum\lambda_i=1$), а для вогнутых функций знак меняется. Доказывается через опорную прямую, равенство достигается только при линейности $f$ или вырожденности набора точек. Это неравенство - общий источник AM-GM, оценок энтропии, неотрицательности дисперсии и расхождения Кульбака-Лейблера.