Распределение суммы независимых случайных величин

Когда в задаче по теорверу нужно найти распределение суммы $S_n = X_1 + X_2 + \dots + X_n$ нескольких независимых случайных величин, студенты нередко путают «сложить ожидания» с «сложить плотности» и получают неверный ответ. Ожидания и дисперсии действительно складываются, но плотность суммы - это не сумма плотностей, а их свёртка. Ниже разбираем, как она устроена, как работает формула Ирвина-Холла для суммы равномерных величин, и почему при большом числе слагаемых можно переходить к нормальному закону. Сначала потрогай калькулятор: выбери число слагаемых $n$ и границы $[a, b]$ - и сразу увидишь, как меняется форма плотности по мере роста $n$.

Математическое ожидание и дисперсия суммы

Начнём с простого. Если $X_1, \dots, X_n$ - попарно независимые случайные величины, то для любых $a_i$:

$$\mathrm{E}\!\left[\sum_{i=1}^n a_i X_i\right] = \sum_{i=1}^n a_i\,\mathrm{E}[X_i].$$

Это свойство линейности ожидания - оно выполняется вне зависимости от независимости. Дисперсия суммируется только при независимости:

$$\mathrm{D}\!\left[\sum_{i=1}^n X_i\right] = \sum_{i=1}^n \mathrm{D}[X_i].$$

Для одинаково распределённых $X_i \sim \text{Uniform}(a,b)$ (равномерное распределение):

$$\mathrm{E}[X_i] = \frac{a+b}{2}, \qquad \mathrm{D}[X_i] = \frac{(b-a)^2}{12}.$$

Поэтому для суммы $S_n$:

$$\mathrm{E}[S_n] = n\cdot\frac{a+b}{2}, \qquad \mathrm{D}[S_n] = n\cdot\frac{(b-a)^2}{12}.$$

Эти формулы работают для любого числа слагаемых и не требуют знания плотности суммы.

Плотность суммы: метод свёртки

Характеристики - это хорошо, но часто задача требует найти саму плотность $f_{S_n}(x)$. Если $X$ и $Y$ - независимые случайные величины с плотностями $f_X$ и $f_Y$, то плотность их суммы $Z = X + Y$ вычисляется через свёртку:

$$f_Z(x) = (f_X * f_Y)(x) = \int_{-\infty}^{+\infty} f_X(t)\,f_Y(x - t)\,dt.$$

Для суммы $n$ слагаемых операцию нужно применить $n-1$ раз: сначала свернуть $f_{X_1}$ и $f_{X_2}$, затем результат свернуть с $f_{X_3}$, и так далее.

Рассчитать для своей задачи

Свёртка двух прямоугольных функций (плотностей $U(0,1)$) даёт трапецию, трёх - параболу, четырёх - кубическую кривую. Уже при $n = 4$ кривая практически неотличима от нормального колокола.

Формула Ирвина-Холла

Для суммы $n$ независимых $U(0,1)$ существует точная формула Ирвина-Холла:

$$f_{S_n}(x) = \frac{1}{(n-1)!}\sum_{k=0}^{\lfloor x \rfloor} (-1)^k \binom{n}{k}(x-k)^{n-1}, \quad x \in [0, n].$$

Это полиномиальная функция, соединённая из $n$ кусков: на каждом отрезке $[k, k+1]$ она задаётся полиномом степени $n-1$. Для $n=1$ получается константа $1$ (равномерная плотность), для $n=2$ - треугольник, для $n=3$ - квадратная параболическая «шляпа».

Чтобы обобщить на $X_i \sim U(a, b)$, достаточно сделать замену: $X_i = a + (b-a)U_i$, где $U_i \sim U(0,1)$. Тогда $S_n = n\,a + (b-a)\,T_n$, где $T_n \sim \text{Irwin-Hall}(n)$. Плотность $S_n$:

$$f_{S_n}(x) = \frac{1}{b-a}\,f_{T_n}\!\left(\frac{x - na}{b-a}\right), \quad x \in [na,\, nb].$$

Рассчитать для своей задачи

На рисунке видно, как форма плотности суммы меняется с ростом числа слагаемых: при $n=1$ это прямоугольник, при $n=2$ - треугольник (симметричная трапеция), при $n=3$ - параболический «горб», при $n=5$ - кривая практически неотличима от нормальной.

Характеристическая функция и подход через производящие функции

Мощный альтернативный метод - перейти к характеристической функции $\varphi_X(t) = \mathrm{E}[e^{itX}]$. При независимости слагаемых характеристическая функция суммы равна произведению:

$$\varphi_{S_n}(t) = \prod_{i=1}^n \varphi_{X_i}(t).$$

Для $X_i \sim U(a, b)$:

$$\varphi_{X_i}(t) = \frac{e^{itb} - e^{ita}}{it(b-a)}.$$

Знаем произведение → обращаем преобразование Фурье и получаем плотность. Аналогично работает метод производящих функций для дискретных СВ: производящая функция суммы - произведение производящих функций.

Центральная предельная теорема

Формула Ирвина-Холла хороша для малых $n$, но при больших $n$ считать факториалы и биномиальные коэффициенты нет смысла. Здесь вступает в игру центральная предельная теорема (ЦПТ):

$$\frac{S_n - \mathrm{E}[S_n]}{\sqrt{\mathrm{D}[S_n]}} \xrightarrow{d} N(0, 1) \quad \text{при } n \to \infty.$$

Это означает, что уже при $n \ge 12$ сумму можно считать приближённо нормально распределённой:

$$S_n \approx N\!\left(n\cdot\frac{a+b}{2},\; n\cdot\frac{(b-a)^2}{12}\right).$$

ЦПТ - не ограниченная равномерным законом: она работает для любых одинаково распределённых СВ с конечными $\mathrm{E}$ и $\mathrm{D}$. Именно поэтому нормальное распределение встречается повсюду - рост людей, суммы ошибок измерения, выборочные средние.

На практике «работает хорошо» означает $n \ge 30$ для нормальной аппроксимации произвольного закона; для равномерного $U(a,b)$ достаточно уже $n \ge 12$ из-за симметрии плотности.

Дискретный случай: свёртка таблиц

Если слагаемые дискретны (например, $X_i$ - число очков при броске кубика), плотность заменяется вероятностной функцией $p_X(k) = P(X = k)$, а свёртка становится суммой:

$$p_Z(k) = \sum_{j} p_X(j)\,p_Y(k - j).$$

Для суммы $n$ одинаковых дискретных СВ это вычисляется через производящую функцию $G_X(z) = \sum_k p_X(k)\,z^k$: производящая функция суммы равна $[G_X(z)]^n$, и разложение в ряд даёт все $p_{S_n}(k)$.

Классический пример: бросок двух кубиков, $X_i \sim \{1,\dots,6\}$ равномерно. Сумма принимает значения от 2 до 12, и вероятности образуют треугольное распределение с пиком при 7.

Частые ошибки

• Сложение плотностей вместо свёртки. Плотность суммы $X+Y$ - это НЕ $f_X(x) + f_Y(x)$. Сложение плотностей не имеет смысла (результат не будет нормирован до 1 и не описывает сумму). Правильно: свёртка $f_X * f_Y$.
• Применение ЦПТ при малом $n$. При $n = 2$ нормальная аппроксимация даёт значительную погрешность; используйте точную формулу Ирвина-Холла.
• Забывают про условие независимости. Формула дисперсии суммы $\mathrm{D}[S_n] = \sum \mathrm{D}[X_i]$ требует независимости. При зависимых слагаемых появляются ковариационные члены.
• Несоответствие единиц при замене переменной. При переходе от $U(a,b)$ к $U(0,1)$ необходимо правильно масштабировать плотность: делить на $b-a$ при обратном переходе.
• Перепутать ожидание суммы и ожидание произведения. $\mathrm{E}[X+Y] = \mathrm{E}[X] + \mathrm{E}[Y]$ - всегда; $\mathrm{E}[XY] = \mathrm{E}[X]\,\mathrm{E}[Y]$ - только при независимости.

FAQ

Можно ли складывать случайные величины с разными распределениями?

Да. Свёртка работает для любых независимых СВ с любыми законами. Для нормальных $X \sim N(\mu_1, \sigma_1^2)$ и $Y \sim N(\mu_2, \sigma_2^2)$ сумма снова нормальна: $X + Y \sim N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)$. Для экспоненциальных результатом будет гамма-распределение, для пуассоновских - снова пуассоновское. Если законы несовпадающие и несовместимые с замкнутостью, плотность берётся численной свёрткой.

Как вычислить $P(S_n < c)$ через нормальное приближение?

Стандартизируем: $Z = \frac{S_n - \mu}{\sigma}$, тогда $P(S_n < c) \approx \Phi\!\left(\frac{c - \mu}{\sigma}\right)$, где $\Phi$ - стандартная нормальная функция распределения (табличная). Параметры $\mu = n(a+b)/2$ и $\sigma = \sqrt{n(b-a)^2/12}$ вычисляются напрямую.

Что такое «закон устойчивых распределений»?

Класс распределений, замкнутых относительно сложения: если $X$ и $Y$ из одного класса, то и $X+Y$ - тоже. Нормальное - устойчиво, пуассоновское - устойчиво, равномерное - нет (сумма двух $U(0,1)$ имеет треугольный закон, а не равномерный). Устойчивые законы - это именно нормальное и его обобщения (распределения Леви, Коши), описывающие суммы СВ с тяжёлыми хвостами.

Коротко

Распределение суммы независимых случайных величин находится через свёртку плотностей (или произведение характеристических функций). Ожидание и дисперсия суммы всегда равны суммам соответствующих характеристик слагаемых. Для суммы $n$ равномерных $U(a,b)$ точная плотность задаётся формулой Ирвина-Холла, а начиная приблизительно с $n = 12$ её хорошо аппроксимирует нормальный закон - это прямое следствие ЦПТ, объясняющей повсеместность нормального распределения в реальных данных.