Метод моментов: оценивание параметров распределения

Метод моментов - старейший приём точечного оценивания параметров распределения: чтобы найти неизвестные параметры, мы приравниваем теоретические моменты (выраженные через эти параметры) к их выборочным аналогам и решаем получившуюся систему уравнений. Идея, предложенная Карлом Пирсоном в конце XIX века, проста и почти всегда даёт явные формулы, поэтому метод моментов остаётся базовым инструментом математической статистики и удобной отправной точкой даже там, где итогом служит метод максимального правдоподобия. Ниже разберём суть метода, строгий алгоритм оценивания параметров, ключевые примеры, свойства получаемых оценок и типичные ошибки.

В чём суть метода моментов

Пусть выборка $X_1, \dots, X_n$ извлечена из распределения, зависящего от $k$ неизвестных параметров $\theta_1, \dots, \theta_k$. Теоретический начальный момент порядка $j$ - это $\mu_j = E[X^j]$; он выражается через параметры распределения. Выборочный начальный момент того же порядка вычисляется прямо по данным:

$\hat{\mu}_j = \frac{1}{n}\sum_{i=1}^{n} X_i^{\,j}.$

Метод моментов опирается на закон больших чисел: выборочный момент $\hat{\mu}_j$ сходится по вероятности к теоретическому $\mu_j$ при росте $n$. Значит, разумно потребовать их равенства и из получившихся уравнений выразить параметры. Чтобы быстро собрать систему уравнений и решить её для конкретного распределения, ниже есть интерактивный помощник.

Алгоритм оценивания параметров методом моментов

Оценивание параметров методом моментов укладывается в чёткую последовательность шагов:

1. Определите число неизвестных параметров $k$. Понадобится ровно столько уравнений.
2. Выпишите первые $k$ теоретических моментов $\mu_1, \dots, \mu_k$ как функции параметров. Часто удобнее работать с центральными моментами (например, с дисперсией $\mu_2 - \mu_1^2$).
3. Вычислите по выборке соответствующие выборочные моменты $\hat{\mu}_1, \dots, \hat{\mu}_k$.
4. Приравняйте теоретические моменты к выборочным:

$\mu_j(\theta_1, \dots, \theta_k) = \hat{\mu}_j, \qquad j = 1, \dots, k.$

1. Решите систему относительно параметров. Полученные решения $\hat{\theta}_1, \dots, \hat{\theta}_k$ и есть оценки метода моментов (ОММ).

Поскольку выборочное среднее $\bar{X} = \hat{\mu}_1$, первое уравнение почти всегда приравнивает математическое ожидание к среднему. Второе уравнение обычно связывает дисперсию с выборочной дисперсией.

Пример: показательное распределение

Показательное распределение с плотностью $f(x) = \lambda e^{-\lambda x}$ имеет один параметр $\lambda$. Поскольку неизвестный параметр один, $k = 1$, и нам нужен ровно один момент - первый. Его математическое ожидание $\mu_1 = E[X] = 1/\lambda$. Достаточно одного уравнения:

$\frac{1}{\lambda} = \bar{X} \quad \Longrightarrow \quad \hat{\lambda} = \frac{1}{\bar{X}}.$

Оценка метода моментов совпала здесь с оценкой максимального правдоподобия - приятный случай, когда оба подхода дают одно и то же. Содержательно это естественно: для показательного распределения среднее однозначно определяет интенсивность $\lambda$, поэтому первый момент несёт всю информацию о параметре. Заметим, что сама оценка $\hat{\lambda} = 1/\bar{X}$ смещена (по неравенству Йенсена $E[1/\bar{X}] \ne 1/E[\bar{X}]$), хотя и состоятельна - ещё одно напоминание, что простота формулы не означает несмещённости.

Пример: нормальное распределение

У нормального распределения $N(\mu, \sigma^2)$ два параметра, поэтому берём первые два момента. Теоретически $\mu_1 = \mu$ и $\mu_2 = \sigma^2 + \mu^2$. Приравнивая к выборочным моментам, получаем систему:

$\mu = \bar{X}, \qquad \sigma^2 + \mu^2 = \frac{1}{n}\sum_{i=1}^{n} X_i^2.$

Отсюда $\hat{\mu} = \bar{X}$, а оценка дисперсии равна выборочной дисперсии со смещением:

$\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^{n} X_i^2 - \bar{X}^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i - \bar{X})^2.$

Видно, что $\hat{\sigma}^2$ делится на $n$, а не на $n-1$, то есть слегка занижена. Это типичная особенность метода моментов: оценки часто оказываются смещёнными.

Пример: равномерное распределение

Для равномерного распределения $U[0, b]$ с единственным параметром $b$ математическое ожидание равно $b/2$. Одно уравнение:

$\frac{b}{2} = \bar{X} \quad \Longrightarrow \quad \hat{b} = 2\bar{X}.$

Здесь метод моментов наглядно проигрывает: оценка $\hat{b} = 2\bar{X}$ может оказаться меньше максимального наблюдения в выборке, что абсурдно - параметр $b$ обязан быть не меньше любого $X_i$. Оценка максимального правдоподобия $\hat{b} = \max_i X_i$ свободна от этого дефекта. Полезно сверять метод моментов с понятием достаточной статистики: именно $\max_i X_i$ является достаточной статистикой для $b$, а выборочное среднее теряет часть информации о параметре.

Свойства оценок метода моментов

Оценки метода моментов обладают рядом устойчивых свойств:

• Состоятельность. Выборочные моменты состоятельно оценивают теоретические, а решение системы - непрерывная функция от них, поэтому при стандартных условиях ОММ являются состоятельными оценками по теореме о непрерывном отображении.
• Асимптотическая нормальность. При конечных моментах нужного порядка оценки асимптотически нормальны, что позволяет строить доверительные интервалы.
• Смещённость. В отличие от состоятельности, несмещённость не гарантируется - выше мы видели смещённую оценку дисперсии.
• Неэффективность. Как правило, метод моментов уступает методу максимального правдоподобия по асимптотической дисперсии: его оценки менее эффективны.

Итоговый компромисс: метод моментов прост и почти всегда даёт явную формулу, но проигрывает в точности. Поэтому его часто используют как быстрый стартовый приём или начальное приближение для численного поиска ОМП.

Когда применять метод моментов

Метод моментов уместен, когда теоретические моменты выражаются через параметры в замкнутом виде, а максимизация правдоподобия аналитически неудобна. Он незаменим для распределений со сложной функцией правдоподобия (например, гамма- или бета-распределение), где система моментных уравнений решается явно, а уравнения правдоподобия - только численно. Для гамма-распределения с параметрами формы $\alpha$ и масштаба $\beta$ известно, что $E[X] = \alpha\beta$ и $D[X] = \alpha\beta^2$; приравнивая их к выборочному среднему и выборочной дисперсии, мгновенно получаем $\hat{\beta} = S^2/\bar{X}$ и $\hat{\alpha} = \bar{X}^2/S^2$ - наглядный пример, где метод моментов экономит много вычислений по сравнению с численной максимизацией правдоподобия.

Если же распределение имеет тяжёлые хвосты и нужный момент бесконечен, метод неприменим: выборочный момент не сходится, и оценивание параметров рушится. Классический контрпример - распределение Коши: у него не существует даже математического ожидания, поэтому выборочное среднее не стабилизируется с ростом $n$, и первое моментное уравнение лишено смысла. В таких случаях прибегают к робастным оценкам (медиана, квантили) или к методу максимального правдоподобия, который опирается не на моменты, а на форму плотности.

Частые ошибки

• Берут не то число уравнений. Для $k$ параметров нужно ровно $k$ моментных уравнений; меньше - система недоопределена, больше - переопределена.
• Путают начальные и центральные моменты. Для дисперсии удобно второй центральный момент $E[(X-\mu)^2]$; смешивание $\mu_2 = E[X^2]$ и центрального момента ведёт к неверной системе.
• Игнорируют допустимость оценки. Метод моментов способен выдать отрицательную дисперсию или параметр вне области определения - такие оценки нужно отбраковывать или корректировать.
• Ждут несмещённости. Состоятельность есть почти всегда, а несмещённость - нет; деление на $n$ в оценке дисперсии тому пример.
• Применяют при бесконечных моментах. Если у распределения нет конечного момента нужного порядка, выборочный момент не сходится и метод неприменим.

FAQ

Сколько моментов нужно для метода моментов? Столько, сколько неизвестных параметров: для $k$ параметров берут первые $k$ моментов и составляют $k$ уравнений. Обычно начинают с самых низких порядков, чтобы уменьшить разброс выборочных моментов.

Чем метод моментов отличается от метода максимального правдоподобия? Метод моментов приравнивает выборочные моменты к теоретическим и почти всегда даёт явную формулу, но его оценки часто смещены и менее эффективны. Метод максимального правдоподобия максимизирует функцию правдоподобия, даёт асимптотически эффективные оценки, но нередко требует численного решения.

Всегда ли оценки метода моментов состоятельны? При выполнении условий (конечность используемых моментов, непрерывность связи параметров с моментами) - да: это следствие закона больших чисел и теоремы о непрерывном отображении. Если нужный момент бесконечен, состоятельности нет.

Коротко

Метод моментов оценивает параметры распределения, приравнивая теоретические моменты $\mu_j = E[X^j]$, выраженные через параметры, к выборочным $\hat{\mu}_j = \frac{1}{n}\sum X_i^{\,j}$, и решая полученную систему из $k$ уравнений для $k$ параметров. Алгоритм даёт явные формулы: для показательного распределения $\hat{\lambda} = 1/\bar{X}$, для нормального $\hat{\mu} = \bar{X}$ и смещённую $\hat{\sigma}^2$, для равномерного $\hat{b} = 2\bar{X}$. Оценки метода моментов состоятельны и асимптотически нормальны, но часто смещены и менее эффективны, чем оценки максимального правдоподобия. Метод удобен как быстрый и аналитически прозрачный приём, особенно для распределений со сложной функцией правдоподобия.