Состоятельная оценка параметра: определение и проверка

Состоятельная оценка параметра - это статистическая оценка, которая сходится по вероятности к истинному значению параметра при неограниченном росте объёма выборки. Иными словами, чем больше данных мы собираем, тем точнее такая оценка «попадает» в неизвестное число, которое мы пытаемся восстановить. Это одно из базовых требований математической статистики: бессмысленно пользоваться правилом, которое даже на бесконечной выборке не приближается к правде. Ниже разберём строгое определение, отличие от несмещённости, достаточные условия состоятельности, роль закона больших чисел и типовые приёмы проверки конкретных оценок.

Что такое оценка параметра

Пусть имеется выборка $X_1, X_2, \dots, X_n$ из распределения, зависящего от неизвестного параметра $\theta$. Оценкой называют любую функцию от выборки $\hat{\theta}_n = T(X_1, \dots, X_n)$, которой мы пользуемся вместо настоящего значения $\theta$. Например, выборочное среднее $\bar{X}_n = \frac{1}{n}\sum_{i=1}^{n} X_i$ - это оценка математического ожидания.

Поскольку выборка случайна, сама оценка $\hat{\theta}_n$ тоже случайная величина: на разных выборках она принимает разные значения. Поэтому говорить о «правильности» одной конкретной оценки нельзя - нас интересует поведение последовательности оценок $\{\hat{\theta}_n\}$ при росте $n$. Состоятельность как раз и описывает это асимптотическое поведение.

Состоятельная оценка параметра: строгое определение

Оценка $\hat{\theta}_n$ называется состоятельной, если она сходится по вероятности к истинному значению параметра $\theta$:

$\hat{\theta}_n \xrightarrow{P} \theta, \quad n \to \infty.$

Распишем это определение явно. Для любого сколь угодно малого $\varepsilon > 0$ вероятность отклонения оценки от истинного значения больше чем на $\varepsilon$ стремится к нулю:

$\lim_{n \to \infty} P\bigl(|\hat{\theta}_n - \theta| > \varepsilon\bigr) = 0.$

Содержательно это означает: увеличивая выборку, мы можем сделать вероятность «грубой ошибки» сколь угодно малой. Чтобы быстро проверить конкретную оценку на состоятельность по этому определению, удобно сначала собрать все известные факты в один запрос - для этого ниже есть интерактивный помощник.

Сильная и слабая состоятельность

Определение через сходимость по вероятности задаёт слабую состоятельность - её обычно и подразумевают, когда говорят просто «состоятельная оценка». Существует и более сильное требование.

Оценка называется сильно состоятельной, если она сходится к $\theta$ почти наверное:

$P\Bigl(\lim_{n \to \infty} \hat{\theta}_n = \theta\Bigr) = 1.$

Сходимость почти наверное влечёт сходимость по вероятности, поэтому всякая сильно состоятельная оценка является и слабо состоятельной, но не наоборот. На практике для большинства классических оценок (выборочное среднее, выборочная дисперсия) выполняется именно сильная состоятельность, что гарантируется усиленным законом больших чисел.

Чем состоятельность отличается от несмещённости

Состоятельность и несмещённость - два разных свойства, и их часто путают. Оценка несмещённая, если её математическое ожидание равно параметру при любом объёме выборки:

$E[\hat{\theta}_n] = \theta \quad \text{для всех } n.$

Это свойство «в среднем», относящееся к фиксированному $n$. Состоятельность же - асимптотическое свойство, описывающее предел при $n \to \infty$. Эти свойства не вытекают одно из другого:

• Оценка может быть несмещённой, но несостоятельной (например, $\hat{\theta}_n = X_1$ - всегда несмещённая оценка среднего, но её дисперсия не убывает, и сходимости нет).
• Оценка может быть смещённой, но состоятельной (например, выборочная дисперсия с делением на $n$ систематически занижена, но смещение исчезает при росте $n$).

Полезный частный критерий: если $\hat{\theta}_n$ асимптотически несмещённая ($E[\hat{\theta}_n] \to \theta$) и её дисперсия стремится к нулю ($D[\hat{\theta}_n] \to 0$), то оценка состоятельна. Этот результат - прямое следствие неравенства Чебышёва.

Достаточное условие состоятельности через дисперсию

Самый удобный практический инструмент проверки опирается на неравенство Маркова и неравенство Чебышёва. Пусть оценка асимптотически несмещённая. Применим неравенство Чебышёва:

$P\bigl(|\hat{\theta}_n - E[\hat{\theta}_n]| > \varepsilon\bigr) \le \frac{D[\hat{\theta}_n]}{\varepsilon^2}.$

Если $D[\hat{\theta}_n] \to 0$ и $E[\hat{\theta}_n] \to \theta$, то правая часть стремится к нулю, а значит $\hat{\theta}_n \xrightarrow{P} \theta$. Сформулируем достаточное условие компактно:

$\bigl(E[\hat{\theta}_n] \to \theta\bigr) \ \wedge\ \bigl(D[\hat{\theta}_n] \to 0\bigr) \ \Rightarrow\ \hat{\theta}_n \xrightarrow{P} \theta.$

Это самая частая схема проверки на состоятельность: достаточно вычислить математическое ожидание оценки и её дисперсию, а затем перейти к пределу. Подчеркнём, что условие лишь достаточное - состоятельная оценка может иметь и не убывающую к нулю дисперсию, если используются более тонкие предельные теоремы.

Закон больших чисел как источник состоятельности

Главный «поставщик» состоятельных оценок - закон больших чисел (ЗБЧ). Слабый закон больших чисел утверждает, что для независимых одинаково распределённых величин с конечным математическим ожиданием $\mu$ выборочное среднее сходится по вероятности к $\mu$:

$\bar{X}_n = \frac{1}{n}\sum_{i=1}^{n} X_i \xrightarrow{P} \mu.$

Отсюда сразу следует, что $\bar{X}_n$ - состоятельная оценка математического ожидания. Усиленный закон больших чисел даёт сходимость почти наверное, то есть и сильную состоятельность. Метод моментов как раз эксплуатирует ЗБЧ: выборочные моменты состоятельно оценивают теоретические, а значит и непрерывные функции от них (по теореме о непрерывном отображении) дают состоятельные оценки исходных параметров.

Примеры проверки оценок на состоятельность

Рассмотрим распределение Бернулли с параметром $p$. Оценка $\hat{p}_n = \bar{X}_n$ (доля «успехов») несмещённая, а её дисперсия равна $\frac{p(1-p)}{n} \to 0$. По достаточному условию оценка состоятельна.

Для нормального распределения выборочная дисперсия

$S^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i - \bar{X}_n)^2$

несмещённая, а её дисперсия имеет порядок $\frac{1}{n}$ и стремится к нулю - оценка дисперсии $\sigma^2$ состоятельна. Версия с делением на $n$ смещена, но смещение убывает как $\frac{1}{n}$, поэтому она тоже состоятельна. Оценки максимального правдоподобия при выполнении условий регулярности также состоятельны - это одна из причин их повсеместного использования.

Частые ошибки

• Путают состоятельность и несмещённость. Несмещённость - свойство при каждом фиксированном $n$, состоятельность - поведение в пределе. Одно не влечёт другое.
• Считают убывание дисперсии необходимым. $D[\hat{\theta}_n] \to 0$ вместе с асимптотической несмещённостью - лишь достаточное условие, а не критерий.
• Забывают проверить асимптотическую несмещённость. Если $E[\hat{\theta}_n]$ сходится не к $\theta$, а к другому числу, то даже при нулевом пределе дисперсии оценка сходится «не туда».
• Применяют ЗБЧ без проверки условий. Для классического закона больших чисел нужны конечное математическое ожидание (для дисперсионного варианта - и конечная дисперсия) и независимость; при тяжёлых хвостах оценка может оказаться несостоятельной.
• Путают сходимость по вероятности и почти наверное. Слабая и сильная состоятельность - разные свойства; первое слабее второго.

FAQ

Может ли оценка быть состоятельной, но смещённой? Да. Классический пример - выборочная дисперсия с делением на $n$: она систематически занижена при любом $n$, но смещение убывает как $\frac{1}{n}$, поэтому оценка остаётся состоятельной.

Что проверять в первую очередь, чтобы доказать состоятельность? Удобнее всего использовать достаточное условие: показать, что $E[\hat{\theta}_n] \to \theta$ (асимптотическая несмещённость) и $D[\hat{\theta}_n] \to 0$. Если оба предела выполняются, оценка состоятельна по неравенству Чебышёва.

Гарантирует ли метод максимального правдоподобия состоятельность? При выполнении условий регулярности (идентифицируемость, гладкость функции правдоподобия, конечность информации Фишера) оценки максимального правдоподобия состоятельны. Без этих условий гарантии нет.

Коротко

Состоятельная оценка параметра - оценка, сходящаяся по вероятности к истинному значению при $n \to \infty$, то есть $\lim_{n\to\infty} P(|\hat{\theta}_n - \theta| > \varepsilon) = 0$. Это асимптотическое свойство, не совпадающее с несмещённостью: смещённая оценка может быть состоятельной и наоборот. Самый ходовой способ проверки - достаточное условие через неравенство Чебышёва: асимптотическая несмещённость плюс стремление дисперсии к нулю. Главный источник состоятельных оценок - закон больших чисел, благодаря которому выборочные среднее и моменты сходятся к теоретическим, а вместе с условиями регулярности состоятельны и оценки максимального правдоподобия.