Достаточная статистика: что это и критерий факторизации

Достаточная статистика - это функция от выборки, которая сохраняет всю информацию о неизвестном параметре, содержащуюся в исходных данных. Если такая статистика известна, то остаток выборки уже ничего не добавляет к знанию о параметре: условное распределение выборки при фиксированном значении статистики от параметра не зависит. Это одно из центральных понятий математической статистики - оно лежит в основе сжатия данных без потери информации, теоремы Рао-Блэкуэлла и построения эффективных оценок. Ниже разберём строгое определение достаточной статистики, удобный на практике критерий факторизации Неймана-Фишера, связь с функцией правдоподобия и типовые примеры.

Что такое достаточная статистика

Пусть имеется выборка $X_1, X_2, \dots, X_n$ из распределения с плотностью (или вероятностью) $f(x; \theta)$, зависящего от неизвестного параметра $\theta$. Статистикой называют любую функцию от выборки $T = T(X_1, \dots, X_n)$, не зависящую от $\theta$ - например, сумму, среднее или максимум наблюдений.

Идея достаточности проста: мы хотим заменить громоздкую выборку из $n$ чисел одним (или несколькими) числами так, чтобы при этом не потерять ничего, что говорит о параметре. Если по значению $T$ можно восстановить ровно столько же сведений о $\theta$, сколько даёт вся выборка, то $T$ называют достаточной статистикой. Чтобы быстро проверить конкретную статистику на достаточность по критерию факторизации, ниже есть интерактивный помощник.

Достаточная статистика: строгое определение

Статистика $T = T(X_1, \dots, X_n)$ называется достаточной для параметра $\theta$, если условное распределение выборки $(X_1, \dots, X_n)$ при фиксированном значении $T = t$ не зависит от $\theta$:

$P\bigl(X_1, \dots, X_n \mid T = t, \theta\bigr) = P\bigl(X_1, \dots, X_n \mid T = t\bigr).$

Содержательно это и есть формализация «отсутствия потери информации»: как только мы зафиксировали значение $T$, параметр $\theta$ уже никак не влияет на то, какой именно набор наблюдений мы получили. Поэтому для любых статистических выводов о $\theta$ достаточно знать одно лишь значение $T$, а не всю выборку.

Проверять достаточность прямо по определению неудобно: нужно выписывать условное распределение и доказывать его независимость от $\theta$. На практике почти всегда пользуются эквивалентным критерием факторизации.

Критерий факторизации Неймана-Фишера

Главный рабочий инструмент - теорема факторизации Неймана-Фишера. Статистика $T(X)$ достаточна для $\theta$ тогда и только тогда, когда совместная плотность (функция правдоподобия) представима в виде произведения двух множителей:

$f(x_1, \dots, x_n; \theta) = g\bigl(T(x_1, \dots, x_n), \theta\bigr) \cdot h(x_1, \dots, x_n).$

Здесь первый множитель $g$ зависит от данных только через значение статистики $T$ и от параметра $\theta$, а второй множитель $h$ не зависит от $\theta$ вовсе (он может произвольно зависеть от выборки). Если такое разложение найдено - статистика достаточна; если функция правдоподобия принципиально не факторизуется в таком виде - нет.

Критерий удобен тем, что не требует вычислять условные распределения: достаточно записать совместную плотность и попытаться выделить в ней множитель, который «трогает» данные исключительно через $T$. Именно поэтому в задачах на достаточность почти всегда отправной точкой служит функция правдоподобия.

Полезно помнить, что разложение в критерии не единственно: множители $g$ и $h$ определены с точностью до постоянного множителя, и часть «безобидных» сомножителей, не зависящих от $\theta$, можно по желанию переносить в $h$. Это не меняет вывода о достаточности - важна лишь принципиальная возможность отделить зависимость от данных, идущую через $T$, от зависимости от $\theta$. Если же в плотности параметр $\theta$ цепляется к данным способом, не сводимым к одной статистике $T$ (например, через несколько разных функций выборки), то такая $T$ достаточной не будет, и факторизация просто не получится.

Связь с функцией правдоподобия

Функция правдоподобия $L(\theta) = f(x_1, \dots, x_n; \theta)$ - это совместная плотность выборки, рассматриваемая как функция параметра при фиксированных данных. Критерий факторизации говорит, что достаточная статистика - это ровно та величина, через которую данные входят в правдоподобие.

Отсюда следствие: оценка максимального правдоподобия всегда является функцией достаточной статистики, ведь максимум $L(\theta)$ ищется по тем же множителям $g(T, \theta)$, а множитель $h(x)$ на положение максимума не влияет. Это связывает достаточность с теорией эффективных оценок: по теореме Рао-Блэкуэлла усреднение любой несмещённой оценки по достаточной статистике не ухудшает её, а уменьшает дисперсию. Достаточность тесно соприкасается и с информацией Фишера - она задаёт нижнюю границу точности через неравенство Крамера-Рао, и оценка на основе достаточной статистики имеет шанс эту границу достичь.

С достаточностью связана и важная для практики идея состоятельности: оценки, построенные на достаточной статистике, при росте объёма выборки сходятся к истинному значению параметра. Подробнее это свойство разобрано в материале про состоятельную оценку параметра - там показано, как асимптотическая несмещённость и убывание дисперсии вместе дают сходимость по вероятности.

Минимальная достаточная статистика

Достаточных статистик у одной модели много: сама выборка $(X_1, \dots, X_n)$ всегда достаточна (тривиально), а любая взаимно однозначная функция от достаточной статистики тоже достаточна. Интерес представляет максимально «сжатая» версия.

Достаточная статистика называется минимальной, если она является функцией от любой другой достаточной статистики. Минимальная статистика обеспечивает наибольшее возможное сжатие данных без потери информации о параметре. Практический критерий минимальности (Лемана-Шеффе): $T(x)$ минимальна, если отношение правдоподобий

$\frac{f(x; \theta)}{f(y; \theta)}$

не зависит от $\theta$ в точности тогда, когда $T(x) = T(y)$. Для большинства распространённых распределений (нормальное, пуассоновское, экспоненциальное) минимальная достаточная статистика - это набор выборочных сумм соответствующих степеней.

Примеры достаточных статистик

Рассмотрим выборку из распределения Бернулли с параметром $p$. Функция правдоподобия равна $p^{\sum x_i}(1-p)^{n - \sum x_i}$, то есть данные входят только через сумму $T = \sum_{i=1}^{n} X_i$. По критерию факторизации $T$ - достаточная статистика для $p$.

Для пуассоновского распределения с параметром $\lambda$ правдоподобие пропорционально $\lambda^{\sum x_i} e^{-n\lambda}$, и снова достаточной статистикой служит сумма $T = \sum X_i$. Для нормального распределения $N(\mu, \sigma^2)$ с двумя неизвестными параметрами достаточной является пара

$T = \left(\sum_{i=1}^{n} X_i,\ \sum_{i=1}^{n} X_i^2\right),$

через которую полностью восстанавливаются выборочное среднее и выборочная дисперсия. Эти примеры - частные случаи общего факта: для экспоненциального семейства распределений достаточной статистикой всегда служит набор сумм естественных статистик.

Частые ошибки

• Путают статистику и её значение. Достаточность - свойство функции $T(X)$ как случайной величины, а не конкретного числа, полученного на одной выборке.
• Считают достаточной любую сжимающую статистику. Среднее, максимум или медиана не обязаны быть достаточными - сжатие данных без потери информации гарантирует только факторизация правдоподобия.
• Забывают про множитель $h(x)$. В критерии факторизации $h$ может как угодно зависеть от выборки; важно лишь, чтобы он не зависел от $\theta$, а $g$ касался данных только через $T$.
• Смешивают достаточность и минимальность. Сама выборка всегда достаточна, но почти никогда не минимальна; минимальная статистика - это максимально сжатая достаточная.
• Думают, что достаточная статистика единственна. Любая биекция от достаточной статистики тоже достаточна, поэтому говорить о «той самой» статистике можно лишь с точностью до взаимно однозначного преобразования.

FAQ

Чем достаточная статистика отличается от любой другой? Достаточная статистика сохраняет всю информацию о параметре: условное распределение выборки при её фиксированном значении не зависит от $\theta$. Произвольная статистика этим свойством не обладает - она может «выбросить» часть сведений о параметре.

Как проще всего проверить статистику на достаточность? Записать функцию правдоподобия и применить критерий факторизации Неймана-Фишера: если плотность раскладывается в произведение $g(T(x), \theta)\cdot h(x)$, где $h$ не зависит от $\theta$, то $T$ достаточна.

Зачем нужна достаточная статистика на практике? Она позволяет сжать выборку до нескольких чисел без потери информации, лежит в основе оценок максимального правдоподобия и теоремы Рао-Блэкуэлла, по которой усреднение оценки по достаточной статистике уменьшает её дисперсию.

Коротко

Достаточная статистика - функция от выборки $T(X)$, при фиксированном значении которой условное распределение данных не зависит от параметра $\theta$, то есть она сохраняет всю информацию о $\theta$. На практике достаточность проверяют не по определению, а по критерию факторизации Неймана-Фишера: правдоподобие должно раскладываться в произведение $g(T(x),\theta)\cdot h(x)$. Достаточная статистика связана с функцией правдоподобия (через неё данные входят в $L(\theta)$), порождает оценки максимального правдоподобия и, по теореме Рао-Блэкуэлла, эффективные оценки. Максимально сжатую версию называют минимальной достаточной статистикой; для экспоненциальных семейств это набор выборочных сумм.