Как найти несмещённую оценку дисперсии: решение

Дано: выборка из $n = 10$ измерений: $20;\ 24;\ 22;\ 26;\ 21;\ 25;\ 23;\ 27;\ 22;\ 20$. Найти: несмещённую (исправленную) оценку дисперсии $s^2$, смещённую выборочную дисперсию $D_{\text{в}}$ и стандартное отклонение $s$.

Порядок один и тот же для любой выборки: выборочное среднее, сумма квадратов отклонений, а затем деление этой суммы на $n$ или на $n - 1$ в зависимости от того, какую оценку просят. Ответ: $D_{\text{в}} = 5{,}4$, $s^2 = 6{,}0$, $s \approx 2{,}45$. Калькулятор сверху считает обе оценки одновременно и показывает, из каких квадратов отклонений они собираются.

Решение по шагам

Шаг 1. Выборочное среднее. Дисперсия измеряет разброс вокруг среднего, поэтому среднее находится первым:

$$\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i = \frac{20 + 24 + 22 + 26 + 21 + 25 + 23 + 27 + 22 + 20}{10} = \frac{230}{10} = 23.$$

Среднее получилось целым, и это удача: дальше все отклонения будут целыми числами, а значит, округлять до самого конца не придётся.

Шаг 2. Отклонения и их квадраты. Удобнее всего свести расчёт в таблицу: слева значения, дальше отклонение от среднего, затем его квадрат.

Сумма второй строки обязана быть нулём: $-3 + 1 - 1 + 3 - 2 + 2 + 0 + 4 - 1 - 3 = 0$. Это бесплатная проверка среднего, и если ноль не получился, дальше идти бессмысленно.

Шаг 3. Сумма квадратов отклонений. Складываем третью строку:

$$\sum_{i=1}^{n} (x_i - \bar{x})^2 = 9 + 1 + 1 + 9 + 4 + 4 + 0 + 16 + 1 + 9 = 54.$$

Эта сумма и есть всё содержательное в задаче. Дальше остаётся только выбрать делитель.

Шаг 4. Смещённая выборочная дисперсия. Делим на объём выборки:

$$D_{\text{в}} = \frac{1}{n}\sum_{i=1}^{n} (x_i - \bar{x})^2 = \frac{54}{10} = 5{,}4.$$

Шаг 5. Несмещённая (исправленная) оценка. Делим ту же сумму на $n - 1$:

$$s^2 = \frac{1}{n - 1}\sum_{i=1}^{n} (x_i - \bar{x})^2 = \frac{54}{9} = 6{,}0.$$

Шаг 6. Стандартное отклонение. Дисперсия выражена в квадратах исходных единиц, поэтому для интерпретации из неё извлекают корень:

$$s = \sqrt{s^2} = \sqrt{6} \approx 2{,}45.$$

Ответ: $D_{\text{в}} = 5{,}4$, $s^2 = 6{,}0$, $s \approx 2{,}45$.

Формула и откуда она берётся

Если бы истинное среднее $a$ генеральной совокупности было известно, никакой поправки не понадобилось бы: величина $\frac{1}{n}\sum (x_i - a)^2$ уже несмещённо оценивает дисперсию. Но $a$ неизвестно, и вместо него подставляют $\bar{x}$, посчитанное по той же самой выборке.

В этом вся суть смещения. Выборочное среднее подогнано под конкретные десять чисел: оно лежит ровно в центре именно этих наблюдений, и сумма квадратов отклонений от него минимальна. Отклонения от любой другой точки, включая истинное $a$, дадут сумму больше. Поэтому $D_{\text{в}}$ систематически занижает разброс, причём занижает предсказуемо:

$$M\big(D_{\text{в}}\big) = \frac{n - 1}{n}\,\sigma^2.$$

Множитель $\frac{n - 1}{n}$ и есть коэффициент занижения: при $n = 10$ он равен $0{,}9$, то есть в среднем смещённая оценка выдаёт лишь девять десятых настоящей дисперсии. Чтобы избавиться от этого множителя, обе части умножают на $\frac{n}{n - 1}$ и получают оценку, у которой математическое ожидание совпадает с $\sigma^2$:

$$s^2 = \frac{n}{n - 1}\,D_{\text{в}} = \frac{1}{n - 1}\sum_{i=1}^{n} (x_i - \bar{x})^2, \qquad M\big(s^2\big) = \sigma^2.$$

Это и называют поправкой Бесселя, а саму оценку - исправленной или несмещённой. Формальное объяснение через степени свободы звучит так: из $n$ отклонений независимы только $n - 1$, потому что их сумма обязана равняться нулю (мы проверили это на шаге 2). Зная девять отклонений, десятое можно восстановить, поэтому в знаменателе стоит девять, а не десять.

Отдельно стоит развести два свойства оценок, которые студенты обычно путают. Несмещённость - это про отсутствие систематической ошибки при любом фиксированном $n$. Состоятельность - это про поведение при $n \to \infty$; ей обладают обе оценки, и смещённая тоже, потому что множитель $\frac{n-1}{n}$ стремится к единице. Именно поэтому на длинных выборках разница между ответами перестаёт быть заметной.

Проверка вторым способом: через сумму квадратов

Считать отклонения по одному долго, и при дробном среднем это ещё и источник ошибок округления. Сумму квадратов отклонений можно получить сразу, одним проходом по данным:

$$\sum_{i=1}^{n} (x_i - \bar{x})^2 = \sum_{i=1}^{n} x_i^2 - n\bar{x}^2.$$

Проверим на нашей выборке. Сумма квадратов самих значений:

$$\sum x_i^2 = 400 + 576 + 484 + 676 + 441 + 625 + 529 + 729 + 484 + 400 = 5344.$$

Вычитаем поправку на среднее:

$$\sum (x_i - \bar{x})^2 = 5344 - 10 \cdot 23^2 = 5344 - 5290 = 54.$$

Число совпало с суммой из таблицы, значит, обе оценки посчитаны верно. У этого способа есть неприятная особенность: $5344$ и $5290$ - крупные близкие числа, и если округлить $\bar{x}$ хотя бы до десятых, разность поплывёт. На калькуляторе с ограниченной разрядностью первый способ надёжнее, а этот удобен как быстрая проверка.

Когда делить на n, а когда на n минус 1

Выбор делителя определяется не формулой, а формулировкой задания.

• В условии есть слово «выборка», «оценка параметра», «генеральная дисперсия неизвестна» - нужна исправленная оценка с делителем $n - 1$. Так же настроены статистические пакеты и функция СТАНДОТКЛОН.В в табличных редакторах.
• В условии сказано, что данные - это вся генеральная совокупность или сплошное наблюдение, - делят на $n$. Оценивать нечего, дисперсия считается точно.
• В общей теории статистики по умолчанию делят на $n$, и на этом же делителе строится коэффициент вариации; в математической статистике по умолчанию делят на $n - 1$. Один и тот же ряд в двух разных курсах даёт два разных «правильных» ответа.

Разрыв между оценками равен $\frac{100}{n - 1}$ процентов: у нас $s^2$ больше $D_{\text{в}}$ на $11{,}1\ \%$, при $n = 5$ было бы $25\ \%$, а при $n = 100$ - всего один процент. Переключи в калькуляторе сверху готовые наборы разной длины, и обе горизонтали на графике сойдутся.

Если выборка задана не списком, а частотами, схема не меняется: в суммах появляются множители $f_i$, а вместо $n$ берётся $\sum f_i$, то есть общее число наблюдений, а не число различных значений. Собрать такой ряд из сырых данных помогает разбор про вариационный ряд, а если величина задана не выборкой, а рядом распределения с вероятностями, считается уже теоретическая дисперсия случайной величины, и поправка Бесселя там не нужна вовсе.

Частые ошибки

• Делят на $n - 1$ сумму самих значений, а не сумму квадратов отклонений. В знаменатель $n - 1$ попадает только $\sum (x_i - \bar{x})^2$; выборочное среднее всегда считается делением на $n$.
• Берут $n - 1$ вместо числа различных значений в сгруппированном ряду. При частотах $n$ - это $\sum f_i$. В ряду из четырёх значений с общим числом наблюдений 20 делитель равен 19, а не 3.
• Округляют $\bar{x}$ до целых или десятых в середине расчёта. При дробном среднем это искажает сразу все отклонения; округлять нужно только итоговые $s^2$ и $s$.
• Извлекают корень из смещённой оценки, а отвечают про исправленную. $\sqrt{5{,}4} \approx 2{,}32$ и $\sqrt{6} \approx 2{,}45$ - разные числа; стандартное отклонение $s$ берётся именно из $s^2$.
• Считают, что $s$ тоже несмещённая. Несмещённость $s^2$ не переносится на корень: $M(s) < \sigma$, потому что корень - вогнутая функция. В учебных задачах этим пренебрегают, но утверждать обратное на экзамене не стоит.
• Теряют знак при возведении в квадрат или забывают проверить $\sum (x_i - \bar{x}) = 0$. Нулевая сумма отклонений - единственная бесплатная проверка среднего в этой задаче.

FAQ

Почему делят именно на n минус 1, а не на n минус 2? Потому что по выборке оценён ровно один параметр - среднее, и на него потрачена одна степень свободы. Отклонения связаны единственным уравнением $\sum (x_i - \bar{x}) = 0$, поэтому независимых среди них $n - 1$. Делитель $n - 2$ появляется там, где оценены два параметра, например в остаточной дисперсии парной регрессии.

Чем отличаются обозначения $D_{\text{в}}$, $s^2$ и $\sigma^2$? $\sigma^2$ - истинная дисперсия генеральной совокупности, неизвестное число, которое мы оцениваем. $D_{\text{в}}$ - смещённая выборочная дисперсия с делителем $n$. $s^2$ - исправленная, несмещённая оценка с делителем $n - 1$. В ответе к задаче про выборку почти всегда ждут $s^2$ и $s$.

Можно ли найти несмещённую оценку по выборке из одного значения? Нет. При $n = 1$ знаменатель $n - 1$ обращается в ноль, и оценка не определена. Содержательно это верно: одно наблюдение ничего не говорит о разбросе, а смещённая оценка выдала бы обманчивый ноль.

Насколько велика разница на практике? Она равна $\frac{100}{n - 1}$ процентов и быстро тает: 25 процентов при $n = 5$, 11 процентов при $n = 10$, около одного процента при $n = 100$. На больших выборках делитель почти не влияет на вывод, но в контрольной по математической статистике за деление на $n$ снимают баллы.

Коротко

1. Найди выборочное среднее $\bar{x} = \frac{1}{n}\sum x_i$; в примере $\bar{x} = 230 / 10 = 23$.
2. Посчитай отклонения и их квадраты, проверь, что $\sum (x_i - \bar{x}) = 0$, и сложи квадраты: $\sum (x_i - \bar{x})^2 = 54$.
3. Смещённая выборочная дисперсия - та же сумма, делённая на $n$: $D_{\text{в}} = 54 / 10 = 5{,}4$.
4. Несмещённая (исправленная) оценка - делённая на $n - 1$: $s^2 = 54 / 9 = 6{,}0$, она больше смещённой в $\frac{n}{n-1}$ раз.
5. Стандартное отклонение - корень из исправленной оценки: $s = \sqrt{6} \approx 2{,}45$. Ответ: $D_{\text{в}} = 5{,}4$, $s^2 = 6{,}0$, $s \approx 2{,}45$.