Формула Стёрджесса: число групп при группировке данных

Число интервалов - ключевой параметр при построении интервального ряда: слишком мало групп сглаживают распределение до неузнаваемости, слишком много делают каждый столбец гистограммы пустым. Формула Стёрджесса даёт стартовую оценку $k$ по объёму выборки $n$ - это минимум, который нужно знать при любой группировке данных.

Что такое формула Стёрджесса

Герберт Стёрджесс опубликовал своё правило в 1926 году. Идея - число групп $k$ должно так соотноситься с объёмом выборки $n$, чтобы каждый класс содержал в среднем не менее одного-двух наблюдений и при этом число групп не было избыточным.

Формула:

$k = 1 + 3{,}322 \cdot \lg n$

где $\lg n$ - десятичный логарифм объёма выборки, а результат округляется до ближайшего целого.

Практические значения:

Коэффициент 3,322 - не магическое число, а $\log_2(10) \approx 3,322$. Это означает, что на самом деле формула записывается через двоичный логарифм:

$k = 1 + \log_2 n$

Откуда берётся эта формула

Стёрджесс рассуждал так: если данные нормально распределены, оптимальная гистограмма должна «схватить» форму кривой, не теряя детализации. Он опирался на аналогию с биномиальным распределением: при $k$ группах для нормально распределённой переменной оптимально, чтобы $2^{k-1} \approx n$. Отсюда $k - 1 = \log_2 n$, то есть $k = 1 + \log_2 n$.

Переход к десятичному логарифму - лишь удобство: $\log_2 n = \lg n / \lg 2 = \lg n \cdot 3{,}322$.

Рассчитать для своей задачи

Пошаговый расчёт

Пример. Данные о доходах 80 домохозяйств (эконометрика, практикум). Нужно построить интервальный ряд.

Шаг 1. Считаем число групп:

$k = 1 + 3{,}322 \cdot \lg 80 = 1 + 3{,}322 \cdot 1{,}903 = 1 + 6{,}32 \approx 7$

Шаг 2. Находим размах. Пусть минимальный доход $x_{\min} = 18\,000$ руб., максимальный $x_{\max} = 95\,000$ руб. Размах:

$R = x_{\max} - x_{\min} = 95\,000 - 18\,000 = 77\,000 \text{ руб.}$

Шаг 3. Вычисляем ширину интервала:

$h = \frac{R}{k} = \frac{77\,000}{7} \approx 11\,000 \text{ руб.}$

На практике $h$ округляют до «удобного» числа - кратного 5000 или 10000. Возьмём $h = 11\,000$ руб. и начнём первый интервал с $18\,000$.

Шаг 4. Строим интервалы: $[18; 29)$, $[29; 40)$, $[40; 51)$, $[51; 62)$, $[62; 73)$, $[73; 84)$, $[84; 95]$ (в тыс. руб.).

После построения таблицы частот легко перейти к расчёту коэффициента вариации выборки, среднего и дисперсии по взвешенным формулам.

Ограничения формулы Стёрджесса

Формула работает хорошо при нормальном распределении. Но у неё есть важные ограничения:

1. Малые выборки. При $n < 30$ формула даёт $k \leq 5{,}9$. Для $n = 10$ - всего 4 группы, что почти не имеет смысла. Эконометрики рекомендуют при $n < 30$ строить точечный ряд или использовать $k = \sqrt{n}$.

2. Скошенные распределения. Если данные сильно правосторонне или левосторонне скошены (доходы, размеры компаний, цены активов), Стёрджесс «не знает» об этом и даёт одинаковый $k$ независимо от формы. Поправку вносит формула Доана (см. ниже).

3. Большие выборки. При $n > 1000$ число групп по Стёрджессу 11-12. Но для больших массивов часто нужна более тонкая детализация. Правило Скотта и Фридмана-Диакониса дают адаптивную ширину $h$, а не число групп $k$.

4. Бимодальные и мультимодальные данные. Если в данных два пика, формула Стёрджесса не поможет их «разделить» - это определяется содержательно.

Рассчитать для своей задачи

Альтернативные формулы

В учебниках по эконометрике и статистике используют несколько правил. Вот три основных:

Правило квадратного корня:

$k = \sqrt{n}$

Проще в расчёте, даёт больше групп при малых $n$ и меньше при больших по сравнению со Стёрджессом. Популярно в практических руководствах.

Правило Райса (Rice rule):

$k = 2 \cdot \sqrt[3]{n} = 2n^{1/3}$

Оценивает $k$ через кубический корень. При $n = 100$ даёт $k = 2 \cdot 4{,}64 \approx 9$ против 8 по Стёрджессу.

Формула Доана (Doane, 1976):

$k = 1 + \log_2 n + \log_2\!\left(1 + \frac{|g_1|}{\sigma_{g_1}}\right)$

где $g_1$ - коэффициент асимметрии выборки, $\sigma_{g_1} = \sqrt{6(n-2)/((n+1)(n+3))}$ - стандартная ошибка асимметрии. Доан модифицировал формулу Стёрджесса для несимметричных данных: чем больше скос, тем больше групп нужно.

В эконометрических пакетах (R, Python, SPSS) по умолчанию используется правило Фридмана-Диакониса (ширина $h = 2 \cdot IQR \cdot n^{-1/3}$, где $IQR$ - межквартильный размах), которое устойчиво к выбросам.

Как связаны k и ширина интервала h

Число групп и ширина интервала связаны через размах:

$h = \frac{x_{\max} - x_{\min}}{k}$

Чем больше $k$, тем уже интервалы - и тем точнее аппроксимируется форма распределения. Но при фиксированном $n$ рост $k$ уменьшает среднее число наблюдений в каждом классе $\bar{n}_i = n/k$:

$\bar{n}_i = \frac{n}{k} = \frac{n}{1 + \log_2 n}$

При $n = 100$ и $k = 8$ в среднем 12-13 наблюдений на группу - достаточно для устойчивых оценок. При $n = 20$ и $k = 5$ - по 4 наблюдения, это уже на грани.

В группировке статистических данных по интервалам подробно разобрано, как использовать полученные $k$ и $h$ для построения полного вариационного ряда.

Число групп и точность средней

Важный теоретический момент: группировка вносит погрешность замены - все наблюдения внутри интервала заменяются серединой класса $x_i$. Дисперсия этой погрешности по формуле Шеппарда:

$D_{\text{шепп}} = \frac{h^2}{12}$

Из формулы Стёрджесса $h \approx R / (1 + \log_2 n)$, поэтому при фиксированном размахе $R$ погрешность снижается с ростом числа групп. Чем больше $k$ - тем точнее средняя по сгруппированным данным приближает «поточечное» значение.

На практике поправку Шеппарда вносят в учебных задачах редко: при $k \geq 7$ и умеренном $R$ её влияние на дисперсию составляет доли процента.

Частые ошибки

• Перепутать $\lg$ и $\ln$. Формула использует десятичный логарифм ($\lg$, основание 10), а не натуральный ($\ln$, основание $e \approx 2{,}718$). $\ln 100 \approx 4{,}61$, $\lg 100 = 2$ - разница существенная.
• Не округлить результат. Формула даёт вещественное число (например, 7,64), которое нужно округлить до целого. Правило: обычно до ближайшего целого; при дробной части ровно 0,5 - в большую сторону.
• Применять формулу при $n < 15$. При совсем малых выборках Стёрджесс даёт 4-5 групп, что превращает гистограмму в почти бесполезный столбчатый ряд.
• Игнорировать скос распределения. Для правосторонних данных (доходы, цены, объёмы сделок) без поправки Доана число групп будет занижено в хвосте.
• Путать $k$ и $h$. Формула Стёрджесса даёт число групп, а не ширину интервала. Ширина $h$ считается отдельно через размах.

FAQ

Обязательно ли использовать формулу Стёрджесса в учебной задаче? В большинстве российских учебников по статистике и эконометрике она является стандартом по умолчанию. Если условие задачи не указывает конкретный метод, используйте Стёрджесса. Правило квадратного корня ($k = \sqrt{n}$) допускается, если это оговорено.

Почему коэффициент 3,322, а не 3,32 или 3,3? Потому что $1/\lg 2 = 1/0{,}30103 \approx 3{,}3219...$. Округление до 3,322 - компромисс между точностью и удобством расчёта. В некоторых учебниках встречается 3,32 или даже 3,3 - это допустимые приближения.

Что делать, если по формуле Стёрджесса вышло 8 групп, а дисперсионный анализ требует 5? Содержательные или методические требования задачи приоритетнее формальных правил. Стёрджесс задаёт нижний порог «разумного» числа групп, но ничто не мешает взять меньше, если это обосновано целями анализа.

Коротко

Формула Стёрджесса $k = 1 + 3{,}322 \cdot \lg n$ выводится из условия $k = 1 + \log_2 n$ и даёт оптимальное число групп для нормально распределённых данных. При $n$ от 20 до 1000 она даёт $k$ от 5 до 11. Ширина интервала после этого вычисляется как $h = (x_{\max} - x_{\min})/k$ и округляется вверх. Главные ограничения: не работает для сильно скошенных данных (используйте формулу Доана), ненадёжна при $n < 30$, при больших $n > 1000$ лучше применять правило Фридмана-Диакониса. В учебных задачах по эконометрике - стандарт по умолчанию.