EssayAI
Блог
Блог
Математика и алгоритмы

Ошибки первого и второго рода при проверке гипотез

8 ноября 2026Время чтения: 8 минут
#проверка гипотез#ошибка первого рода#ошибка второго рода#мощность критерия#уровень значимости
Ошибки первого и второго рода при проверке гипотез

Статистический критерий превращает данные в решение: отвергнуть нулевую гипотезу или пока не отвергать её. Из-за случайности выборки оба решения иногда оказываются ошибочными. Можно объявить эффект, которого нет, или пропустить существующий эффект. Это ошибки первого и второго рода. Калькулятор показывает, как связаны порог решения и вероятность пропуска в конкретной модели; попробуйте изменить уровень значимости или объём выборки.

Четыре исхода одного решения

Пусть проверяют, увеличила ли новая настройка среднюю производительность процесса. Нулевая гипотеза H0H_0 утверждает, что увеличения нет, а альтернатива H1H_1 допускает увеличение. Подробно формулировка пары разобрана в статье про нулевую и альтернативную гипотезы. Здесь важнее сопоставить решение с неизвестным истинным положением дел.

Решение по выборкеУвеличения нетУвеличение есть
Отвергнуть H0H_0Ошибка I родаВерное обнаружение
Не отвергать H0H_0Верное решениеОшибка II рода

Ошибка первого рода - ложная тревога: критерий показал увеличение, хотя его нет. В производстве это может привести к ненужной перенастройке оборудования. Вероятность такой ошибки при верной H0H_0 обозначают α\alpha. Уровень значимости задаёт допустимую верхнюю границу этого риска; в приведённом ниже непрерывном z-критерии на границе нулевой гипотезы вероятность равна выбранному уровню.

Ошибка второго рода - пропуск: увеличение действительно существует, но критерий не отвергает H0H_0. Его вероятность обозначают β\beta. При этом надо указать, какое именно увеличение существует: слабый и сильный эффекты обнаруживаются с разной вероятностью. Так же определяет ошибки и мощность NIST в техническом руководстве.

Почему порог меняет обе ошибки

Для правостороннего критерия решение определяется порогом: если статистика выше него, H0H_0 отвергают. При верной H0H_0 значения статистики иногда случайно оказываются выше порога - это ложные тревоги. При заданном положительном эффекте распределение статистики смещается вправо, но его часть может оставаться левее порога - это пропуски.

При движении порога вправо золотая область пропуска под распределением существующего эффекта растёт, а порог затем возвращается назад.

Повысим порог при неизменных распределениях. Ложных тревог станет меньше: при H0H_0 статистике труднее попасть в область отвержения. Но больше результатов при реальном эффекте останется ниже порога. Поэтому при фиксированных объёме выборки, модели и величине эффекта уменьшение α\alpha увеличивает β\beta. Обратный сдвиг порога меняет риски в противоположных направлениях.

Это не универсальный закон о любых двух процедурах: если одновременно увеличить выборку или изменить план эксперимента, можно уменьшить вероятность пропуска при том же или более строгом уровне значимости. Сначала нужно задать, что именно остаётся фиксированным.

Расчёт ошибки второго рода на примере

Рассмотрим учебную модель независимых нормальных наблюдений с известным стандартным отклонением σ\sigma. Проверяем H0:μ≤μ0H_0: \mu\leq\mu_0 против H1:μ>μ0H_1: \mu>\mu_0. На границе μ=μ0\mu=\mu_0 статистика

Z=Xˉ−μ0σ/nZ=\frac{\bar X-\mu_0}{\sigma/\sqrt n}

имеет стандартное нормальное распределение. При α=0,05\alpha=0{,}05 критический порог равен c=Φ−1(0,95)≈1,645c=\Phi^{-1}(0{,}95)\approx1{,}645, где Φ\Phi - функция распределения стандартной нормали. Отвергаем H0H_0, если Z>cZ>c.

Пусть n=25n=25, а интересующее нас истинное увеличение равно 0,4σ0{,}4\sigma. Тогда среднее статистики при этом эффекте сдвигается на 0,425=20{,}4\sqrt{25}=2. Её распределение становится нормальным со средним 2 и стандартным отклонением 1. Ошибка второго рода - вероятность остаться левее порога при этом конкретном эффекте:

β=Φ(c−2)=Φ(−0,355)≈0,361.\beta=\Phi(c-2)=\Phi(-0{,}355)\approx0{,}361.
Два нормальных распределения статистики и критический порог 1,645: область пропуска при заданном эффекте составляет примерно 36,1 процента
Два нормальных распределения статистики и критический порог 1,645: область пропуска при заданном эффекте составляет примерно 36,1 процента

Значит, при многократном повторении такого эксперимента примерно в 36,1 % случаев критерий не обнаружит заданное увеличение. В оставшихся 63,9 % он его обнаружит. Это частоты в модели повторных выборок, а не вероятность того, что эффект существует в одном конкретном исследовании.

Если при том же nn и эффекте установить α=0,01\alpha=0{,}01, порог возрастёт до 2,3262{,}326, а β\beta - примерно до 0,6280{,}628. Снижение вероятности ложной тревоги здесь оплачивается более частым пропуском. Нормальная модель является предположением примера; свойства реальных измерений и способ отбора нужно проверять отдельно. О роли нормального распределения при измерениях читайте в материале о нормальном законе погрешности.

При чтении графика важно различать две кривые. Левая описывает поведение статистики, если среднее находится на границе нулевой гипотезы. Правая относится к одному заранее выбранному увеличению среднего. Их горизонтальная координата - значение статистики, а не отдельное наблюдение и не вероятность. Вероятность соответствует площади под кривой на нужном участке. Высота кривой в одной точке сама по себе не является вероятностью этой точки.

Порог одинаков для обеих ситуаций, поскольку правило решения устанавливают до того, как узнают истинное среднее. Он делит возможные значения на две области, но не делит людей или устройства на две группы. Если фактическое увеличение меньше выбранного для расчёта, распределения окажутся ближе и пропуск станет вероятнее. Если увеличение больше, они разойдутся, и мощность вырастет. Поэтому одну цифру пропуска нельзя переносить на все возможные размеры эффекта.

Мощность и размер выборки

Мощность при заданном эффекте - вероятность правильно отвергнуть H0H_0:

мощность=1−β.\text{мощность}=1-\beta.

Для первого варианта примера она составляет 1−0,361=0,6391-0{,}361=0{,}639, или около 63,9 %. Мощность зависит от величины эффекта, разброса, числа независимых наблюдений, уровня значимости и выбранного критерия. Поэтому выражение «мощность равна 80 %» без указания эффекта и остальных условий неполно.

Если сохранить α=0,05\alpha=0{,}05 и эффект 0,4σ0{,}4\sigma, но увеличить выборку с 25 до 100 независимых наблюдений, сдвиг среднего статистики вырастет с 2 до 4. Теперь β=Φ(1,645−4)≈0,0093\beta=\Phi(1{,}645-4)\approx0{,}0093, а мощность - около 99,1 %. Калькулятор воспроизводит эти значения. В другом исследовании тот же объём не гарантирует такой результат: например, меньший эффект труднее различить на фоне шума.

Увеличение числа записей само по себе не всегда означает увеличение числа независимых наблюдений. Повторные измерения одного объекта или данные из связанных групп требуют учёта зависимости. Принцип отбора и его последствия рассмотрены в статье про собственно-случайную выборку.

При проектировании исследования удобно начать с практически значимого изменения: например, определить минимальное увеличение производительности, которое оправдывает стоимость перенастройки. Затем оценивают разброс на основе доступной информации и задают желаемую мощность для этого изменения. Полученный объём выборки зависит от качества исходных предположений. Если реальный разброс больше ожидаемого, фактическая мощность при прочих равных будет ниже расчётной.

Высокая мощность не делает любой обнаруженный эффект полезным на практике. Она лишь описывает вероятность обнаружения конкретного эффекта по заданному правилу. После анализа полезно отдельно сообщить оценку величины изменения и её неопределённость, чтобы читатель мог оценить масштаб результата. Для этой цели используют, например, доверительный интервал; его построение должно соответствовать модели и дизайну исследования.

Как применять понятия в задаче

Сначала сформулируйте H0H_0 и альтернативу в терминах измеряемой величины. Затем для каждого решения опишите последствия в обычных словах. В задаче о настройке оборудования ошибка I рода означает ненужное внедрение, а ошибка II рода - отказ от действительно полезной настройки. В задаче о безопасности цена каждого промаха может быть иной, поэтому выбор уровня значимости зависит от контекста.

Далее установите уровень α\alpha до анализа, выберите модель и задайте эффект, который важно обнаружить. Только после этого осмысленно считать β\beta и мощность. Для нашей модели формула при эффекте Δ=μ1−μ0>0\Delta=\mu_1-\mu_0>0 такова:

β(μ1)=Φ(z1−α−Δnσ).\beta(\mu_1)=\Phi\left(z_{1-\alpha}-\frac{\Delta\sqrt n}{\sigma}\right).

Она относится к одному среднему и правостороннему тесту с известной σ\sigma. Для двух независимых групп формула и стандартная ошибка другие: их постановка рассмотрена в статье о проверке равенства двух средних. Подстановка этих данных в одновыборочный калькулятор даст неверный результат.

При планировании полезно сравнить несколько правдоподобных эффектов, а не полагаться на одну оценку. Для каждого значения можно рассчитать мощность и построить кривую: она покажет, какие эффекты выбранный дизайн обнаруживает достаточно часто. Если нужная мощность недостижима, пересматривают размер выборки или точность измерений с учётом доступных ресурсов. Важно сохранить заранее выбранное правило анализа: изменение порога после знакомства с результатами нарушает обещанный уровень ложных тревог. Расчёт мощности также не устраняет систематические ошибки измерения и смещение отбора: они требуют отдельных мер на этапе дизайна исследования.

Частые ошибки

  • Менять местами виды ошибок. Первый род относится к отвержению верной H0H_0, второй - к неотвержению неверной.
  • Считать β=1−α\beta=1-\alpha. Эти вероятности вычисляют при разных истинных значениях параметра; дополнение к β\beta - мощность для заданной альтернативы.
  • Объявлять отсутствие эффекта после незначимого результата. Он может быть малым, а исследование - недостаточно мощным.
  • Считать α\alpha вероятностью истинности H0H_0. Уровень значимости относится к повторным данным при верной нулевой гипотезе, а не к вероятности гипотезы после наблюдения данных.
  • Переносить расчёт на любую задачу. Направление альтернативы, неизвестный разброс и зависимость наблюдений меняют расчёт.

FAQ

Может ли ошибка второго рода быть равна нулю?

В некоторых идеализированных задачах - да, если распределения полностью разделены. В нашей нормальной модели с конечной выборкой их хвосты перекрываются, поэтому вероятность пропуска положительна.

Всегда ли уменьшение α\alpha ухудшает мощность?

Для одного и того же правостороннего критерия при фиксированных выборке и эффекте да: порог поднимается, а мощность падает. При одновременном изменении плана или объёма выборки результат может быть иным.

Что означает мощность 80 %?

При заданном истинном эффекте и выполнении модели критерий отвергнет H0H_0 примерно в 80 % повторных независимых экспериментов. Это не вероятность истинности эффекта после одного эксперимента.

Коротко

Ошибка I рода - ложное отвержение верной нулевой гипотезы; ошибка II рода - пропуск заданного реального эффекта. Их вероятности относятся к разным условиям. Мощность равна 1−β1-\beta, а её расчёт требует конкретного эффекта и модели данных.

Доверьте текст нейросети EssayAI

Открыть EssayAI

Бесплатно, на русском языке и без VPN

Читайте также

Доверительная вероятность и уровень значимости

Доверительная вероятность и уровень значимости

Как связаны доверительная вероятность и уровень значимости: формула, смысл ошибок, пример доверительного интервала среднего и проверка двусторонней гипотезы.

8 ноября 20268 минут
Уровень значимости и критическая область

Уровень значимости и критическая область

Как связаны уровень значимости и критическая область: односторонний и двусторонний критерии, критические значения, p-значение и пример расчёта Z-критерия.

8 ноября 20268 минут
Мощность статистического критерия: формула и расчёт

Мощность статистического критерия: формула и расчёт

Мощность статистического критерия 1-beta: как рассчитать через ошибку II рода, объём выборки и эффект-сайз. Формула для z-теста, целевой порог 80 %, примеры.

17 июня 20266 минут
Лемма Неймана-Пирсона: наиболее мощный критерий

Лемма Неймана-Пирсона: наиболее мощный критерий

Лемма Неймана-Пирсона простыми словами: что утверждает, как через отношение правдоподобия построить наиболее мощный критерий, найти критическую область и мощность теста.

11 июня 20268 минут
Критерий знаков непараметрический: расчёт и пример

Критерий знаков непараметрический: расчёт и пример

Непараметрический критерий знаков: как проверить медиану или изменения в парных данных, исключить нули и рассчитать точное двустороннее p-значение на примере.

8 ноября 20268 минут
Проверка гипотезы о среднем нормального распределения

Проверка гипотезы о среднем нормального распределения

Как проверить гипотезу о среднем нормального распределения: выбор Z- или t-критерия, формулы, пример расчёта, критические области и интерпретация результата.

8 ноября 20268 минут