Апостериорная вероятность гипотезы: формула Байеса

Апостериорная вероятность гипотезы - это пересчитанная вероятность причины после того, как мы увидели её следствие. До опыта у нас есть набор взаимоисключающих гипотез и их априорные вероятности; формула Байеса берёт результат наблюдения и превращает эти исходные веры в новые, уже учитывающие данные. Ниже разберём, из чего собрана формула, и сразу дадим калькулятор, в котором видно, как одно наблюдение перераспределяет вероятности между гипотезами.

Что такое апостериорная вероятность гипотезы

Пусть событие $A$ может произойти только вместе с одной из несовместных гипотез $H_1, H_2, \dots, H_n$, которые образуют полную группу: $\sum_i P(H_i) = 1$. Числа $P(H_i)$ - это априорные вероятности гипотез, наше знание до опыта. Условные вероятности $P(A \mid H_i)$ говорят, насколько каждая гипотеза «ожидает» событие $A$.

Когда событие $A$ наступило, нас интересует обратный вопрос: какова теперь вероятность каждой гипотезы? Эта пересчитанная величина $P(H_i \mid A)$ и называется апостериорной вероятностью гипотезы. Приставка «апостериори» (от лат. a posteriori - «из последующего») подчёркивает, что число получено уже после наблюдения, в отличие от «априори» - «из предшествующего».

Рассчитать для своей задачи

Ключевая идея: наблюдение не отменяет гипотезы, а перевешивает их. Гипотеза, которая лучше объясняет случившееся (выше $P(A \mid H_i)$), получает прибавку к вероятности, а та, при которой событие маловероятно, - теряет вес.

Формула Байеса для гипотез

Сама формула апостериорной вероятности выводится из двух более простых фактов. Первый - теорема умножения вероятностей: совместная вероятность гипотезы и события равна $P(H_i)\,P(A \mid H_i)$, и она же равна $P(A)\,P(H_i \mid A)$. Второй - формула полной вероятности, которая собирает вероятность самого события $A$ по всем гипотезам:

$$P(A) = \sum_{k=1}^{n} P(H_k)\,P(A \mid H_k).$$

Приравняв два выражения для совместной вероятности и выразив искомое, получаем формулу Байеса:

$$P(H_i \mid A) = \frac{P(H_i)\,P(A \mid H_i)}{\sum_{k=1}^{n} P(H_k)\,P(A \mid H_k)}.$$

В числителе - вклад одной гипотезы в событие, в знаменателе - суммарный вклад всех гипотез, то есть полная вероятность $P(A)$. Поэтому апостериорная вероятность гипотезы - это доля «её» части в общем объёме события. Формула полной вероятности здесь не вспомогательный шаг, а знаменатель: без неё дробь не нормируется. Подробнее о том, как раскрывается событие через несовместные исходы, - в разборе условной вероятности с примером.

Разбор множителей: априорная и правдоподобие

В формуле Байеса полезно различать два сомножителя в числителе, потому что они отвечают за разное.

• Априорная вероятность $P(H_i)$ - это исходный вес гипотезы, наше знание до данных. Иногда она задаётся условием (доли цехов, распределение урн), иногда берётся из равноправия гипотез: если выбор «наугад», то $P(H_i) = 1/n$.
• Правдоподобие $P(A \mid H_i)$ - насколько хорошо гипотеза объясняет наблюдение. Это не вероятность гипотезы и не апостериорная вероятность: правдоподобия по разным гипотезам в сумму не складываются, ведь они условны при разных условиях.

Апостериорная вероятность пропорциональна произведению этих двух чисел: $P(H_i \mid A) \propto P(H_i)\,P(A \mid H_i)$. Знаменатель лишь приводит набор произведений к сумме, равной единице. Поэтому формулу часто читают как «апостериорное ∝ априорное × правдоподобие».

Рассчитать для своей задачи

Из этого следует неинтуитивный, но важный вывод: редкая гипотеза с высоким правдоподобием может проиграть частой гипотезе с умеренным правдоподобием - и наоборот. Именно поэтому в задачах на болезни и тесты результат часто удивляет: при редкой болезни даже точный тест даёт невысокую апостериорную вероятность.

Запись через отношение шансов

Когда гипотез всего две, формулу удобно переписать в виде отношения шансов - так нагляднее видно, во сколько раз наблюдение меняет соотношение вер. Поделим апостериорную вероятность одной гипотезы на другую:

$$\frac{P(H_1 \mid A)}{P(H_2 \mid A)} = \frac{P(H_1)}{P(H_2)} \cdot \frac{P(A \mid H_1)}{P(A \mid H_2)}.$$

Знаменатель $P(A)$ сократился, потому что он общий для обеих гипотез. Левая часть - апостериорные шансы, первый множитель справа - априорные шансы, второй - отношение правдоподобий (его называют байесовским фактором). Формула читается просто: «апостериорные шансы равны априорным, умноженным на байесовский фактор». Если фактор больше единицы, наблюдение сдвигает веру в пользу первой гипотезы; если меньше - в пользу второй. Эта запись особенно удобна, когда саму полную вероятность считать не хочется: достаточно сравнить, насколько по-разному гипотезы объясняют одно и то же событие.

Пошаговый пример: три источника детали

Пусть деталь попадает к нам от одного из трёх поставщиков. Первый даёт $P(H_1) = 0{,}5$ всей продукции, второй $P(H_2) = 0{,}3$, третий $P(H_3) = 0{,}2$. Доля брака у них разная: $P(A \mid H_1) = 0{,}01$, $P(A \mid H_2) = 0{,}03$, $P(A \mid H_3) = 0{,}06$, где $A$ - «деталь бракованная». Взятая наугад деталь оказалась бракованной. От какого поставщика она вероятнее всего?

Шаг 1 - совместные вероятности (числители):

$$\begin{aligned} P(H_1)\,P(A \mid H_1) &= 0{,}5 \cdot 0{,}01 = 0{,}005, \\ P(H_2)\,P(A \mid H_2) &= 0{,}3 \cdot 0{,}03 = 0{,}009, \\ P(H_3)\,P(A \mid H_3) &= 0{,}2 \cdot 0{,}06 = 0{,}012. \end{aligned}$$

Шаг 2 - полная вероятность брака (знаменатель):

$$P(A) = 0{,}005 + 0{,}009 + 0{,}012 = 0{,}026.$$

Шаг 3 - апостериорные вероятности гипотез:

$$P(H_1 \mid A) = \frac{0{,}005}{0{,}026} \approx 0{,}19, \quad P(H_2 \mid A) = \frac{0{,}009}{0{,}026} \approx 0{,}35, \quad P(H_3 \mid A) \approx 0{,}46.$$

Хотя априори первый поставщик был самым крупным (50%), после обнаружения брака наиболее вероятным источником стал третий: его высокая доля брака перевесила небольшую исходную долю. Сумма $0{,}19 + 0{,}35 + 0{,}46 = 1$ - проверка сошлась. Поиграйте этими числами в калькуляторе выше: видно, что увеличение доли брака у источника поднимает его апостериорную вероятность даже при малой априорной доле.

Где встречается апостериорная вероятность

Формула Байеса работает везде, где есть конкурирующие объяснения наблюдаемого факта.

• Медицинская диагностика: гипотезы «болен / здоров», событие - положительный тест. Апостериорная вероятность болезни сильно зависит от её распространённости (априорной вероятности).
• Контроль качества: какой из цехов вероятнее всего выпустил бракованную партию.
• Машинное обучение: наивный байесовский классификатор присваивает объекту класс с наибольшей апостериорной вероятностью.
• Проверка версий и экспертиза: какая из взаимоисключающих причин вероятнее при имеющихся уликах.

Во всех случаях гипотезы должны образовывать полную группу несовместных событий - иначе знаменатель не равен $P(A)$ и нормировка ломается. Если гипотез всего две (например, «выполняется $H$» и «не выполняется»), формула сводится к частному случаю, близкому к разбору статистических гипотез: нулевой и альтернативной.

Частые ошибки

• Путают $P(H_i \mid A)$ и $P(A \mid H_i)$. Это разные условные вероятности: апостериорная вероятность гипотезы и правдоподобие наблюдения. Их перестановка - самая частая ошибка во всей теме.
• Берут неполную группу гипотез. Если $\sum_i P(H_i) \neq 1$ или гипотезы пересекаются, формула полной вероятности в знаменателе неверна, и апостериорные вероятности не складываются в единицу.
• Складывают правдоподобия. $P(A \mid H_i)$ по разным гипотезам в сумму не объединяются - складываются только совместные вероятности $P(H_i)\,P(A \mid H_i)$.
• Забывают про априорную вероятность. Сравнивают гипотезы только по правдоподобию и игнорируют исходные доли $P(H_i)$ - тогда редкая, но «точная» гипотеза кажется вероятнее, чем она есть.
• Округляют слишком рано. Промежуточные произведения малы; при раннем округлении знаменатель смещается и итог уезжает на проценты.

FAQ

Чем апостериорная вероятность отличается от априорной? Априорная вероятность $P(H_i)$ - это вес гипотезы до опыта, апостериорная $P(H_i \mid A)$ - после того как наблюдено событие $A$. Формула Байеса - это правило перехода от первой ко второй: она домножает априорную вероятность на правдоподобие и нормирует результат.

Что считать гипотезами, а что событием? Гипотезы $H_i$ - взаимоисключающие причины или состояния, образующие полную группу (источник детали, наличие болезни, выбранная урна). Событие $A$ - наблюдаемое следствие (брак, положительный тест, вынутый шар). Считаем вероятность причины по наблюдённому следствию.

Можно ли применять формулу повторно? Да. Апостериорная вероятность после первого наблюдения становится априорной для следующего. Так байесовское обновление накапливает данные: каждое новое наблюдение последовательно уточняет вероятности гипотез.

Коротко

Апостериорная вероятность гипотезы $P(H_i \mid A)$ - это вероятность причины, пересчитанная после наблюдения события. По формуле Байеса она равна произведению априорной вероятности $P(H_i)$ на правдоподобие $P(A \mid H_i)$, делённому на полную вероятность события $P(A) = \sum_k P(H_k)\,P(A \mid H_k)$. Главное - не путать $P(H_i \mid A)$ с $P(A \mid H_i)$, брать полную группу несовместных гипотез и помнить, что сумма всех апостериорных вероятностей равна единице.