EssayAI
Блог
Блог
Математика и алгоритмы

Оценка максимального правдоподобия: метод и пример

8 ноября 2026Время чтения: 8 минут
#максимальное правдоподобие#математическая статистика#оценка параметра#распределение бернулли#логарифм правдоподобия
Оценка максимального правдоподобия: метод и пример

Оценка максимального правдоподобия выбирает такой параметр статистической модели, при котором полученные данные имеют наибольшее правдоподобие. Например, если в десяти независимых испытаниях шесть раз наступил успех, естественный кандидат на вероятность успеха - 0,60{,}6. Метод позволяет вывести этот результат и объяснить, от каких предположений он зависит. В калькуляторе можно изменить число испытаний и успехов и увидеть, как перемещается максимум кривой.

Что такое функция правдоподобия

Пусть наблюдения x1,…,xnx_1,\ldots,x_n уже получены, а модель задаётся параметром θ\theta. Функцией правдоподобия называют совместную вероятность наблюдённых данных или их совместную плотность, рассматриваемую как функцию параметра:

L(θ;x1,…,xn)=f(x1,…,xn∣θ).L(\theta; x_1,\ldots,x_n)=f(x_1,\ldots,x_n\mid\theta).

При построении кривой данные фиксированы, а θ\theta меняется в допустимом множестве Θ\Theta. Оценка максимального правдоподобия, сокращённо ОМП, - любое значение, достигающее максимума:

θ^=arg max⁡θ∈ΘL(θ;x1,…,xn).\hat\theta=\operatorname*{arg\,max}_{\theta\in\Theta}L(\theta; x_1,\ldots,x_n).

Формула не гарантирует, что максимум существует или единственен: это нужно проверить для конкретной модели. В дискретном случае функция может быть вероятностью именно наблюдённой последовательности. Для непрерывных данных используется плотность; вероятность получить в точности заданное вещественное значение обычно равна нулю. Плотность может превышать единицу, поэтому её высоту нельзя непосредственно называть вероятностью точки.

Для шести успехов из десяти пробное значение вероятности проходит вдоль кривой и возвращается: высота максимальна при p = 0,6.

На анимации меняется только кандидат pp, а выборка остаётся прежней. Наибольшая высота выделяет значение, при котором именно эти данные лучше всего согласуются с моделью. Это не утверждение, что параметр случайно принимает выбранное значение с такой-то вероятностью.

Пример: шесть успехов в десяти испытаниях

Предположим, что каждое испытание независимо от остальных и вероятность успеха pp одинакова. Запишем успех как единицу, неудачу как ноль. Для заданной последовательности из n=10n=10 исходов, содержащей k=6k=6 единиц и четыре нуля, имеем

L(p)=p6(1−p)4,0≤p≤1.L(p)=p^6(1-p)^4,\qquad 0\le p\le1.

Порядок конкретной последовательности здесь не влияет на произведение. Если вместо неё наблюдается только число успехов, вероятность равна (106)p6(1−p)4\binom{10}{6}p^6(1-p)^4. Множитель (106)\binom{10}{6} не зависит от pp, поэтому положение максимума то же, хотя сами значения двух функций различаются. Сумма успехов в этой модели - пример достаточной статистики: для оценки pp порядок исходов дополнительной информации не даёт.

Для сравнения разных кандидатов удобно разделить L(p)L(p) на её максимум L(0,6)L(0{,}6). Так строятся график ниже и интерактив: высота пика равна единице, но сама эта высота не является вероятностью параметра. При p=0,6p=0{,}6 вероятность конкретной последовательности составляет 0,66⋅0,44≈0,00119440{,}6^6\cdot0{,}4^4\approx0{,}0011944; вероятность получить шесть успехов в любом порядке равна примерно 0,25080{,}2508.

Кривая относительного правдоподобия для шести успехов из десяти достигает максимума при вероятности 0,6
Кривая относительного правдоподобия для шести успехов из десяти достигает максимума при вероятности 0,6

Как найти максимум через логарифм

Для независимых наблюдений совместная функция равна произведению отдельных вероятностей или плотностей. Произведение удобно заменить суммой, взяв натуральный логарифм: он строго возрастает, поэтому на положительной части функции не меняет точку максимума. Для примера при 0<p<10<p<1 получаем

ℓ(p)=log⁡L(p)=6log⁡p+4log⁡(1−p).\ell(p)=\log L(p)=6\log p+4\log(1-p).

Приравняем производную к нулю:

ℓ′(p)=6p−41−p=0,p^=610=0,6.\ell'(p)=\frac{6}{p}-\frac{4}{1-p}=0,\qquad \hat p=\frac{6}{10}=0{,}6.

Вторая производная ℓ′′(p)=−6/p2−4/(1−p)2\ell''(p)=-6/p^2-4/(1-p)^2 отрицательна внутри интервала. Следовательно, стационарная точка - строгий максимум; на обоих концах исходная функция равна нулю. В общем случае 0<k<n0<k<n тот же расчёт даёт p^=k/n\hat p=k/n.

Если успехов нет, логарифм слагаемого klog⁡pk\log p на границе следует понимать через исходную функцию и её предел: максимум L(p)=(1−p)nL(p)=(1-p)^n достигается при p=0p=0. Если успехи во всех испытаниях, максимум L(p)=pnL(p)=p^n находится при p=1p=1. Эти крайние оценки не доказывают, что будущая неудача или успех невозможны: выборка конечна, и неопределённость остаётся.

Сравнение двух кандидатов также удобно проводить через отношение их правдоподобий. Например, подставим в формулу значения p=0,6p=0{,}6 и p=0,5p=0{,}5. Отношение показывает, во сколько раз наблюдённая последовательность вероятнее при первом кандидате, чем при втором. Оно сравнивает именно две заданные модели на одних данных; его нельзя читать как отношение вероятностей самих параметров. Нормировка графика на максимум сохраняет это отношение и облегчает сравнение высот.

Обратите внимание и на область поиска. Если задача заранее ограничивает вероятность, скажем, интервалом от нуля до одной второй, найденная без ограничения точка 0,60{,}6 недопустима. Для шести успехов из десяти функция возрастает до неё, поэтому на ограниченном интервале максимум будет на правой границе, при p=0,5p=0{,}5. Такие ограничения должны следовать из постановки или предметной модели, а не добавляться после просмотра ответа.

Общий порядок решения

При работе с другой моделью можно придерживаться одной схемы:

  1. Указать распределение, независимость или иную структуру зависимости, а также допустимые значения параметров.
  2. Подставить наблюдения в совместную вероятность либо плотность и получить L(θ)L(\theta).
  3. Если удобно, найти логарифм и решить уравнения для его производных внутри области параметров.
  4. Проверить границы, другие стационарные точки и существование глобального максимума.
  5. Записать оценку и объяснить её смысл с учётом модели и данных.

Уравнение производной само по себе даёт лишь кандидата: стационарная точка может оказаться минимумом, а максимум - лежать на границе. При нескольких параметрах решают систему уравнений или применяют численную оптимизацию; затем необходимо проверить, не зависит ли результат от начального приближения. При зависимых данных нельзя без обоснования перемножать одномерные плотности: нужна корректная совместная модель.

Пример для нормального распределения

Пусть X1,…,XnX_1,\ldots,X_n независимы и имеют нормальное распределение с неизвестными средним μ\mu и дисперсией σ2>0\sigma^2>0. Если наблюдения не все совпадают, совместное максимизирование даёт

μ^=xˉ=1n∑i=1nxi,σ^ОМП2=1n∑i=1n(xi−xˉ)2.\hat\mu=\bar x=\frac1n\sum_{i=1}^n x_i,\qquad \hat\sigma^2_{\text{ОМП}}=\frac1n\sum_{i=1}^n(x_i-\bar x)^2.

Здесь делитель равен nn, а не n−1n-1. Второй вариант - исправленная выборочная дисперсия, несмещённая при стандартных предположениях; ОМП дисперсии при неизвестном среднем смещена вниз в конечной выборке. Если же все наблюдения равны, при μ=xˉ\mu=\bar x плотность неограниченно растёт при σ2→0\sigma^2\to0: в области σ2>0\sigma^2>0 конечного максимума нет. Это наглядный пример того, зачем проверять существование оценки.

Другой подход - метод моментов, который приравнивает выборочные моменты теоретическим. Иногда он приводит к тем же формулам, но совпадение не гарантировано: методы оптимизируют разные условия.

Что оценка говорит о точности

ОМП - точечный ответ. Один максимум не показывает, насколько широкий диапазон параметров совместим с данными. При одинаковой доле успехов 6/106/10 и 60/10060/100 максимум находится в 0,60{,}6, но кривая для большего числа независимых испытаний уже: удалённые от максимума значения получают меньшее относительное правдоподобие. Можно проверить это в калькуляторе.

При подходящих условиях ОМП обладает полезными асимптотическими свойствами: по мере увеличения выборки оценка может сходиться к истинному параметру, а её распределение после нормировки - приближаться к нормальному. Это не безусловная гарантия для произвольной модели. Понятие сходимости разобрано отдельно в статье о состоятельной оценке; связь информации и точности - в материале о неравенстве Крамера - Рао.

Практический пример помогает увидеть роль предположений. Если испытания - ответы одного человека на похожие вопросы, усталость или обучение могут изменить вероятность успеха от вопроса к вопросу. Тогда доля верных ответов остаётся описанием этой последовательности, но уже не обязательно является ОМП одного общего параметра независимой модели Бернулли. Сначала стоит понять, как собирались данные, и только затем выбирать функцию для оптимизации. Аналогично повторные измерения одного объекта могут быть связаны между собой: увеличение их числа не всегда даёт столько же информации, сколько такое же число независимых наблюдений.

Для проверки вывода для модели Бернулли можно обратиться к учебному материалу Университета штата Пенсильвания, где отдельно сравниваются правдоподобия последовательности и числа успехов.

Для практического вывода дополнительно строят доверительный интервал или используют другие методы оценки неопределённости. Их применимость тоже зависит от модели, объёма выборки и положения параметра, особенно около границ 00 и 11. Кривая правдоподобия помогает сравнивать кандидатов, но сама по себе не является распределением вероятности параметра.

Иногда оптимизация даёт сразу несколько максимизирующих значений. Тогда данных и выбранной модели недостаточно, чтобы по этому правилу выделить единственный ответ. В других задачах разные значения параметра задают одинаковое распределение наблюдений: это проблема идентифицируемости, и её не исправить простым увеличением точности вычислений. Поэтому после получения числа полезно спросить, действительно ли разные кандидаты порождают различимые прогнозы и есть ли у модели смысл для способа сбора выборки.

Частые ошибки

  • Путать вероятность данных с вероятностью параметра. В частотной постановке параметр фиксирован, а данные случайны; для распределения параметра нужна другая постановка, например байесовская.
  • Забывать предположения. Если испытания зависимы или вероятность меняется, формула pk(1−p)n−kp^k(1-p)^{n-k} может не описывать выборку.
  • Останавливаться на производной. Проверьте максимум, допустимую область и её границы; иногда решение не существует.
  • Считать ОМП всегда несмещённой. Пример нормальной дисперсии показывает, что максимальное правдоподобие и несмещённость - разные свойства.

FAQ

Почему можно максимизировать логарифм?

Натуральный логарифм строго возрастает: для положительных значений функции он сохраняет их порядок. Поэтому максимум LL и максимум log⁡L\log L достигаются при одном параметре. Нулевые значения и границы проверяют отдельно или через предел.

Может ли оценка быть равна нулю или единице?

Да. В модели Бернулли при отсутствии успехов оценка равна нулю, а при одних успехах - единице. Это максимум на границе, но не доказательство абсолютной невозможности другого исхода.

Чем ОМП отличается от байесовской оценки?

ОМП максимизирует правдоподобие как функцию фиксированного параметра. Байесовский подход объединяет правдоподобие с априорным распределением и получает апостериорное распределение; его максимум может отличаться от ОМП.

Коротко

Метод максимального правдоподобия выбирает параметр, при котором наблюдённые данные наиболее правдоподобны в заданной модели. Для независимых испытаний Бернулли оценка равна доле успехов k/nk/n; логарифм упрощает вывод, но не заменяет проверку границ и предположений. Для оценки неопределённости одной точки недостаточно.

Доверьте текст нейросети EssayAI

Открыть EssayAI

Бесплатно, на русском языке и без VPN

Читайте также

Информация Фишера: формула и пример расчёта

Информация Фишера: формула и пример расчёта

Что такое информация Фишера и как она связана с правдоподобием: вывод формулы для испытаний Бернулли, подробный числовой пример и граница Крамера-Рао для оценки вероятности.

8 ноября 20268 минут
Состоятельная оценка параметра: определение и проверка

Состоятельная оценка параметра: определение и проверка

Состоятельная оценка параметра: строгое определение через сходимость по вероятности, разница со смещённостью, достаточные условия, закон больших чисел и примеры проверки оценок.

1 апреля 20266 минут
Критерий Лиллиефорса: проверка нормальности выборки

Критерий Лиллиефорса: проверка нормальности выборки

Критерий Лиллиефорса проверяет нормальность при неизвестных среднем и дисперсии. Разбираем статистику D, расчёт на примере, критические значения и вывод.

8 ноября 20268 минут
Критерий Шапиро-Уилка: проверка нормальности

Критерий Шапиро-Уилка: проверка нормальности

Как работает критерий Шапиро-Уилка, что означают статистика W и p-значение, как проверить выборку и правильно сформулировать вывод на числовом примере.

8 ноября 20268 минут
Достаточная статистика: что это и критерий факторизации

Достаточная статистика: что это и критерий факторизации

Достаточная статистика простыми словами: строгое определение через условное распределение и критерий факторизации Неймана-Фишера, разбор связи с правдоподобием и примеры.

13 мая 20267 минут
Метод моментов: оценивание параметров распределения

Метод моментов: оценивание параметров распределения

Метод моментов для оценивания параметров: приравниваем выборочные и теоретические моменты, решаем систему. Алгоритм, примеры для нормального и показательного распределений, свойства оценок.

8 мая 20267 минут