Информация Фишера: формула и пример расчёта

Информация Фишера измеряет, насколько распределение наблюдений чувствительно к изменению неизвестного параметра. Если небольшое изменение параметра заметно меняет вероятности возможных данных, различать близкие значения обычно легче. Это свойство модели и плана наблюдений, а не количество битов в конкретном файле.
Начнём с независимых испытаний с двумя исходами. В калькуляторе можно менять их число и вероятность успеха: он покажет информацию, границу для дисперсии несмещённой оценки и форму правдоподобия для учебной выборки.
Что измеряет информация Фишера
Пусть распределение данных зависит от неизвестного числа . Исследователь сравнивает возможные значения параметра по функции правдоподобия : при зафиксированных данных она показывает, насколько каждое значение согласуется с наблюдением. Если при малом сдвиге правдоподобие быстро меняется, близкие значения параметра легче отличить друг от друга.
Информация Фишера формализует эту чувствительность, усредняя её по возможным данным при заданном значении . Она локальна: её значение может различаться в разных точках параметрического пространства. Информация относится к конкретному параметру и модели, поэтому число без указания модели и параметра интерпретировать нельзя.
На видео показано семейство учебных кривых с одинаковой долей успехов; промежуточная плавная форма иллюстрирует переход между выборками. Для реального эксперимента число наблюдений и успехов целое, а доля обычно меняется от выборки к выборке. Кривая сама по себе не является распределением вероятности параметра.
Формула через функцию вклада
Для одного наблюдения с вероятностью или плотностью определим вклад (score) как производную логарифма правдоподобия:
Информация - математическое ожидание квадрата вклада при том же параметре:
Квадрат не даёт положительным и отрицательным изменениям сократить друг друга. При стандартных условиях регулярности средний вклад равен нулю, поэтому информация совпадает и с его дисперсией. Ещё одна запись использует вторую производную:
Равенство требует условий, позволяющих дифференцировать под знаком интеграла или суммы; в частности, его нельзя применять механически к любой модели с зависящей от параметра областью возможных значений. Формулы и эти связи разобраны в лекции Стэнфордского университета.
Для независимых одинаково распределённых наблюдений вклады складываются. Их средние равны нулю, поэтому информация всей выборки равна . Для зависимых данных простое умножение на вообще говоря неверно: нужно учитывать совместное распределение.
Вывод для испытаний Бернулли
В схеме Бернулли наблюдение равно единице при успехе и нулю при неудаче; вероятность успеха лежит строго между нулём и единицей. Вероятность отдельного исхода записывается как
Логарифмируя и дифференцируя по , получаем вклад:
Дисперсия равна . Следовательно, средний квадрат числителя равен этой величине и для одного наблюдения
Это ожидаемая информация относительно параметра , а не функция конкретного числа успехов. Если параметр неизвестен, при практической оценке в неё иногда подставляют выборочную долю, отдельно оговаривая такую замену. На границах и данная формула и обычные условия регулярности не применимы.
Посмотрим на два возможных значения вклада при . Успех даёт , неудача - . Это не две оценки неизвестного параметра: вклад показывает наклон логарифма правдоподобия для конкретного исхода. Положительный наклон при успехе соответствует тому, что немного большая вероятность успеха делает этот исход более правдоподобным; отрицательный наклон при неудаче действует в другую сторону.
Чтобы получить информацию, нужно возвести оба вклада в квадрат и усреднить с вероятностями соответствующих исходов. В нашем случае это на одно испытание. Умножение на 20 даёт уже указанное значение . Такая проверка полезна, когда формула кажется абстрактной: она явно показывает и возможные данные, и веса, с которыми модель их учитывает.
Для всей выборки возможные суммы вкладов различны, но при независимости их дисперсии складываются. При этом средний вклад равен нулю: положительный и отрицательный наклоны компенсируются в среднем по повторениям эксперимента. Нулевой средний наклон не означает нулевую информацию, поскольку измеряется средний квадрат, сохраняющий величину отклонений в обе стороны.
Пример: 20 и 80 испытаний
Пусть модель задаёт . Для независимых испытаний информация и обратная ей величина равны:
При тех же и получаем и . Число наблюдений выросло в четыре раза, информация тоже выросла в четыре раза, а обратная величина уменьшилась в четыре раза. Это сравнение относится именно к независимым одинаковым испытаниям и одной параметризации.

На графике первая гипотетическая выборка содержит 8 успехов из 20, вторая - 32 из 80. Обе имеют максимум при . Вблизи максимума вторая кривая убывает быстрее. Для таких выборок наблюдаемая отрицательная вторая производная логарифма правдоподобия в максимуме совпадает с приведённой ожидаемой информацией; в произвольной точке и для произвольных данных это не обязательно так. Нормировка графика делит каждое правдоподобие на собственный максимум, а не превращает его в плотность параметра.
Связь с точностью оценки
Для несмещённой оценки параметра при условиях регулярности неравенство Крамера - Рао даёт нижнюю границу:
В нашем примере дисперсия несмещённой оценки не может быть меньше при и . Выборочная доля успехов несмещённа, а её дисперсия равна : она достигает границы для этой модели. Это дисперсия по многократно повторённым выборкам, а не гарантированная ошибка одной оценки.
Большая информация означает меньшую теоретическую границу в выбранной параметризации, но не доказывает, что произвольный метод её достигает. Несмещённость также отличается от состоятельности оценки: первая касается среднего оценки при фиксированном объёме, вторая - её поведения при росте выборки.
Как использовать результат на практике
Сначала запишите, что именно случайно и какой параметр требуется оценить. Затем выпишите совместную функцию вероятности или плотность и область возможных данных. Проверьте независимость наблюдений, после чего найдите производную логарифма по нужному параметру и усредните её квадрат по модели. Для непрерывной случайной величины ожидание вычисляют интегралом, для дискретной - суммой по исходам.
После вычисления полезно проверить размерность и граничные случаи. Например, при фиксированном удвоение числа независимых испытаний должно удвоить информацию. Если ответ зависит от случайного числа успехов, проверьте, не получена ли вместо ожидаемой информации наблюдаемая кривизна. В прикладной задаче модель может быть приближённой: зависимость испытаний или неодинаковые вероятности успеха меняют вывод, поэтому номинальная граница из простой формулы не заменяет проверку предпосылок.
Информация также помогает сравнивать планы эксперимента до сбора данных. Например, при заданном предполагаемом параметре можно сравнить независимые измерения с разной точностью. Но сравнение справедливо, только если планы рассматриваются для одной и той же величины и учтены их ограничения. Информация описывает локальную различимость моделей, а не устраняет систематическую ошибку измерительного прибора.
От чего зависит величина информации
При известной дисперсии одного нормального наблюдения информация о среднем равна , а для независимых наблюдений - . Чем меньше разброс измерений, тем заметнее тот же сдвиг среднего. Эта формула относится к информации именно о среднем при известной дисперсии; для других неизвестных параметров расчёт меняется.
Значение зависит и от единиц измерения, и от выбора параметра. Если , то при гладкой обратимой замене . Поэтому сравнение чисел для и для его логита без пересчёта не имеет прямого смысла. При нескольких параметрах используют матрицу информации, учитывающую и их взаимосвязь; в обратной матрице отражаются ограничения на совместную точность оценивания.
Частые ошибки
- Путать информацию с наблюдённой кривизной. Первая усредняет по возможным данным; вторая вычисляется по конкретной выборке.
- Умножать на без проверки независимости. При зависимости нужна информация совместной модели.
- Считать ошибкой любой оценки. Это граница дисперсии для несмещённых оценок при условиях теоремы, а не универсальная погрешность.
- Принимать нормированное правдоподобие за вероятность параметра. Для вероятностного распределения параметра нужна дополнительная байесовская постановка.
FAQ
Почему информация не отрицательна? Это ожидание квадрата вклада, когда ожидание определено. В вырожденных случаях она может равняться нулю.
Почему при около нуля формула растёт? Для параметра вероятности малое абсолютное изменение может сильно менять вероятность редкого успеха. На самих границах стандартный вывод неприменим, а сравнение зависит от параметризации.
Это то же самое, что распределение Фишера? Нет. Распределение Фишера используется, например, для статистик отношений дисперсий; информация Фишера характеризует чувствительность модели к параметру.
Коротко
Информация Фишера - ожидаемый квадрат производной логарифма правдоподобия по параметру. Для независимых испытаний Бернулли она равна . Вместе с условиями регулярности она связывает модель наблюдений с нижней границей дисперсии несмещённой оценки.
Читайте также

Оценка максимального правдоподобия: метод и пример
Как найти оценку максимального правдоподобия: функция и логарифм правдоподобия, вывод для испытаний Бернулли, пример нормального распределения и границы метода.

Состоятельная оценка параметра: определение и проверка
Состоятельная оценка параметра: строгое определение через сходимость по вероятности, разница со смещённостью, достаточные условия, закон больших чисел и примеры проверки оценок.

Критерий Лиллиефорса: проверка нормальности выборки
Критерий Лиллиефорса проверяет нормальность при неизвестных среднем и дисперсии. Разбираем статистику D, расчёт на примере, критические значения и вывод.

Критерий Шапиро-Уилка: проверка нормальности
Как работает критерий Шапиро-Уилка, что означают статистика W и p-значение, как проверить выборку и правильно сформулировать вывод на числовом примере.

Достаточная статистика: что это и критерий факторизации
Достаточная статистика простыми словами: строгое определение через условное распределение и критерий факторизации Неймана-Фишера, разбор связи с правдоподобием и примеры.

Метод моментов: оценивание параметров распределения
Метод моментов для оценивания параметров: приравниваем выборочные и теоретические моменты, решаем систему. Алгоритм, примеры для нормального и показательного распределений, свойства оценок.