Частный F-критерий: значимость фактора в регрессии

Множественная регрессия включает несколько объясняющих переменных, и возникает закономерный вопрос: действительно ли каждый фактор улучшает модель, или его можно исключить без потери качества? Общий F-критерий проверяет всю модель целиком, а частный F-критерий прицельно тестирует значимость одного регрессора или группы регрессоров. Это один из ключевых инструментов спецификации модели - проверьте свою задачу с помощью инструмента ниже.

Что такое частный F-критерий

Частный F-критерий (partial F-test) - это тест для сравнения двух вложенных регрессионных моделей: полной (unrestricted) и ограниченной (restricted). Ограниченная модель получается из полной исключением одного или нескольких регрессоров, то есть наложением ограничений вида $\beta_j = 0$.

Формально проверяется гипотеза:

$H_0:\, \beta_{j_1} = \beta_{j_2} = \dots = \beta_{j_q} = 0$

против альтернативы, что хотя бы один из $q$ коэффициентов не равен нулю. Если $H_0$ верна, исключённые переменные не несут информации сверх той, что уже учтена другими регрессорами.

Логика теста опирается на сравнение сумм квадратов остатков: если включение группы переменных существенно снижает RSS, то эти переменные значимы.

Рассчитать для своей задачи

Формула частного F-критерия

Обозначим:

• $RSS_{UR}$ - остаточная сумма квадратов полной модели (unrestricted)
• $RSS_R$ - остаточная сумма квадратов ограниченной модели (restricted)
• $q$ - число проверяемых ограничений (количество исключённых переменных)
• $k$ - число регрессоров в полной модели (без константы)
• $n$ - число наблюдений

Тогда частная F-статистика:

$F = \frac{(RSS_R - RSS_{UR})/q}{RSS_{UR}/(n - k - 1)}$

Числитель показывает среднее прирощение RSS при исключении $q$ переменных; знаменатель - несмещённую оценку дисперсии ошибки в полной модели $\hat{\sigma}^2 = RSS_{UR}/(n-k-1)$.

При истинности $H_0$ статистика $F$ следует F-распределению с $q$ и $(n-k-1)$ степенями свободы. Критическое значение $F_{\text{кр}}(q,\, n-k-1)$ находят по таблице F-распределения при выбранном уровне значимости $\alpha$.

Правило решения: если $F > F_{\text{кр}}$, гипотеза $H_0$ отвергается - проверяемые факторы совместно значимы.

Связь с коэффициентами детерминации

Когда во всех моделях одинаковое число наблюдений (что всегда выполнено при вложенности), формулу частного F-критерия можно переписать через $R^2$:

$F = \frac{(R^2_{UR} - R^2_R)/q}{(1 - R^2_{UR})/(n - k - 1)}$

Это эквивалентная запись, удобная, если в условии задачи даны коэффициенты детерминации, а не суммы квадратов. Поскольку $R^2 = 1 - RSS/TSS$ и $TSS$ одинакова для обеих моделей (зависимая переменная одна и та же), числители и знаменатели пересчитываются через $TSS$.

Пример: пусть $n = 50$, $k = 3$ (полная), $R^2_{UR} = 0{,}82$, $R^2_R = 0{,}75$ (исключили один фактор, $q = 1$).

$F = \frac{(0{,}82 - 0{,}75)/1}{(1 - 0{,}82)/(50 - 3 - 1)} = \frac{0{,}07}{0{,}18/46} = \frac{0{,}07}{0{,}00391} \approx 17{,}9$

При $\alpha = 0{,}05$ критическое значение $F(1,\, 46) \approx 4{,}05$. Так как $17{,}9 > 4{,}05$, фактор значим.

Частный F-критерий против t-критерия

Для одного регрессора ($q = 1$) частная F-статистика связана с t-статистикой соотношением $F = t^2$. Оба теста дают одинаковый вывод, и при $q = 1$ выбор между ними - дело вкуса: t-критерий удобнее, потому что допускает одностороннюю альтернативу ($\beta_j > 0$ или $\beta_j < 0$).

Принципиальное преимущество частного F-критерия возникает при $q \geq 2$: он тестирует группу ограничений одновременно. Последовательные t-тесты для каждого коэффициента в отдельности накапливают ошибку первого рода: если каждый тест проводить на уровне 5%, то при $q = 5$ переменных вероятность хотя бы одного ложного отклонения $H_0$ значительно превышает 5%. Частный F-критерий контролирует совместную ошибку.

Подробнее о роли обеих процедур рассказано в материалах по эконометрическому анализу.

Пошаговая процедура расчёта

1. Оценить полную модель и записать $RSS_{UR}$ (или $R^2_{UR}$) и степени свободы $n-k-1$.
2. Оценить ограниченную модель - исключить $q$ проверяемых переменных, записать $RSS_R$.
3. Вычислить F-статистику по формуле выше.
4. Найти критическое значение $F_{\text{кр}}(\alpha;\, q,\, n-k-1)$ из таблицы F-распределения или через функцию =F.ОБР.ПХ(alpha; q; n-k-1) в Excel.
5. Сравнить $F$ и $F_{\text{кр}}$: если $F > F_{\text{кр}}$, группа переменных совместно значима на уровне $\alpha$.

Для проверки точечного ограничения вида $\beta_2 = \beta_3$ (не обязательно равных нулю) нужно преобразовать модель к стандартному виду и применить ту же процедуру к преобразованной ограниченной модели.

Рассчитать для своей задачи

Интерпретация результата

Отклонение $H_0$ означает, что исключённые переменные совместно объясняют значимую долю вариации $y$ сверх вклада оставшихся регрессоров. Это не означает, что каждая из них значима по отдельности: одна может быть высокозначимой, остальные - нет, но суммарный вклад группы проходит порог.

Напротив, не отклонение $H_0$ (низкое $F$) говорит о том, что включение данных переменных не улучшает модель значимо. Принцип бережливости (Occam's razor) предписывает исключить их из спецификации. Следует, однако, помнить, что при мультиколлинеарности t-критерии и частный F-критерий могут давать противоречивые результаты: частный F-тест для целой группы мультиколлинеарных переменных нередко отклоняет $H_0$, тогда как каждый t-тест по отдельности - нет.

Применение в спецификации модели

Частный F-критерий используется в нескольких сценариях:

Проверка блока переменных. В макроэкономической регрессии ВВП включаются переменные денежной политики: денежная масса, процентная ставка, обменный курс. Частный F-тест проверяет, значим ли этот блок в целом, прежде чем углубляться в отдельные коэффициенты.

Сравнение линейной и полиномиальной спецификации. Полная модель содержит $x$, $x^2$, $x^3$; ограниченная - только $x$. Частный F-тест для $q = 2$ ограничений определяет, нужны ли нелинейные члены.

Тест структурных изменений (тест Чоу). Данные делятся на два периода, оцениваются раздельные и совместная регрессии. Разность RSS даёт F-статистику для гипотезы о стабильности коэффициентов - это тоже частный F-критерий в общей форме.

Исключение лаговых переменных (тест Грейнджера). В модели авторегрессии проверяется, улучшает ли добавление лагов переменной $z$ прогноз $y$. Нулевая гипотеза - коэффициенты при всех лагах $z$ равны нулю, что снова сводится к частному F-тесту.

Частые ошибки

• Перепутать $q$ и $k$. В знаменателе дроби всегда $n-k-1$ (от полной модели), в числителе - $q$ (число ограничений, а не регрессоров в ограниченной модели). Ошибка в степенях свободы меняет критическое значение и вывод.
• Использовать разные выборки. Полная и ограниченная модели должны оцениваться на идентичных наблюдениях. Если при добавлении переменной с пропусками $n$ уменьшается, RSS становятся несопоставимыми.
• Сравнивать $R^2$ напрямую без F-теста. $R^2$ не убывает при добавлении регрессоров по определению, поэтому полная модель всегда имеет $R^2 \geq R^2_R$. Значимость прироста должна подтверждаться именно F-тестом.
• Не проверять вложенность. Частный F-критерий применим только к вложенным (nested) моделям, где ограниченная получена из полной. Для невложенных моделей нужны информационные критерии (AIC, BIC) или специальные тесты (тест Дэвидсона-Маккиннона).
• Игнорировать степени свободы при малых $n$. При $n-k-1 < 20$ распределение F смещается влево, критические значения существенно выше табличных для больших выборок. Выводы в таких случаях особенно чувствительны к спецификации.

FAQ

Чем частный F-критерий отличается от общего? Общий F-критерий проверяет, значима ли регрессия в целом: $H_0: \beta_1 = \beta_2 = \dots = \beta_k = 0$. Частный F-критерий - подмножество этой задачи: проверяет, вносит ли конкретная группа из $q$ переменных значимый дополнительный вклад при уже включённых остальных $k-q$ регрессорах.

Как рассчитать $RSS_R$, если программа выдаёт только $R^2$? Из определения $R^2 = 1 - RSS/TSS$ следует $RSS = TSS \cdot (1 - R^2)$. TSS одинакова для обеих моделей: $TSS = \sum(y_i - \bar{y})^2$. Вычислив TSS из данных или из $RSS_{UR}$ и $R^2_{UR}$, найдите $RSS_R = TSS \cdot (1 - R^2_R)$.

Что делать, если F-критерий не отвергает $H_0$, но теория требует включить переменную? Содержательная теория имеет приоритет над механическим статистическим тестом при малых выборках. Если переменная теоретически обоснована, а критерий её не поддерживает из-за мультиколлинеарности или малого $n$, переменную оставляют с пометкой об ограничениях данных. Статистическая незначимость не равна экономической незначимости.

Коротко

Частный F-критерий сравнивает полную и ограниченную регрессию по разности RSS, нормированной на дисперсию ошибки. Статистика $F = (RSS_R - RSS_{UR})/q \div RSS_{UR}/(n-k-1)$ имеет F-распределение с $q$ и $n-k-1$ степенями свободы. Для одного фактора он эквивалентен квадрату t-критерия, но при $q \geq 2$ тестирует совместную значимость группы переменных без накопления ошибки первого рода. Главные ловушки - перепутать степени свободы, сравнивать модели на разных выборках и забыть проверить вложенность.