Нормальные уравнения МНК: множественная регрессия пошагово

Когда модель включает два и более фактора, аналитическую прямую уже не провести «на глаз»: нужна строгая процедура. Метод наименьших квадратов (МНК) превращает задачу минимизации суммы квадратов остатков в линейную систему, которую называют нормальными уравнениями. Из этой системы сразу видно, какие суммы нужно посчитать по выборке и как связаны коэффициенты модели. Разберём вывод системы, её структуру и решение для двухфакторного случая, а затем запишем компактную матричную форму. Попрактиковаться в составлении и решении своей системы поможет инструмент ниже.

Постановка задачи: что минимизирует МНК

Линейная модель с двумя факторами имеет вид:

$\hat Y_i = b_0 + b_1 X_{i1} + b_2 X_{i2}, \quad i = 1, \dots, n.$

Остаток $i$-го наблюдения - разность между фактом и предсказанием: $e_i = Y_i - \hat Y_i$. МНК требует минимизировать суммарную квадратическую ошибку:

$S(b_0, b_1, b_2) = \sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n} \bigl(Y_i - b_0 - b_1 X_{i1} - b_2 X_{i2}\bigr)^2 \to \min.$

Квадратичная форма $S$ выпукла и гладка, у неё единственный глобальный минимум. Условие минимума - обращение в нуль всех частных производных по $b_0$, $b_1$, $b_2$.

Рассчитать для своей задачи

Вывод нормальных уравнений

Берём частные производные функции $S$ по каждому коэффициенту и приравниваем к нулю.

По $b_0$:

$\frac{\partial S}{\partial b_0} = -2\sum_{i=1}^{n}\bigl(Y_i - b_0 - b_1 X_{i1} - b_2 X_{i2}\bigr) = 0.$

По $b_1$:

$\frac{\partial S}{\partial b_1} = -2\sum_{i=1}^{n} X_{i1}\bigl(Y_i - b_0 - b_1 X_{i1} - b_2 X_{i2}\bigr) = 0.$

По $b_2$:

$\frac{\partial S}{\partial b_2} = -2\sum_{i=1}^{n} X_{i2}\bigl(Y_i - b_0 - b_1 X_{i1} - b_2 X_{i2}\bigr) = 0.$

После раскрытия скобок и группировки по $b_0, b_1, b_2$ получаем систему трёх линейных уравнений - нормальную систему МНК:

$$\begin{aligned} b_0 \, n \;+\; b_1 \sum X_1 \;+\; b_2 \sum X_2 &= \sum Y, \\ b_0 \sum X_1 + b_1 \sum X_1^2 + b_2 \sum X_1 X_2 &= \sum X_1 Y, \\ b_0 \sum X_2 + b_1 \sum X_1 X_2 + b_2 \sum X_2^2 &= \sum X_2 Y. \end{aligned}$$

Все суммы берутся по $n$ наблюдениям ($\sum X_1 = \sum_{i=1}^n X_{i1}$ и т.д.). Это три уравнения с тремя неизвестными $b_0, b_1, b_2$ - классическая линейная система, решаемая любым стандартным методом.

Структура нормальной системы

Коэффициенты нормальной системы устроены симметрично. Запишем систему в матричном виде $A \, \mathbf{b} = \mathbf{c}$:

$A = \begin{pmatrix} n & \sum X_1 & \sum X_2 \\ \sum X_1 & \sum X_1^2 & \sum X_1 X_2 \\ \sum X_2 & \sum X_1 X_2 & \sum X_2^2 \end{pmatrix}, \quad \mathbf{c} = \begin{pmatrix} \sum Y \\ \sum X_1 Y \\ \sum X_2 Y \end{pmatrix}.$

Матрица $A$ симметрична ($A = A^\mathsf{T}$) и совпадает с произведением $X^\mathsf{T} X$, где $X$ - дизайн-матрица с первым столбцом из единиц. Правая часть $\mathbf{c} = X^\mathsf{T} y$. Поэтому нормальная система - это просто $X^\mathsf{T} X \, \mathbf{b} = X^\mathsf{T} y$.

Для модели с $k$ факторами матрица $A$ разрастается до $(k+1)\times(k+1)$, но симметрия и та же структура сохраняются: по диагонали стоят суммы квадратов, вне диагонали - суммы попарных произведений.

Пример расчёта с двумя факторами

Возьмём учебный набор из 6 наблюдений, где $X_1$ - объём рекламы (у.е.), $X_2$ - цена (у.е.), $Y$ - продажи (шт.):

Считаем вспомогательные суммы: $n = 6$, $\sum X_1 = 24$, $\sum X_2 = 41$, $\sum Y = 109$, $\sum X_1^2 = 106$, $\sum X_2^2 = 291$, $\sum X_1 X_2 = 159$, $\sum X_1 Y = 461$, $\sum X_2 Y = 729$.

Нормальная система принимает вид:

$$\begin{aligned} 6 b_0 + 24 b_1 + 41 b_2 &= 109, \\ 24 b_0 + 106 b_1 + 159 b_2 &= 461, \\ 41 b_0 + 159 b_1 + 291 b_2 &= 729. \end{aligned}$$

Решив методом Гаусса или Крамера (или через матрицу), получаем приближённые значения: $b_0 \approx 3{,}2$, $b_1 \approx 2{,}8$, $b_2 \approx -0{,}9$. Уравнение регрессии: $\hat Y = 3{,}2 + 2{,}8 X_1 - 0{,}9 X_2$. Знаки совпадают с интуицией: реклама повышает продажи, цена их снижает.

Рассчитать для своей задачи

Матричная форма: связь с нормальной системой

Если обозначить дизайн-матрицу $X$ (первый столбец - единицы, далее значения факторов) и вектор откликов $y$, то нормальная система записывается компактно:

$X^\mathsf{T} X \, \mathbf{b} = X^\mathsf{T} y.$

Когда матрица $X^\mathsf{T} X$ невырождена (факторы линейно независимы), решение единственно:

$\mathbf{b} = (X^\mathsf{T} X)^{-1} X^\mathsf{T} y.$

Это та же нормальная система, записанная через обратную матрицу. Все статистические пакеты (Python, R, Excel ЛИНЕЙН) вычисляют именно это выражение, только численно устойчивее - через QR- или SVD-разложение вместо явного обращения, что важно при плохой обусловленности. Подробнее о матричной технике - в разделе множественная регрессия: расчёт коэффициентов.

Число уравнений при $k$ факторах

Общее правило: модель с $k$ объясняющими переменными даёт нормальную систему из $k+1$ уравнений с $k+1$ неизвестными ($b_0, b_1, \dots, b_k$). Структура остаётся той же: в $j$-м уравнении роль «правого множителя» играет $X_j$ (или единица для уравнения по $b_0$), а в левой части стоят суммы всех попарных произведений факторов.

При $k=1$ система сворачивается в привычные два нормальных уравнения парного МНК. При $k=3$ добавляется четвёртое уравнение с суммами $\sum X_3$, $\sum X_1 X_3$, $\sum X_2 X_3$, $\sum X_3^2$, $\sum X_3 Y$.

Связь нормальных уравнений с остатками

Нормальные уравнения имеют удобную геометрическую интерпретацию: каждое из них выражает, что вектор остатков $\mathbf{e} = y - X\mathbf{b}$ ортогонален соответствующему столбцу матрицы $X$:

$X^\mathsf{T}(y - X\mathbf{b}) = \mathbf{0}.$

Первое уравнение ($j=0$, столбец единиц) означает $\sum e_i = 0$ - при наличии свободного члена остатки в среднем равны нулю. Второе и третье - $\sum X_{i1} e_i = 0$ и $\sum X_{i2} e_i = 0$ - факторы некоррелированы с остатками. Эти три свойства одновременно выполняются только в МНК-решении.

Частые ошибки

• Не включают столбец единиц при матричном расчёте: тогда первое нормальное уравнение пропадает, и свободный член $b_0$ не определяется корректно.
• Путают правую часть системы: в $j$-м уравнении справа стоит $\sum X_j Y$, а не $\sum X_j^2$ - типичная механическая ошибка при переписывании.
• Ошибаются в знаке при вычислении сумм: если $X_2$ - убывающий ряд, $\sum X_2 Y$ будет меньше, чем ожидается интуитивно, и коэффициент получится не того знака.
• Не проверяют невырожденность матрицы $A$: если определитель близок к нулю, система практически несовместна и коэффициенты будут огромными с нулевой интерпретационной ценностью.
• Решают систему «на одно уравнение»: из первого нормального уравнения выражают $b_0$ через $b_1$ и $b_2$, подставляют, но забывают подставить в третье уравнение и решают только двухуравневую подсистему - пропускается одно ограничение.

FAQ

Почему система называется «нормальной»? Термин восходит к латинскому «norma» (правило, перпендикуляр): каждое уравнение системы фиксирует ортогональность (нормальность) вектора остатков к одному из векторов-факторов. Гаусс вывел систему именно в таком геометрическом контексте в начале XIX века.

Можно ли обойтись без нормальных уравнений и сразу применить матричную формулу? Да, результат тот же: матричная формула $\mathbf{b} = (X^\mathsf{T} X)^{-1} X^\mathsf{T} y$ - это компактная запись решения нормальной системы. При ручном счёте для двух факторов проще выписать три уравнения и решить их методом Гаусса, чем вычислять обратную матрицу $3\times3$ вручную.

Как изменится система, если добавить третий фактор $X_3$? Добавится четвёртое уравнение, а в каждом из трёх существующих появится слагаемое $b_3 \sum X_j X_3$. Матрица $A$ расширяется с $3\times3$ до $4\times4$. Структура та же, объём вычислений растёт в кубе от числа факторов - именно поэтому для больших $k$ переходят к матричным алгоритмам, а не решают систему «в лоб».

Коротко

Нормальные уравнения МНК для множественной регрессии с $k$ факторами - это система из $k+1$ линейных уравнений, полученная приравниванием нулю частных производных суммы квадратов остатков. Коэффициенты системы - суммы квадратов и попарных произведений факторов, правая часть - суммы произведений факторов на отклик. В матричной форме система записывается как $X^\mathsf{T} X\,\mathbf{b} = X^\mathsf{T} y$, а её решение $\mathbf{b} = (X^\mathsf{T} X)^{-1} X^\mathsf{T} y$ - это вектор МНК-оценок. При наличии свободного члена остатки в МНК-решении всегда суммируются в нуль, а каждый фактор ортогонален вектору остатков.