Коэффициент множественной корреляции: формула и расчёт

Когда результат зависит не от одного фактора, а сразу от нескольких, обычная парная корреляция уже не описывает картину целиком. Нужна мера, которая показывает тесноту связи зависимой переменной $Y$ со всем набором факторов $X_1, X_2, \dots, X_p$ одновременно. Эту роль выполняет коэффициент множественной корреляции $R$. Ниже разберём, по каким формулам он считается для двух и более факторов, как связан с коэффициентом детерминации и регрессией, и что означают его значения. Калькулятор под введением посчитает $R$ по вашим парным коэффициентам, а дальше идёт пошаговый разбор формул.

Что измеряет множественный коэффициент

Коэффициент множественной корреляции $R$ - это мера тесноты линейной связи между зависимой переменной $Y$ и совокупностью объясняющих переменных $X_1, \dots, X_p$. По смыслу это обычный парный коэффициент корреляции, но между фактическими значениями $Y$ и теми значениями $\hat{Y}$, которые предсказывает множественная регрессия:

$R = r_{Y\hat{Y}}.$

Отсюда сразу два важных свойства. Во-первых, $R$ всегда лежит в диапазоне $0 \le R \le 1$ - в отличие от парного коэффициента, он не бывает отрицательным, потому что регрессия уже учитывает знаки связей по каждому фактору. Во-вторых, добавление нового фактора не может уменьшить $R$: множественная корреляция всегда не слабее самой сильной парной связи.

Рассчитать для своей задачи

Именно поэтому $R$ нельзя интерпретировать как «среднее из парных корреляций». Он показывает, насколько хорошо весь набор факторов вместе воспроизводит поведение результата.

Формула для двух факторов

Самый частый случай в учебных задачах - два фактора $X_1$ и $X_2$. Здесь множественный коэффициент выражается напрямую через три парных коэффициента корреляции: $r_{Yx_1}$, $r_{Yx_2}$ и $r_{x_1 x_2}$:

$R_{Y \cdot x_1 x_2} = \sqrt{\dfrac{r_{Yx_1}^2 + r_{Yx_2}^2 - 2\,r_{Yx_1}\,r_{Yx_2}\,r_{x_1 x_2}}{1 - r_{x_1 x_2}^2}}.$

Числитель собирает вклад обоих факторов и корректирует его на их взаимную связь, а знаменатель $1 - r_{x_1 x_2}^2$ учитывает мультиколлинеарность - насколько сами факторы дублируют друг друга. Если факторы независимы ($r_{x_1 x_2} = 0$), формула упрощается до $R = \sqrt{r_{Yx_1}^2 + r_{Yx_2}^2}$ - вклады просто складываются по теореме Пифагора.

Эта формула - рабочая лошадка большинства задач по эконометрике. Достаточно посчитать три парные корреляции, и множественный коэффициент собирается из них без построения самой регрессии.

Связь с коэффициентом детерминации

Квадрат множественного коэффициента - это коэффициент детерминации:

$R^2 = R_{Y \cdot x_1 \dots x_p}^2.$

$R^2$ показывает долю дисперсии зависимой переменной, объяснённую регрессией. Если $R = 0{,}9$, то $R^2 = 0{,}81$ - модель объясняет 81% разброса $Y$, а оставшиеся 19% приходятся на неучтённые факторы и случайность. Это прямой аналог того, как коэффициент корреляции связан с детерминацией в парной регрессии, только теперь факторов несколько.

Через дисперсии $R^2$ записывается так:

$R^2 = \dfrac{D_{\text{факт}}}{D_{\text{общ}}} = 1 - \dfrac{D_{\text{ост}}}{D_{\text{общ}}},$

где $D_{\text{факт}}$ - объяснённая (факторная) дисперсия, $D_{\text{ост}}$ - остаточная, $D_{\text{общ}}$ - общая. Эта запись удобна, когда результаты регрессии уже посчитаны: достаточно взять отношение сумм квадратов.

Формула через определители матрицы

При числе факторов больше двух прямой формулы через парные коэффициенты уже нет - её заменяет запись через определитель корреляционной матрицы. Пусть $\Delta r$ - определитель полной матрицы парных корреляций (включая строку и столбец $Y$), а $\Delta r_{11}$ - определитель её минора, полученного вычёркиванием строки и столбца, относящихся к $Y$. Тогда:

$R_{Y \cdot x_1 \dots x_p} = \sqrt{1 - \dfrac{\Delta r}{\Delta r_{11}}}.$

Рассчитать для своей задачи

Корреляционная матрица симметрична, по диагонали стоят единицы, вне диагонали - парные коэффициенты $r_{ij}$. Этот способ универсален: он работает для любого числа факторов и легко программируется. Для двух факторов он, разумеется, даёт тот же результат, что и формула из предыдущего раздела, - это удобный способ себя проверить.

Скорректированный коэффициент

У множественного $R^2$ есть неприятное свойство: он механически растёт при добавлении любого фактора, даже бесполезного. Чтобы честно сравнивать модели с разным числом факторов, используют скорректированный (нормированный) коэффициент детерминации:

$\bar{R}^2 = 1 - (1 - R^2)\,\dfrac{n - 1}{n - p - 1},$

где $n$ - число наблюдений, $p$ - число факторов. Поправка $\frac{n-1}{n-p-1}$ штрафует за каждый лишний фактор. Если новый фактор добавляет мало информации, $\bar{R}^2$ может даже снизиться - это сигнал, что фактор стоит убрать. Поэтому при отборе факторов в множественной регрессии ориентируются именно на скорректированный коэффициент, а не на «сырой» $R^2$.

Проверка значимости

Найденный $R$ нужно проверить на статистическую значимость - не получился ли он большим случайно на малой выборке. Для этого служит $F$-критерий Фишера:

$F = \dfrac{R^2}{1 - R^2} \cdot \dfrac{n - p - 1}{p}.$

Расчётное значение $F$ сравнивают с табличным $F_{\text{кр}}$ при числе степеней свободы $k_1 = p$ и $k_2 = n - p - 1$ и принятом уровне значимости (обычно $\alpha = 0{,}05$). Если $F > F_{\text{кр}}$, связь признаётся значимой: модель объясняет дисперсию не случайно. Это та же логика, по которой проверяется любой коэффициент корреляции, просто с поправкой на число факторов.

Интерпретация значений

Шкала тесноты связи для множественного коэффициента та же, что для парного, по шкале Чеддока:

• $R < 0{,}3$ - связь слабая, набор факторов почти не объясняет результат;
• $0{,}3 \le R < 0{,}5$ - умеренная;
• $0{,}5 \le R < 0{,}7$ - заметная;
• $0{,}7 \le R < 0{,}9$ - высокая (тесная);
• $R \ge 0{,}9$ - очень высокая.

При сравнении модели с одним и тем же $Y$, но разными наборами факторов корректнее ориентироваться не на сам $R$, а на скорректированный $\bar{R}^2$ и значимость по Фишеру. Если же нужно строго сопоставить два коэффициента из разных выборок, применяют специальную процедуру - сравнение двух коэффициентов корреляции через преобразование Фишера.

Частые ошибки

• Складывать парные корреляции. $R$ не равен сумме или среднему парных коэффициентов - нужна формула с поправкой на связь факторов между собой.
• Игнорировать мультиколлинеарность. Если факторы сильно коррелируют ($r_{x_1 x_2}$ близко к единице), знаменатель $1 - r_{x_1 x_2}^2$ стремится к нулю и оценка $R$ становится неустойчивой.
• Сравнивать модели по «сырому» $R^2$. Он всегда растёт с числом факторов; для сравнения берите скорректированный $\bar{R}^2$.
• Считать высокий $R$ доказательством причинности. Тесная корреляция говорит о связи, но не о том, что факторы причина результата.
• Забывать про значимость. На малой выборке даже $R = 0{,}8$ может оказаться статистически незначимым по $F$-критерию.

FAQ

Может ли коэффициент множественной корреляции быть отрицательным? Нет. По определению $0 \le R \le 1$, поскольку $R = r_{Y\hat{Y}}$, а предсказанные значения регрессии устроены так, что связь с фактическими $Y$ всегда неотрицательна. Отрицательными бывают только парные коэффициенты, входящие в формулу.

Чем множественный коэффициент отличается от частного? Множественный $R$ измеряет связь $Y$ со всеми факторами сразу. Частный коэффициент корреляции измеряет связь $Y$ с одним фактором при фиксированных (исключённых) остальных - он очищает связь от влияния прочих переменных.

Какую формулу использовать для трёх и более факторов? Прямой формулы через парные коэффициенты для трёх факторов уже нет. Используйте запись через определители корреляционной матрицы $R = \sqrt{1 - \Delta r / \Delta r_{11}}$ - она работает при любом числе факторов.

Коротко

Коэффициент множественной корреляции $R$ измеряет тесноту связи $Y$ со всем набором факторов и равен корреляции между фактическими и предсказанными значениями, $0 \le R \le 1$. Для двух факторов он считается по формуле через три парных коэффициента с поправкой на их взаимную связь; для большего числа факторов - через определители корреляционной матрицы. Квадрат $R^2$ - это коэффициент детерминации, доля объяснённой дисперсии. Для честного сравнения моделей берут скорректированный $\bar{R}^2$, а значимость проверяют по $F$-критерию Фишера.