Как построить корреляционное поле: пример решения

Дано: десять рабочих, признак $x$ - стаж в годах (1, 2, 3, 4, 5, 6, 7, 8, 9, 10), признак $y$ - месячная выработка в тыс. руб. (12, 16, 15, 22, 23, 24, 29, 30, 36, 9). Найти: корреляционное поле, форму и тесноту связи, выброс.

Корреляционное поле строится в три действия: разметить оси под размах данных, нанести каждую пару $(x_i;\ y_i)$ одной точкой и прочитать получившееся облако. Ответ: девять точек ложатся вдоль возрастающей прямой, десятая (10; 9) резко отскакивает вниз и оказывается выбросом. Из-за неё коэффициент корреляции по всем наблюдениям равен всего $r = 0{,}448$, а по девяти очищенным - $r = 0{,}980$. Калькулятор сверху перестраивает поле под любое значение выработки последнего рабочего и сразу показывает, что делает с $r$ одна точка.

Решение по шагам

Дано. Парные наблюдения по 10 рабочим цеха:

Найти: корреляционное поле, направление и тесноту связи, наблюдение-выброс.

Шаг 1. Убедиться, что наблюдения парные. Поле строят только по парам, снятым с одного объекта: стаж и выработка обязаны относиться к одному рабочему. Если столбцы отсортированы независимо, пары разрушены и облако на чертеже будет артефактом сортировки.

Шаг 2. Выбрать оси. По горизонтали откладывают факторный признак (тот, который объясняет) - здесь стаж $x$, по вертикали результативный $y$, выработку. Перепутанные оси не меняют $r$, но чертёж перестаёт отвечать на вопрос задачи.

Шаг 3. Подобрать масштаб. Смотрим на размах каждого признака: $x$ меняется от 1 до 10, $y$ - от 9 до 36. Значит, горизонтальную ось размечаем от 0 до 11 с шагом 1, вертикальную - от 5 до 40 с шагом 5. Оси корреляционного поля не обязаны начинаться с нуля: цель чертежа - увидеть форму облака, а не сравнить абсолютные величины. Масштаб подбирают так, чтобы облако заняло почти всё поле и вписалось в квадрат: растянутый чертёж занижает видимую тесноту связи, сжатый завышает.

Шаг 4. Нанести точки. Каждой строке таблицы отвечает ровно одна точка: (1; 12), (2; 16), (3; 15), (4; 22), (5; 23), (6; 24), (7; 29), (8; 30), (9; 36), (10; 9). Точки не соединяют - этим поле отличается от полигона частот и от графика функции. Повторяющуюся пару помечают размером маркера.

Шаг 5. Прочитать облако. Первые девять точек лежат вдоль возрастающей прямой узкой полосой: связь прямая (растёт стаж - растёт выработка), линейная по форме и на глаз тесная. Десятая точка (10; 9) лежит далеко ниже полосы: при самом большом стаже выработка оказалась минимальной по всей выборке. Это выброс - наблюдение, выпадающее из общей закономерности.

Шаг 6. Оценить тесноту числом. Считаем суммы по всем 10 наблюдениям:

$$\sum x_i = 55,\quad \sum y_i = 216,\quad \sum x_i^2 = 385,\quad \sum y_i^2 = 5332,\quad \sum x_i y_i = 1293 .$$

Отсюда средние $\bar{x} = 5{,}5$, $\bar{y} = 21{,}6$ и суммы квадратов отклонений:

$$\begin{aligned} S_{xx} &= 385 - \frac{55^2}{10} = 82{,}5, \\ S_{yy} &= 5332 - \frac{216^2}{10} = 666{,}4, \\ S_{xy} &= 1293 - \frac{55 \cdot 216}{10} = 105 . \end{aligned}$$ $$r = \frac{S_{xy}}{\sqrt{S_{xx} S_{yy}}} = \frac{105}{\sqrt{82{,}5 \cdot 666{,}4}} = \frac{105}{234{,}47} \approx 0{,}448 .$$

Шаг 7. Исключить выброс и пересчитать. По первым девяти наблюдениям $\sum x_i = 45$, $\sum y_i = 207$, $\sum x_i^2 = 285$, $\sum y_i^2 = 5251$, $\sum x_i y_i = 1203$, то есть $\bar{x} = 5$, $\bar{y} = 23$, $S_{xx} = 60$, $S_{yy} = 490$, $S_{xy} = 168$:

$$r_{\text{очищ}} = \frac{168}{\sqrt{60 \cdot 490}} = \frac{168}{171{,}46} \approx 0{,}980 .$$

По прямой, построенной на девяти точках ($y = 9 + 2{,}8x$), для стажа 10 лет ожидалась выработка 37 тыс. руб., а наблюдалась 9: отклонение $-28$ тыс. руб. при типичном разбросе около 1,5 тыс. руб.

Ответ. Корреляционное поле - облако из 10 точек: девять вытянуты вдоль возрастающей прямой, точка (10; 9) является выбросом. Связь прямая и линейная; по всем наблюдениям $r \approx 0{,}448$ (умеренная теснота), после исключения выброса $r \approx 0{,}980$ - связь весьма высокая.

Что такое корреляционное поле и что по нему читают

Корреляционное поле (диаграмма рассеяния, scatter plot) - множество точек $(x_i;\ y_i)$, где каждая точка есть одно наблюдение, а координаты - значения двух его признаков. Вычислений построение не требует: поле - способ увидеть данные, а не результат обработки.

По облаку снимают четыре характеристики. Направление: поднимается слева направо - связь прямая, опускается - обратная, размазано без наклона - связи нет. Форма: точки идут вдоль прямой, ветви параболы или кривой с насыщением. Теснота: чем уже полоса, в которую вписывается облако, тем сильнее связь. Однородность: нет ли отскочивших точек и не распадается ли облако на два сгустка.

Словесную оценку тесноты обычно дают по шкале Чеддока: до 0,3 - слабая, 0,3-0,5 - умеренная, 0,5-0,7 - заметная, 0,7-0,9 - высокая, свыше 0,9 - весьма высокая. Наши два значения попадают в разные концы шкалы, и разница целиком создана одной точкой из десяти. Как коэффициент корреляции считается по таблице отклонений, подробно разобрано в статье про выборочный коэффициент корреляции.

Почему поле строят до расчёта регрессии

Коэффициент корреляции и коэффициенты прямой считаются по одним и тем же суммам, и калькулятор выдаст их для любых чисел, даже бессмысленных. Поле - единственная дешёвая проверка того, что модель вообще применима к этим данным.

Три ситуации, где числа не спасают, а чертёж спасает. Нелинейная связь: точки лежат на идеальной параболе, а $r$ близок к нулю, потому что измеряет только линейную зависимость; лечится линеаризацией. Выброс: как здесь, одна точка занижает $r$ с 0,980 до 0,448 и разворачивает прямую, наклон падает с 2,8 до 1,27. Неоднородная выборка: облако распадается на два сгустка, и общая прямая описывает не связь внутри групп, а расстояние между ними.

Поэтому порядок работы обратный привычному: сначала поле, потом коэффициенты. Сам расчёт коэффициентов прямой через нормальную систему разобран отдельно, в методе наименьших квадратов; здесь прямая нужна только как ориентир, вдоль которого проверяется вытянутость облака. Заодно поле подсказывает, стоит ли вообще доводить дело до проверки значимости через критерий Стьюдента: при $r = 0{,}448$ и $n = 10$ расчётное $t \approx 1{,}42$ меньше табличного 2,31, то есть связь по неочищенным данным незначима, а после исключения выброса $t \approx 12{,}96$ против 2,36 - значима уверенно.

Что делать с выбросом и когда его нельзя удалять

Найденная точка - не приговор наблюдению, сначала выясняют причину. Ошибка ввода: выработка 39 могла стать 9 при потере цифры, и тогда исправленная точка ложится в облако (прямая по девяти точкам предсказывает как раз 37). Другая природа объекта: рабочий отработал неполный месяц - наблюдение относится к иной совокупности. Редкое, но реальное значение: точку оставляют, а связь описывают как более слабую.

Удалять наблюдение только потому, что оно портит коэффициент, нельзя: это подгонка результата. В курсовой правильно показать оба расчёта, как сделано выше, и объяснить решение. Если выбросов несколько или причина неизвестна, вместо удаления берут устойчивые к ним меры - например, ранговую корреляцию Спирмена, где вместо самих значений используются их номера в упорядоченном ряду и отскочившая точка теряет вес.

Вариации условия: много наблюдений и корреляционная таблица

Когда наблюдений не десять, а несколько сотен, точки начинают накладываться друг на друга и облако превращается в сплошное пятно. Тогда данные группируют: обе оси разбивают на интервалы, а в клетку таблицы записывают частоту $n_{ij}$ - сколько наблюдений попало в этот прямоугольник. Получается корреляционная таблица, а поле по ней строят по серединам интервалов, изображая частоту размером маркера или числом в клетке.

По такой таблице считают условные средние: для каждого интервала по $x$ находят среднее значение $y$. Ломаная через точки $(x_i;\ \bar{y}_{x_i})$ называется эмпирической линией регрессии и показывает форму связи нагляднее самого облака - по ней и решают, брать линейную модель или искать другую. Разброс внутри столбцов оценивают через дисперсию условных распределений.

Вторая частая вариация - вопрос о доле объяснённой вариации: возводя коэффициент в квадрат, получают детерминацию $r^2 \approx 0{,}96$ против $0{,}20$ по неочищенным данным. Про соотношение этих величин написано в разборе связи корреляции и детерминации.

Частые ошибки

• Соединяют точки отрезками. Корреляционное поле - именно облако. Ломаная навязывает данным порядок, которого в них нет, и превращает диаграмму рассеяния в график динамики.
• Сортируют столбцы по отдельности. Если упорядочить $x$ по возрастанию, а $y$ оставить как есть (или тоже отсортировать), пары разрушаются и появляется фиктивная связь. Сортировать можно только строки таблицы целиком.
• Меняют оси местами. Факторный признак идёт по горизонтали, результативный - по вертикали. При обратном расположении чертёж отвечает на другой вопрос, а прямая, снятая с него, имеет другой наклон.
• Требуют, чтобы оси начинались с нуля. При $y$ от 9 до 36 отсчёт от нуля сплющит облако и спрячет разброс. Ноль нужен, только если по чертежу оценивают свободный член.
• Удаляют выброс молча. Исключение наблюдения обязано сопровождаться расчётом до и после и объяснением причины, иначе это подгонка под нужный ответ.
• Считают $r$ мерой любой связи. Коэффициент измеряет только линейную зависимость: для параболического облака он бывает около нуля при жёсткой функциональной связи.

FAQ

Чем корреляционное поле отличается от диаграммы рассеяния? Ничем: это два названия одного графика, первое принято в русских курсах статистики и эконометрики, второе - калька с английского scatter plot. В методичках встречается ещё вариант «поле корреляции».

Сколько нужно наблюдений, чтобы поле имело смысл? Условный минимум - 20-30 пар: по пяти точкам форму связи не определить. В задаче наблюдений десять, поэтому вывод о линейности делается с оговоркой, зато выброс на таком объёме виден особенно отчётливо.

Нужно ли рисовать на поле линию регрессии? Не обязательно, но полезно: прямая показывает, симметрично ли рассеяны точки и не растёт ли разброс к правому краю. Главное - не менять порядок: сначала поле, и только если облако вытянуто вдоль прямой, считать её коэффициенты.

Как построить поле, если один из признаков качественный? Никак: обе величины должны быть количественными. Для пары «качественный признак - количественный» строят групповые диаграммы или ящик с усами, а связь двух качественных признаков оценивают по таблице сопряжённости.

Коротко

1. Проверить, что данные парные: значения $x$ и $y$ сняты с одного объекта и порядок строк общий.
2. Отложить факторный признак по горизонтали, результативный по вертикали; масштаб подобрать по размаху так, чтобы облако заняло почти всё поле и вписалось в квадрат.
3. Нанести каждую пару $(x_i;\ y_i)$ отдельной точкой и не соединять точки.
4. Прочитать по облаку направление, форму, тесноту и однородность; отскочившие точки отметить как кандидаты в выбросы и разобраться в их причине.
5. Ответ примера: девять точек вытянуты вдоль прямой, точка (10; 9) - выброс; $r \approx 0{,}448$ по всем данным и $r \approx 0{,}980$ после его исключения, связь прямая, линейная, весьма высокая.