Шкала Гуттмана: скалограмма и коэффициент воспроизводимости

Шкала Гуттмана устроена как лестница: суждения выстроены от самого лёгкого к самому трудному, и человек, согласный с трудным, по модели согласен со всеми более лёгкими. Поэтому по одному числу, баллу респондента, можно восстановить весь его набор ответов. Но это обещание модели, а не свойство любой анкеты: кумулятивность нужно проверить на реальных данных. Проверку называют скалограммным анализом, и её итог сводится к двум коэффициентам. Посчитать их для своей таблицы можно в калькуляторе ниже, а дальше разберём, откуда они берутся.

Что такое шкала Гуттмана

Шкала Гуттмана, или кумулятивная шкала, это набор дихотомических суждений («да/нет», «согласен/не согласен»), упорядоченных по трудности. Трудность здесь означает, насколько сильно должно быть выражено свойство, чтобы человек ответил «да». Сказать «слежу за новостями города» легко почти любому, а «организовал местную инициативу» скажет только очень активный горожанин.

Из порядка следует ключевое понятие: идеальный профиль ответов. Если суждения пронумерованы от лёгкого к трудному, допустимы только профили вида «да на первые $s$ пунктов, нет на остальные». Для пяти суждений из $2^5 = 32$ возможных комбинаций модели соответствуют всего шесть: 00000, 10000, 11000, 11100, 11110 и 11111. Балл $s$ от 0 до 5 однозначно указывает, какие именно пункты приняты. В шкале Лайкерта сумма 3 может получиться десятком способов, здесь только одним.

Рассчитать для своей задачи

Удобная метафора: прыжок в высоту. У каждого суждения своя высота планки, у каждого респондента своя высота прыжка. Кто взял планку на 150 см, взял и все ниже. Этот же принцип заложен в шкалу социальной дистанции: подробный разбор её семи ступеней есть в статье про шкалу Богардуса, которую считают историческим прообразом гуттмановской конструкции.

Луис Гуттман и «Американский солдат»

Луис Гуттман (1916-1987), американский социолог и статистик, изложил идею в статье «A Basis for Scaling Qualitative Data» (American Sociological Review, 1944). Практическую проверку она прошла в годы Второй мировой войны в исследовательском отделе армии США, которым руководил Сэмюэл Стауффер. Отдел опросил сотни тысяч военнослужащих о боевом духе, страхе, отношении к службе и командирам. Итоги вышли в серии «Американский солдат» (The American Soldier, 1949-1950), а методологический том «Measurement and Prediction» (1950) почти целиком посвящён скалограммному анализу.

Задача была прикладной: военным нужны были короткие анкеты, по которым можно сравнивать подразделения. Гуттман предложил не складывать ответы механически, а сначала проверить, выстраиваются ли вопросы в одну лестницу. Классический пример из этих материалов: солдаты, сообщавшие о тяжёлых проявлениях страха в бою, почти всегда отмечали и более частые, лёгкие реакции вроде учащённого сердцебиения. Такой набор симптомов вёл себя как кумулятивная шкала.

Скалограммный анализ: как построить шкалу по шагам

Скалограммой называют таблицу «респонденты × суждения», переставленную так, чтобы проявилась лестница. Построение идёт в семь шагов.

1. Определите одно измерение. Шкала Гуттмана одномерна по определению. Сначала понятие проходит операционализацию, и из его измерений выбирается одно.
2. Составьте 8-12 суждений разной трудности. В итоговой шкале обычно остаётся 4-7 пунктов, поэтому кандидатов берут с запасом. Каждое суждение должно описывать ступень того же свойства.
3. Дихотомизируйте ответы. Если вопрос с пятью вариантами, заранее решите, что считать «да» (например, «скорее согласен» и «полностью согласен»).
4. Проведите пилотный опрос и занесите ответы в таблицу нулей и единиц.
5. Упорядочите столбцы по числу ответов «да»: слева самое популярное суждение, справа самое редкое.
6. Упорядочите строки по баллу респондента: сверху те, у кого больше всего «да».
7. Посчитайте ошибки и коэффициенты, уберите пункты, которые дают больше всего ошибок, и пересчитайте.

Рассчитать для своей задачи

В идеальной скалограмме единицы образуют ровный треугольник-лестницу в левом верхнем углу. Каждая единица за границей лестницы и каждый ноль внутри неё означают отклонение от модели.

Сквозной пример: 5 суждений и 10 респондентов

Измеряем гражданскую активность студентов пятью суждениями, уже упорядоченными по трудности:

• А. Слежу за новостями своего города.
• Б. Подписывал(а) онлайн-петицию или коллективное обращение.
• В. Приходил(а) на собрание жильцов или публичные слушания.
• Г. Писал(а) обращение депутату или в администрацию.
• Д. Участвовал(а) в организации местной инициативы.

Ответы десяти респондентов после сортировки:

Ошибки считаем по методу Гуденафа и Эдвардса: для каждого респондента берём идеальный профиль с тем же баллом и сравниваем клетку за клеткой. У Р6 балл 3, идеал 11100, а фактически 11010: расходятся столбцы В и Г, две ошибки. У Р8 балл 2, идеал 11000, фактически 10100: расходятся Б и В, тоже две. Остальные восемь профилей идеальны. Всего $E = 4$ ошибки на $10 \times 5 = 50$ ответов.

Коэффициент воспроизводимости: формула и порог 0,90

Коэффициент воспроизводимости показывает, какую долю ответов можно точно восстановить по баллу респондента:

$$CR = 1 - \frac{E}{n \cdot k}$$

где $E$ - число ошибок, $n$ - число респондентов, $k$ - число суждений. Для примера:

$$CR = 1 - \frac{4}{10 \cdot 5} = 1 - 0{,}08 = 0{,}92$$

Гуттман предложил считать набор шкалой при $CR \ge 0{,}90$, то есть когда не больше 10% ответов расходятся с моделью. Наш результат 0,92 проходит порог с небольшим запасом: при 50 ответах допустимо не больше 5 ошибок, а шестая уже опустила бы $CR$ до 0,88.

Коэффициент масштабируемости: защита от лёгких пунктов

У $CR$ есть слабость: он завышается, если суждения слишком лёгкие или слишком трудные. Пункт, с которым согласны 9 из 10, почти не может дать много ошибок, даже если ответы на него случайны. Чтобы отделить заслугу шкалы от заслуги маргиналов, Херберт Мензель в 1953 году предложил коэффициент масштабируемости.

Сначала считают минимальную маргинальную воспроизводимость: сколько ответов угадал бы тот, кто по каждому пункту ставит самый частый ответ:

$$MMR = \frac{\sum_{j=1}^{k} \max(p_j,\ n - p_j)}{n \cdot k}$$

где $p_j$ - число ответов «да» на суждение $j$. В примере по столбцам: $\max(9, 1) = 9$, $\max(7, 3) = 7$, $\max(6, 4) = 6$, $\max(4, 6) = 6$, $\max(1, 9) = 9$. Сумма 37, значит $MMR = 37/50 = 0{,}74$. Затем:

$$CS = \frac{CR - MMR}{1 - MMR} = \frac{0{,}92 - 0{,}74}{1 - 0{,}74} = \frac{0{,}18}{0{,}26} \approx 0{,}69$$

Принятый порог около 0,60, так что шкала проходит и вторую проверку. Но картина скромнее, чем показывал $CR$: из 92% воспроизведённых ответов 74% дали бы одни маргиналы, сама лестница добавляет меньше. Если бы пункты А и Д заменили на суждения средней трудности, $MMR$ снизился бы, и та же доля ошибок сказалась бы на $CS$ сильнее.

Ограничения и связь с моделью Раша

У шкалы Гуттмана четыре известных ограничения:

• Одномерность. Если суждения задевают два свойства (например, активность и доверие к властям), лестница рассыпается.
• Детерминизм. Модель не допускает случайности: любой сбой в ответах считается ошибкой, хотя реальные люди отвечают с шумом.
• Мало пунктов. С ростом числа суждений ошибки накапливаются, поэтому рабочие шкалы редко длиннее 7-8 пунктов, а короткую шкалу трудно сделать чувствительной.
• Зависимость от выборки. Лестница, найденная у студентов, может не воспроизвестись у пенсионеров: порядок трудности пунктов не гарантирован для другой совокупности.

Ответом на детерминизм стали вероятностные модели. В модели Раша (1960) вероятность ответа «да» плавно зависит от разницы между уровнем респондента $\theta_i$ и трудностью суждения $b_j$:

$$P(x_{ij} = 1) = \frac{e^{\theta_i - b_j}}{1 + e^{\theta_i - b_j}}$$

Шкала Гуттмана получается из неё как предельный случай, когда кривая превращается в ступеньку: при $\theta_i > b_j$ ответ «да» с вероятностью 1, иначе «нет». Непараметрическую версию той же идеи даёт шкалирование Мокена с коэффициентом Левинджер $H$. Для курсовой обычно достаточно классического $CR$ и $CS$, но упомянуть вероятностные модели в разделе об ограничениях полезно.

Частые ошибки

• Называть шкалой Гуттмана любой набор вопросов с суммарным баллом. Без скалограммы и $CR$ это просто индекс; различие подробно разобрано в статье про социологический индекс.
• Приводить $CR$ без $CS$. Высокая воспроизводимость на очень лёгких и очень трудных пунктах почти ничего не доказывает.
• Не указывать способ подсчёта ошибок. По Гуттману и по Гуденафу и Эдвардсу одна таблица даёт разные $CR$.
• Упорядочивать суждения по замыслу автора, а не по фактическим долям «да» в данных.
• Проверять шкалу на 10-20 анкетах и переносить вывод на генеральную совокупность. Учебный пример иллюстрирует расчёт, для реальной шкалы нужна выборка в сотни человек.

FAQ

Чем шкала Гуттмана отличается от шкалы Лайкерта?

Лайкерт суммирует степень согласия с независимыми утверждениями, и одинаковый балл может получиться из разных ответов. У Гуттмана пункты образуют лестницу, и балл однозначно задаёт профиль. Поэтому для Лайкерта проверяют внутреннюю согласованность, а для Гуттмана воспроизводимость порядка.

Сколько суждений нужно для шкалы Гуттмана?

В итоговой шкале обычно 4-7 суждений. На этапе пилота берут 8-12 кандидатов и отсеивают те, что дают больше всего ошибок. Меньше четырёх пунктов делают $CR$ почти автоматически высоким, больше восьми редко удаётся удержать в одной лестнице. Требования к формулировкам пунктов общие для любой анкеты, их удобно сверить с правилами анкетирования.

Что делать, если CR ниже 0,90?

Найдите суждения, на которые приходится больше всего ошибок, и проверьте формулировки: двусмысленный пункт или пункт про другое свойство ломает лестницу. Удалите или перепишите его и пересчитайте. Если после чистки $CR$ всё равно ниже порога, набор честнее описывать как индекс.

Коротко

Шкала Гуттмана это кумулятивный набор суждений, упорядоченных по трудности, где балл респондента однозначно восстанавливает его ответы. Идею Луис Гуттман развил в 1940-е годы в проекте «Американский солдат» под руководством Стауффера. Проверка идёт через скалограмму: столбцы сортируют по доле «да», строки по баллу, считают отклонения от идеальных профилей. Коэффициент воспроизводимости $CR = 1 - E/(nk)$ должен быть не ниже 0,90, коэффициент масштабируемости $CS$ не ниже 0,60; в нашем примере с 4 ошибками на 50 ответов вышло 0,92 и 0,69. Ограничения модели (одномерность, детерминизм, короткие шкалы) снимают вероятностные подходы вроде модели Раша.