Креативность: критерии оценки и тесты Торренса

Критерии креативности - это признаки, по которым творческий результат можно оценить, а не просто похвалить. Сложность в том, что признаков несколько семейств и отвечают они на разные вопросы: одни описывают готовый продукт, другие - процесс его порождения, третьи вообще выносятся за скобки и заменяются согласием компетентных экспертов. Ниже разберём рабочее определение креативности, процедуру тестов Торренса и подсчёт баллов, метод согласованной экспертной оценки и спор о связи креативности с интеллектом. Начать удобно с калькулятора: он показывает, при какой согласованности судей усреднённый балл вообще что-то значит.

Что считают креативностью: новизна плюс уместность

Стандартное определение, к которому психология пришла к началу 1950-х годов и которое держится до сих пор, состоит из двух обязательных критериев. Первый - новизна: результат должен отличаться от того, что человек или культура уже произвели. Второй - уместность, то есть пригодность результата для той задачи, ради которой он создавался. Ни один из критериев по отдельности не работает: набор случайных слов новее любого стихотворения, но бесполезен, а безупречно выполненное типовое упражнение уместно и совершенно не ново.

Новизна при этом всегда относительна и требует уточнения: относительно кого. Различают новизну для самого автора и новизну для культуры в целом. Первая описывает школьника, который самостоятельно переоткрыл известный приём, вторая - историческое достижение. Отсюда и разные уровни оценки: одну и ту же работу разумно судить как учебную пробу или как вклад в область, но не по одной и той же шкале сразу.

Критерии продукта и критерии процесса

Второй развилкой становится выбор объекта оценки. Классическая рамка исследований творчества разводит четыре аспекта: личность творца, процесс порождения, сам продукт и среду, которая творчество поддерживает или подавляет. Критерии для них принципиально разные, и подмена одного другим - самая частая ошибка в учебных работах.

Рассчитать для своей задачи

Критерии процесса измеряют способность порождать варианты: сколько идей человек выдаёт, насколько они разнообразны, насколько редко встречаются в выборке. Это территория тестов дивергентного мышления, и четыре классических показателя такого теста подробно разобраны в статье про модель Гилфорда - здесь они не повторяются. Критерии продукта работают с готовым артефактом и спрашивают не «сколько вариантов вы придумали», а «насколько хорош этот конкретный результат». Высокая беглость в тесте не гарантирует сильной работы, и обратно: автор одной удачной вещи может показать средний балл по дивергентному заданию.

Тесты Торренса: как устроена процедура

Тесты творческого мышления Торренса, созданные в 1966 году, остаются самой распространённой методикой оценки креативности. Они состоят из двух независимых батарей, и это важно: результаты по ним коррелируют слабо, поэтому подменять одну другой нельзя.

Рассчитать для своей задачи

Вербальная батарея построена вокруг картинки-стимула и включает семь заданий: задать вопросы к изображению, предположить причины и последствия показанного события, улучшить игрушку, придумать необычные способы применения обычного предмета, задать необычные вопросы и достроить невероятную ситуацию. Фигурная батарея короче и состоит из трёх заданий: составить осмысленный рисунок из цветной фигуры, дорисовать десять незаконченных линий и превратить в изображения набор одинаковых пар параллельных линий или кругов. На каждое задание фигурной батареи отводится ровно десять минут, регламент жёсткий - при нарушении времени нормы становятся неприменимы. Инструкция просит испытуемого придумать то, о чём не догадается никто другой, и дать рисункам названия.

Как считают баллы и переводят их в нормы

Подсчёт в фигурной батарее после ревизии 1984 года ведут по пяти нормативным показателям. К беглости, оригинальности и разработанности добавлены абстрактность названий (насколько подпись схватывает смысл рисунка, а не просто перечисляет нарисованное) и сопротивление преждевременному замыканию - способность не закрывать незавершённую фигуру простейшим контуром сразу. Сверх этого фиксируют тринадцать качественных признаков творческой силы: юмор, движение, необычный ракурс, эмоциональная выразительность и другие. Они начисляются как бонусы и не входят в основной балл.

Ключевой момент - оригинальность считают не на глаз, а по таблицам частот из руководства: ответ получает балл в зависимости от того, как часто он встретился в выборке стандартизации. Сырые баллы затем переводят в стандартную шкалу со средним 100 и стандартным отклонением 20:

$T = 100 + 20 \cdot \frac{X - M}{\sigma},$

где $X$ - сырой балл испытуемого, $M$ и $\sigma$ - среднее и стандартное отклонение возрастной группы. Как и любые тестовые нормы, эти таблицы стареют: батарея пересматривалась шесть раз, и сравнивать сырые баллы, посчитанные по разным изданиям, бессмысленно.

Экспертная согласованная оценка: метод Амабиле

Тесты меряют потенциал, но не отвечают на вопрос, хороша ли конкретная работа. Для продукта Тереза Амабиле в 1982 году предложила обходной путь: не формулировать критерии заранее, а определить креативность операционально - через согласие компетентных судей. Продукт креативен настолько, насколько независимые эксперты предметной области сходятся в том, что он креативен.

Рассчитать для своей задачи

Процедура жёсткая. Судьи оценивают работы независимо и не обсуждают их между собой, порядок предъявления для каждого судьи свой, а сами работы сравниваются друг с другом, а не с воображаемым идеалом. Инструкцию с готовым списком критериев эксперту не дают намеренно: метод опирается на его профессиональное чутьё. Единственный показатель качества такой оценки - согласованность судей, и её считают альфой Кронбаха, где судьи играют роль пунктов теста:

$\alpha = \frac{k}{k-1}\left(1 - \frac{\sum_{i=1}^{k}\sigma_i^2}{\sigma_T^2}\right),$

где $k$ - число судей, $\sigma_i^2$ - дисперсия оценок $i$-го судьи по всем работам, $\sigma_T^2$ - дисперсия суммарных баллов работ. Порогом публикуемости считают $\alpha \geqslant 0{,}80$. Если судьи ставят работы в один порядок, но пользуются разными участками шкалы, полезнее ранговый коэффициент конкордации Кендалла $W = 12S / \left(m^2(n^3-n)\right)$. В калькуляторе выше расклад «Судьи согласны» даёт $\alpha = 0{,}95$ при $W = 1{,}00$, а стоит одному эксперту переоценить слабую работу, как альфа падает до $0{,}38$ - усреднять такие баллы уже нельзя.

Критерии творческого продукта: новизна, разрешение, синтез

Там, где судить по чутью нельзя (например, при защите проекта), общее определение раскладывают в измеримую семантическую шкалу творческого продукта. Она задаёт три группы критериев: новизна (оригинальность и неожиданность решения), разрешение (логичность, полезность, ценность и понятность - то есть та самая уместность) и проработанность с синтезом (целостность, элегантность, качество исполнения). Каждая группа оценивается набором биполярных шкал, а итог показывает не одно число, а профиль: работа может быть очень новой и совсем не разрешённой.

Валидность: связана ли креативность с интеллектом

Главный спор о валидности тестов креативности касается их отношения к IQ. Пороговая гипотеза утверждает, что связь положительна лишь до определённого уровня интеллекта, примерно до IQ 120, а выше исчезает: минимальный интеллект для творчества необходим, но избыточный ничего не добавляет. Гипотеза удобна и десятилетиями пересказывается в учебниках, однако метаанализы её не подтверждают: усреднённая корреляция между показателями дивергентного мышления и измерением IQ составляет около $0{,}17$ и меняется плавно, без излома в районе порога. Отдельные работы находят перегиб, но только для оригинальности и при определённых способах подсчёта.

Слабее всего у тестов креативности предсказательная валидность. Полувековое прослеживание участников исходной выборки Торренса показало связь детских баллов со взрослыми творческими достижениями порядка 0,2-0,4: выше, чем у IQ, но недостаточно для индивидуального прогноза. Отдельная методическая проблема - зависимость оригинальности от беглости: чем больше ответов дал человек, тем выше шанс, что среди них попадётся редкий, поэтому два показателя частично меряют одно и то же.

Частые ошибки

• Считать креативностью одну новизну. Без критерия уместности под определение попадает любой случайный набор элементов.
• Оценивать продукт критериями процесса. Балл теста дивергентного мышления не является оценкой готовой работы и наоборот.
• Усреднять оценки экспертов, не посчитав их согласованность. При низкой альфе среднее скрывает разногласие, а не снимает его.
• Считать оригинальность на глаз. В тестах Торренса она определяется по таблицам частот выборки стандартизации, иначе балл несопоставим.
• Сравнивать сырые баллы разных изданий батареи или разных возрастов без перевода в стандартную шкалу.

FAQ

Чем тест креативности отличается от теста интеллекта? Задачи теста интеллекта имеют один правильный ответ, и балл начисляется за попадание в него. В тесте креативности заранее верного ответа нет, оценивается число, разнообразие и редкость вариантов, а также качество их проработки, поэтому подсчёт требует таблиц частот и обученного эксперта.

Сколько экспертов нужно для согласованной оценки? Практический минимум - три независимых судьи, но решает не их количество, а достигнутая альфа Кронбаха. Если при трёх судьях согласованность ниже 0,7, добавление четвёртого обычно не спасает: значит, критерий понят по-разному и нужно менять состав экспертов или предметную формулировку задания.

Можно ли выразить креативность одним числом? Технически да, суммарный индекс креативности в тестах Торренса так и устроен. Но показатели относительно независимы, и свёртка теряет профиль: человек с высокой беглостью и низкой разработанностью получит тот же индекс, что и автор двух глубоко проработанных идей. Для отбора и обратной связи профиль информативнее суммы.

Коротко

Критерии креативности распадаются на три уровня. Содержательный уровень задаёт определение: новизна плюс уместность, обе части обязательны. Операциональный уровень выбирает объект оценки - процесс порождения идей меряют тестами дивергентного мышления с их собственными показателями, готовый продукт оценивают по шкалам новизны, разрешения и синтеза. Технический уровень отвечает за сопоставимость: сырые баллы переводят в стандартную шкалу по свежим нормам, а экспертные оценки принимают к усреднению только после проверки согласованности судей. Пропуск любого из трёх уровней превращает оценку креативности в мнение.