Китайская комната Сёрла: аргумент против ИИ

В 1980 году философ Джон Сёрл опубликовал мысленный эксперимент, который превратился в точку притяжения для всех споров об ИИ и сознании. Идея проста: представьте, что вы заперты в комнате и манипулируете китайскими иероглифами строго по инструкции, не зная языка. Снаружи кажется, что вы понимаете по-китайски, но внутри нет ни единой искры смысла. По Сёрлу, именно так работают все программы. Чтобы почувствовать, насколько убедителен этот аргумент и как его можно ослабить ответными стратегиями, выставьте ползунки ниже и посмотрите, как меняется «сила» вывода.

Три посылки и вывод

Аргумент «Китайская комната» имеет строгую логическую структуру из трёх посылок и одного вывода. Сёрл формулировал их так:

$$\begin{aligned} &\text{П1: компьютерные программы сугубо синтаксические (формальные)}\\ &\text{П2: человеческие умы обладают семантическим содержанием (смыслом)}\\ &\text{П3: синтаксис не является достаточным условием семантики}\\ &\therefore\quad\text{программы сами по себе не порождают умов} \end{aligned}$$

Ключевое здесь - различие между синтаксисом (манипуляция символами по правилам) и семантикой (значением, смыслом, переживанием). Жёсткий ИИ (Strong AI) утверждает, что правильно запрограммированный компьютер буквально понимает и думает. Сёрл возражает: человек в комнате - это и есть такая программа в живом исполнении, и никакого понимания там нет.

Рассчитать для своей задачи

Сёрл намеренно выбрал китайский как язык, незнакомый большинству западных читателей: ни одного иероглифа вы не поймёте «изнутри», только формально сопоставляете входной символ с выходным по таблице. Это и есть, по его мнению, всё, что делает любая нейронная сеть или программа.

Ответные стратегии

Статья Сёрла немедленно вызвала волну ответов; сам он включил их в расширенное издание 1984 года как «Системный ответ», «Ответ робота», «Ответ мозга» и «Ответ других умов».

Ответ систем - самый популярный. Человек в комнате не понимает китайского, но система в целом (человек плюс правила плюс все записи) понимает. Сёрл парирует: хорошо, представьте, что человек запомнил все правила наизусть и вышел на улицу. Он всё равно не понимает по-китайски. Понимание нельзя «суммировать» из частей, которые сами не понимают.

Ответ робота атакует третью посылку: дайте системе тело и сенсоры, пусть она взаимодействует с реальным миром - тогда её синтаксис получит семантическое заземление через причинные связи. Сёрл соглашается, что это меняет ситуацию, но настаивает: добавив сенсоры, вы добавили биологию, а не программу. Программа внутри робота по-прежнему только перебирает символы.

Ответ мозга апеллирует к симметрии: нейроны тоже выполняют формальные операции над ионными токами. Если мозг понимает, почему не может понимать нейросеть той же сложности? Сёрл отвечает: нейроны понимают не потому, что выполняют формальные операции, а потому что они биологические причинные системы с нужными каузальными свойствами. Правильная функция - не то же самое, что правильная субстанция.

Ответ других умов самый радикальный: откуда вы знаете, что другие люди вообще понимают? Ведь и они - «чёрные ящики» для наблюдателя. Сёрл признаёт проблему, но считает, что аналогия с другими биологическими умами обоснована эволюционно, а аналогия с программами - нет.

Рассчитать для своей задачи

Связь с тестом Тьюринга

Алан Тьюринг предложил в 1950 году «имитационную игру»: если машина в диалоге неотличима от человека, её следует считать мыслящей. Сёрл прямо направил свой аргумент против этого критерия. Комната проходит тест Тьюринга по-китайски: снаружи она неотличима от носителя. Но понимания нет. Значит, поведенческий критерий Тьюринга недостаточен для атрибуции ментальных состояний.

Современные большие языковые модели - GPT, Claude - как раз проходят многие версии теста Тьюринга в узких доменах. Спор Сёрл против Тьюринга тем самым превращается из академического в практический: что именно мы приписываем системе, когда говорим, что она «понимает»?

Критики Тьюринга (Харнад, Блок) предлагали уточнения: «Тотальный тест Тьюринга» (с телесными возможностями) или разграничение между «корректным» поведением и «настоящим» пониманием. Но Сёрл идёт дальше: никакой поведенческий тест принципиально не может решить вопрос об умах, потому что поведение всегда совместимо с двумя конкурирующими гипотезами - «внутри есть понимание» и «внутри только перебор символов».

Интенциональность и сознание

Центральное понятие у Сёрла - интенциональность: направленность ментального состояния на объект. Мысль «о» кошке интенциональна. Программа, обрабатывающая строку «кошка», не имеет ментального состояния, направленного на кошку: она просто выдаёт следующий символ.

Сёрл различает интринсическую (присущую самому объекту) и производную (приписанную наблюдателем) интенциональность. Карта «обозначает» территорию только потому, что мы так договорились. Слово в голове «означает» объект само по себе, без договора. Программа, по Сёрлу, обладает только производной интенциональностью - той, что мы в неё вложили.

Биологический натурализм

Позиция Сёрла называется биологическим натурализмом: сознание - реальный феномен, порождаемый биологическими процессами мозга точно так же, как фотосинтез порождается хлоропластами. Это не дуализм (душа отдельно от тела), не бихевиоризм (сознание = поведение) и не функционализм (сознание = правильная функция). Сознание каузально обусловлено биологией и не воспроизводимо одной лишь имитацией функции.

Функционалисты (Патнэм, Дэннет) возражают: нет оснований думать, что субстрат принципиален. Если марсианский кремниевый мозг делает то, что делает человеческий, - у марсианина есть сознание. Сёрл отвечает: вы предполагаете именно то, что надо доказать. Неизвестно, какие каузальные свойства субстрата порождают сознание; пока мы этого не знаем, нельзя быть уверены, что кремний воспроизводит нужные свойства.

Важный нюанс: биологический натурализм Сёрла не означает «только люди могут мыслить». Если инопланетный организм имеет похожую каузальную архитектуру нервной системы, он может обладать сознанием. Критерий - не вид и не углерод, а правильный класс каузальных процессов. Именно поэтому вопрос «что такое правильные каузальные свойства?» остаётся открытым и составляет главную уязвимость позиции Сёрла: он выдвигает отрицание, но не даёт позитивного критерия.

Частые ошибки

• Смешивать сильный и слабый ИИ. Сёрл атакует только Strong AI (утверждение, что программа буквально мыслит). Слабый ИИ (программы как инструменты для изучения ума) он принимает.
• Думать, что комната «симулирует» понимание. По Сёрлу, там нет даже симуляции: симуляция урагана не делает вас мокрым, симуляция понимания не даёт понимания.
• Путать интенциональность с вниманием. Интенциональность у Сёрла - философский термин (Брентано): направленность мысли «на» объект, а не степень концентрации.
• Считать «Ответ систем» окончательным опровержением. Сёрл разобрал его подробно: запомните все правила наизусть - и понимание не появится.
• Переносить аргумент на нейронные сети как «другой тип» ИИ. Сёрл явно оговаривает: аргумент применим к любой формальной системе, включая аналоговые и нейронные.

FAQ

Почему аргумент «Китайская комната» всё ещё актуален в эпоху ChatGPT? Именно потому, что GPT и подобные системы демонстрируют поведение, неотличимое от человеческого в широком диапазоне задач. Вопрос Сёрла звучит острее, чем когда-либо: какую именно разницу мы приписываем «настоящему» пониманию? Ответ на него важен не только философски, но и юридически (права систем) и этически (как с ними обращаться).

Чем «Ответ робота» отличается от «Ответа систем»? «Ответ систем» оставляет систему внутри комнаты и говорит: понимает не человек, а комплекс «человек + правила + записи». «Ответ робота» выпускает систему наружу и добавляет причинно-следственные связи с реальным миром через сенсоры и эффекторы. Сёрл считает последний более интересным, но возражает: телесное воплощение добавляет нечто биологическое, а не просто расширяет программу.

Является ли аргумент Сёрла опровержением физикализма? Не напрямую. Сёрл называет себя «биологическим натуралистом» и признаёт, что сознание физически реально - оно порождается мозгом. Его аргумент опровергает именно вычислительный функционализм: тезис о том, что сознание - это вычислительная функция, реализуемая на любом субстрате. Физикализм как таковой он не отрицает, он отрицает, что правильная программа достаточна для ума.

Коротко

Аргумент «Китайская комната» Джона Сёрла строится на трёх посылках: программы - синтаксис, умы - семантика, синтаксиса недостаточно для семантики. Вывод: никакая программа сама по себе не обладает подлинным пониманием. Главные ответные стратегии - «Ответ систем», «Ответ робота», «Ответ мозга» - атакуют разные посылки, но Сёрл считает, что каждая из них либо предполагает доказываемое, либо добавляет биологию, а не только программу. Спор остаётся открытым; с появлением мощных языковых моделей он вышел из академических журналов в центр технической и правовой повестки.