Меры информации: синтаксис, семантика, прагматика

Синтаксическая, семантическая и прагматическая меры информации отвечают на разные вопросы об одном сообщении. Первая оценивает его как элемент множества сигналов, не обращаясь к смыслу. Вторая рассматривает, что сообщение говорит о мире и как меняет знания. Третья связывает информацию с целью и возможным действием получателя. Например, точный прогноз дождя можно передать одним двоичным символом, понять как описание погоды и оценить по тому, помогает ли он выбрать действие. В интерактивной модели ниже меняйте вероятность дождя: она показывает и энтропию источника, и ценность прогноза в условной игре.
Три вопроса к одному сообщению
Пусть перед выходом человек получает сообщение «дождь» или «сухо». Синтаксический уровень интересуется возможными сигналами и их вероятностями: как устроен источник и сколько информации в среднем приходится на сообщение? Для расчёта не обязательно знать, какое слово обозначает дождь. Можно заменить слова нулём и единицей, сохранив вероятности.
На семантическом уровне важно соответствие знака и состояния: «дождь» исключает вариант сухой погоды, если сообщение достоверно и язык понятен. На прагматическом уровне спрашивают, меняет ли это знание выбор и насколько он становится лучше. Человеку под крышей прогноз может быть бесполезен, а организатору прогулки - важен. Одинаковые сигналы не обязаны иметь одинаковую ценность для разных задач.
Это сравнение уровней - рабочая схема, а не три универсальные формулы, применимые к любому тексту. У семантической и прагматической информации есть разные формальные модели: прежде чем считать, нужно выбрать одну из них и назвать её предпосылки.
Синтаксическая мера: вероятность и биты
Для события с вероятностью собственная информация равна бит. Чем менее вероятно событие в принятой модели, тем больше его неожиданность. Если четыре исхода равновероятны, известие об одном из них несёт бита. Это не размер файла и не оценка пользы сообщения; речь об информации события относительно заданного распределения.
Для источника со многими возможными сообщениями среднее количество информации - энтропия Шеннона:
Отдельный пример вычисления для события разобран в материале о количестве информации. Слагаемое при нулевой вероятности принимают равным нулю по пределу. Энтропия измеряется в битах на сообщение, если логарифм двоичный. Для двух исходов с вероятностями и она равна . При равных шансах бит, а при достоверном исходе : заранее известный ответ не уменьшает неопределённость источника.
В статье о формуле Шеннона подробнее разобраны вероятность и средняя энтропия; формула Хартли удобна для равновероятных вариантов. В своей работе 1948 года Шеннон отделил инженерную задачу воспроизведения выбранного сообщения от вопроса о его значении. Это ограничение модели, а не утверждение, что смысл в коммуникации не важен.
Семантическая мера: что исключает сообщение
Смысл появляется, когда символы интерпретированы. Допустим, возможны четыре равновероятных состояния: дождь утром или вечером, сухая погода утром или вечером. Фраза «утром дождь» оставляет одно состояние из четырёх; фраза «утром» при такой постановке оставляет два. Первая сильнее ограничивает множество возможностей. Однако для осмысленного расчёта надо заранее определить допустимые состояния, значения слов и исходные вероятности.
Одна известная формализация - теория Бар-Хиллела и Карнапа: содержание высказывания связывается с исключёнными описаниями состояний. В простом варианте мера содержания записывается как , где - заданная логическая вероятность высказывания . При она равна . Другая предложенная в этом подходе функция, , даёт 2 бита. Числа зависят от модели вероятностей; сходство второй формулы с шенноновской не делает их предметы одинаковыми. Оригинальная работа авторов описывает семантическую информацию через содержание предложений и логические вероятности.
У модели есть важная граница: противоречие исключает все состояния и получает максимальное содержание в этой схеме, хотя ложное сообщение нельзя автоматически считать полезным знанием. Поэтому содержательность, истинность и польза - отдельные вопросы. В других теориях семантической информации используются иные определения. Для сравнения полезно посмотреть, как семантика возможных миров задаёт истинность относительно модели.
Прагматическая мера: что меняется в решении
Прагматическую ценность можно задать через результат действия. Рассмотрим учебную игру: нужно угадать, будет дождь или нет; правильный ответ даёт один балл, ошибочный - ноль. Вероятность дождя равна . Без прогноза лучший выбор - «сухо», и ожидаемый результат равен балла. Бесплатный точный прогноз позволяет каждый раз выбрать правильный ответ и даёт в среднем один балл.
Разница составляет балла. Это ценность точного прогноза в заданной игре, а не универсальная прагматическая мера. При произвольном оптимальный результат без прогноза равен , поэтому ценность точного прогноза равна . На краях и она нулевая: исход уже известен. При ценность достигает балла.

Ценность в баллах зависит от правил игры. Если ошибка при дожде дороже ошибки в сухую погоду, оптимальный выбор и цена прогноза изменятся. Платный прогноз нужно сравнить с его стоимостью, а для неточного прогноза учесть вероятность ошибок и решения после каждого сигнала. В теории решений обычно задают состояния, действия и полезность последствий; выбор зависит от ожидаемой полезности. Такой подход иллюстрируется в материале Калифорнийского университета в Беркли.
Почему числа нельзя просто сравнить
При энтропия источника равна примерно бита на сообщение, а ценность точного прогноза в игре - балла. На графике они изображены вместе, чтобы проследить зависимость от одной вероятности, но общая шкала не превращает биты в баллы. Математически и содержательно это разные величины.
Ещё один нюанс: в конкретном случае сообщение «дождь» имеет собственную информацию бита, тогда как сообщение «сухо» - около бита. Их среднее с весами и даёт те самые бита. Ни одно из этих чисел само по себе не сообщает, понятно ли сообщение адресату, правдиво ли оно или нужно ли ему для выбора.
Практически удобно идти по шагам: сначала выписать возможные сигналы и их вероятности; затем указать, что означают сигналы и каким знаниям они противоречат; наконец, определить цель, допустимые действия и последствия. Для реальной системы дополнительно проверяют надёжность источника, задержку и доступность сообщения. Даже точный прогноз, пришедший после прогулки, может не помочь выбрать одежду вовремя.
Как разбирать задачу на практике
Начните с формулировки того, что является сообщением: один символ, исход наблюдения или целый текст. Затем перечислите допустимые варианты и проверьте, известны ли их вероятности. Если даны только равновероятные исходы, для синтаксического расчёта достаточно их числа. Если вероятности различаются, используйте распределение целиком и различайте информацию одного исхода и среднее по источнику.
Далее опишите получателя. Что он уже знает, как интерпретирует сообщение и какие варианты мира остаются после него? Для прагматической оценки запишите возможные действия и результат каждого действия при каждом состоянии. Только после этого можно сравнивать лучший ожидаемый результат до сообщения с результатом после него. Укажите, точен ли источник, вовремя ли приходит сигнал и учтена ли его стоимость. Такие оговорки делают ответ проверяемым и показывают, почему одна и та же новость имеет разную ценность для разных людей.
Частые ошибки
- Приравнивать бит к пользе. Редкое событие содержит много собственной информации, но может не иметь отношения к задаче получателя.
- Путать энтропию и длину конкретного сообщения. Энтропия - средняя величина модели источника; фактическая запись зависит от кода и протокола.
- Считать смысл без интерпретации. Число исключённых состояний зависит от того, какие состояния и значения слов заранее заданы.
- Считать ценность прогноза без функции результата. При изменении цели, цены ошибки или стоимости прогноза ответ изменится.
- Считать все семантические меры одинаковыми. Даже в одной формальной теории могут использоваться разные функции содержания.
FAQ
Может ли сообщение иметь биты, но не иметь пользы?
Да. Случайная строка может быть неожиданной для модели источника и при этом не влиять на решение конкретного получателя. Польза определяется задачей, а не одной только вероятностью строки.
Семантическая информация обязательно истинна?
Это зависит от определения. В описанной модели логического содержания рассматривается, какие состояния исключает высказывание; истинность отдельно проверяется относительно фактического состояния. В других подходах истинность может входить в само определение.
Почему ценность прогноза максимальна при вероятности 50 %?
В нашей игре без прогноза при равных шансах удаётся угадать в среднем лишь в половине случаев; точный прогноз повышает результат до единицы. При других штрафах, действиях или неточном прогнозе график может выглядеть иначе.
Коротко
Синтаксическая мера описывает статистическую сторону сигналов; семантическая связывает сообщение с интерпретацией и возможными состояниями; прагматическая оценивает его относительно цели и действий. Для расчёта всегда фиксируйте модель источника, смысл сигналов и правило оценки результата.
Читайте также

Алгоритм ID3: как построить дерево решений
Алгоритм ID3 строит дерево решений по информационному выигрышу. Разбираем энтропию, выбор признака, пример расчёта, условия остановки и ограничения метода.

Энтропия в химии: формулы и смысл реакции
Энтропия в химии: как вычислить изменение энтропии реакции, учесть окружение и связать энтальпию с энергией Гиббса. Примеры расчёта, единицы измерения и частые ошибки.

h-s диаграмма водяного пара: процессы и расчёт
Как читать h-s диаграмму водяного пара, находить степень сухости и изображать расширение в турбине, дросселирование и нагрев. Пример расчёта по таблице насыщения.

Изменение энтропии при нагревании вещества
Как найти изменение энтропии при нагревании вещества: формула через теплоёмкость, расчёт с логарифмом, переменная теплоёмкость и границы применимости модели.

Правило Трутона: энтропия испарения и формула
Правило Трутона утверждает, что ΔS_исп = ΔH_исп / T_кип - 88 Дж/(моль·К) для нормальных жидкостей. Разбор формулы, примеры расчётов и причины отклонений.

Изменение энтропии при плавлении льда
Изменение энтропии при плавлении льда: формула ΔS = mλ/T, выбор температуры в кельвинах, учёт холодного льда и подробное решение типовой задачи по физике.