теория информации
Статьи EssayAI по теме «теория информации»: разборы, методы и примеры.

Дифференциальная энтропия: формула и примеры
Дифференциальная энтропия непрерывной величины: формула, примеры для равномерного и нормального распределений, отрицательные значения, масштаб и квантование.

Колмогоровская сложность: длина кратчайшего описания
Что такое колмогоровская сложность строки, как связаны программы и сжатие, почему большинство строк несжимаемы и нельзя вычислить точное значение сложности.

Условная энтропия: формула и пример расчёта
Условная энтропия измеряет неопределённость после наблюдения. Разбираем формулу, расчёт по таблице вероятностей, двоичный канал и связь с взаимной информацией.

Формула Шеннона: количество информации в битах
Формула Шеннона простыми словами: как измерить количество информации в битах, чем I = log2 N отличается от энтропии источника, как считать редкие события и где студенты ошибаются в задачах.

Пропускная способность канала: формула Шеннона-Хартли
Формула Шеннона-Хартли для пропускной способности канала: как полоса пропускания и отношение сигнал/шум задают предельную скорость передачи данных, вывод и разбор числового примера.