EssayAI
Блог
Блог

теория информации

Статьи EssayAI по теме «теория информации»: разборы, методы и примеры.

Дифференциальная энтропия: формула и примеры

Дифференциальная энтропия: формула и примеры

Дифференциальная энтропия непрерывной величины: формула, примеры для равномерного и нормального распределений, отрицательные значения, масштаб и квантование.

8 ноября 20268 минут
Колмогоровская сложность: длина кратчайшего описания

Колмогоровская сложность: длина кратчайшего описания

Что такое колмогоровская сложность строки, как связаны программы и сжатие, почему большинство строк несжимаемы и нельзя вычислить точное значение сложности.

8 ноября 20268 минут
Условная энтропия: формула и пример расчёта

Условная энтропия: формула и пример расчёта

Условная энтропия измеряет неопределённость после наблюдения. Разбираем формулу, расчёт по таблице вероятностей, двоичный канал и связь с взаимной информацией.

8 ноября 20269 минут
Формула Шеннона: количество информации в битах

Формула Шеннона: количество информации в битах

Формула Шеннона простыми словами: как измерить количество информации в битах, чем I = log2 N отличается от энтропии источника, как считать редкие события и где студенты ошибаются в задачах.

11 июня 20268 минут
Пропускная способность канала: формула Шеннона-Хартли

Пропускная способность канала: формула Шеннона-Хартли

Формула Шеннона-Хартли для пропускной способности канала: как полоса пропускания и отношение сигнал/шум задают предельную скорость передачи данных, вывод и разбор числового примера.

11 июня 20268 минут