Формула Шеннона

Вычисление количества энтропии по таблице вероятностей с помощью формулы Шеннона.

Эта страница существует благодаря следующим персонам

Timur

Timur

Создан: 2013-06-04 12:27:46, Последнее изменение: 2020-11-03 14:19:30
Creative Commons Attribution/Share-Alike License 3.0 (Unported)

Этот материал распространяется на условиях лицензии Creative Commons Attribution/Share-Alike License 3.0 (Unported). Это означает, что вы можете размещать этот контент на своем сайте или создавать на его основе собственный (в том числе и в коммерческих целях), при условии сохранения оригинального лицензионного соглашения. Кроме того, Вы должны отметить автора этой работы, путем размещения HTML ссылки на оригинал работы https://planetcalc.ru/2476/. Пожалуйста оставьте без изменения все ссылки на других авторов данной работы или работы, на основе которой создана данная работа (если таковые имеются в спроводительном тексте).

Энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p0, p1, …pN-1}, т. е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье «Математическая теория связи».

H(X)= - \sum_{i=1}^np(x_i)\log_b p(x_i)

Минус используется из-за того, что логарифм числа меньшего единицы, величина отрицательная. Но так как
-\log a = \log \frac{1}{a},
то формулу можно записать еще в виде

H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}

\log_b \frac{1}{p(x_i)}
интерпретируется как частное количество информации, получаемое в случае реализации i-ого варианта (I_i).

Таким образом энтропия в формуле Шеннона является средней характеристикой — математическим ожиданием распределения случайной величины {I0, I1, … IN-1}, и может быть использована как мера информационной неопределенности.

Ниже два калькулятора — один рассчитывает энтропию по заданной таблице вероятностей, другой — на основе анализа встречамости символов в блоке текста.

PLANETCALC, Формула Шеннона

Формула Шеннона

Знаков после запятой: 2
Энтропия, бит
 

PLANETCALC, Формула Шеннона

Формула Шеннона

Знаков после запятой: 2
Энтропия, бит
 

Ссылка скопирована в буфер обмена
PLANETCALC, Формула Шеннона

Комментарии