Формула Шеннона

Вычисление количества энтропии по таблице вероятностей с помощью формулы Шеннона.

Энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p0, p1, …pN-1}, т. е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье «Математическая теория связи».

H(X)= - \sum_{i=1}^np(x_i)\log_b p(x_i)

Минус используется из-за того, что логарифм числа меньшего единицы, величина отрицательная. Но так как
-\log a = \log \frac{1}{a},
то формулу можно записать еще в виде

H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}

\log_b \frac{1}{p(x_i)}
интерпретируется как частное количество информации, получаемое в случае реализации i-ого варианта (I_i).

Таким образом энтропия в формуле Шеннона является средней характеристикой — математическим ожиданием распределения случайной величины {I0, I1, … IN-1}, и может быть использована как мера информационной неопределенности.

Ниже два калькулятора — один рассчитывает энтропию по заданной таблице вероятностей, другой — на основе анализа встречамости символов в блоке текста.

PLANETCALC, Формула Шеннона

Формула Шеннона

Знаков после запятой: 2
Энтропия, бит
 

PLANETCALC, Формула Шеннона

Формула Шеннона

Знаков после запятой: 2
Энтропия, бит
 

Ссылка скопирована в буфер обмена
PLANETCALC, Формула Шеннона

Комментарии