Формула Шеннона
Вычисление количества энтропии по таблице вероятностей с помощью формулы Шеннона.
Энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p0, p1, …pN-1}, т. е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье «Математическая теория связи».
Минус используется из-за того, что логарифм числа меньшего единицы, величина отрицательная. Но так как
,
то формулу можно записать еще в виде
интерпретируется как частное количество информации, получаемое в случае реализации i-ого варианта ().
Таким образом энтропия в формуле Шеннона является средней характеристикой — математическим ожиданием распределения случайной величины {I0, I1, … IN-1}, и может быть использована как мера информационной неопределенности.
Ниже два калькулятора — один рассчитывает энтропию по заданной таблице вероятностей, другой — на основе анализа встречамости символов в блоке текста.
Формула Шеннона
Комментарии