Получить код ссылки
Внешний вид
Пример
УчебаИнформатика

Формула Шеннона

Вычисление количества энтропии по таблице вероятностей с помощью формулы Шеннона
Timur2013-06-04 12:27:46

Энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p0, p1, …pN-1}, т.е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье "Математическая теория связи".

H(X)= - \sum_{i=1}^np(x_i)\log_b p(x_i)

Минус используется из-за того, что логарифм числа меньшего единицы, величина отрицательная. Но так как
-\log a = \log \frac{1}{a},
то формулу можно записать еще в виде

H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}

\log_b \frac{1}{p(x_i)}
интерпретируется как частное количество информации, получаемое в случае реализации i-ого варианта (I_i).

Таким образом энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины {I0, I1, … IN-1}, и может быть использована как мера информационной неопределенности.

Ниже два калькулятора - один рассчитывает энтропию по заданной таблице вероятностей, другой - на основе анализа встречамости символов в блоке текста.

Формула ШеннонаCreative Commons Attribution/Share-Alike License 3.0 (Unported)
Таблица вероятностей событий
Импортировать данные
Для разделения полей можно использовать один из этих символов: Tab, ";" или ",": 
Добавить Импортировать данные Очистить таблицу
0.12345678901234567890
 

Формула ШеннонаCreative Commons Attribution/Share-Alike License 3.0 (Unported)
0.12345678901234567890
 

Комментарии

 Все обсуждения
Защита от спама