Условная энтропия

Этот онлайн калькулятор рассчитывает средние (полные) условные энтропии H(Y|X) и H(X|Y) случайных величин Y и X по таблице вероятности состояний (X,Y)~p

Пусть имеются две случайные величины X и Y. Если они зависимые, то значения, принимаемые одной из них, могут оказывать влияние на значения, принимаемые другой. Приведем простейший пример: пусть у нас есть урна с двумя шарами - белым и черным. Случайная величина X - цвет шара, вытащенного первым, случайная величина Y - цвет шара, вытащенного вторым. Понятно, что если мы ЗНАЕМ значение какой-либо одной из этих случайных величин, мы также точно знаем значение и второй. Для описания подобной зависимости и используется условная энтропия.

Для расчета условной энтропии нам нужны вероятности появления всех пар значений случайных величин X и Y. В поле ввода ниже нужно ввести матрицу, элемент которой на пересечении i-ой строки и j-ого столбца равен p_{(x_i, y_j)} - вероятности того, что X и Y примут значения {x_i, y_j}, соответственно. Строки соответствуют значениям случайной величины X - {x_1, x_2, ... x_n а столбцы - случайной величины Y - {y_1, y_2, ... y_m}.

Нажав кнопку "Детали расчета" вы сможете увидеть расчет средних условных энтропий. Формулы расчета в общем виде приведены под калькулятором.

PLANETCALC, Условная энтропия

Условная энтропия

Знаков после запятой: 2
H(Y|X)
 
H(X|Y)
 
Файл очень большой, при загрузке и создании может наблюдаться торможение браузера.

Формула условной энтропии

Частная условная энтропия H(Y|x_i) - это количество информации, или энтропия, которая характеризует степень неопределенности значений случайной величины Y, остающуюся после того, как стало известно, что случайная величина X приняла значение x_i.

Средняя или полная условная энтропия H(Y|X) - это количество информации, или энтропия, которая характеризует степень неопределенности значений случайной величины Y, остающуюся после того, как стало известно значение, принятое случайной величиной X.

Средняя условная энтропия Y по X определяется как

\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

Предполагается что выражения вида 0\log 0 и 0\log \frac{c}{0} трактуются как ноль.

Значения p(x) для каждой строки вычисляются суммированием ячеек в этой строке, а p(x,y) - даны.

Эта формула, по факту, является взвешенным средним значением частных условных энтропий для каждого из возможных значений X.

\mathrm {H} (Y|X=x_i)=-\sum _{y\in {\mathcal {Y}}}{P(Y=y|X=x_i)\log _{2}{P(Y=y|X=x_i)}}

Веса пропорциональны значению p(x), то есть

\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)}&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)
=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

Ссылка скопирована в буфер обмена
Creative Commons Attribution/Share-Alike License 3.0 (Unported) PLANETCALC, Условная энтропия

Комментарии