Количество информации, содержащейся в сообщении, можно вычислить в случае, если имеется информация о вероятности появления каждого символа или события.
Формула для вычисления количества информации (I) в битах для события с вероятностью (P) его возникновения:
I = -log2(P)
Данная формула показывает, сколько бит информации несет в себе каждое событие или символ, исходя из его вероятности появления. Чем меньше вероятность, тем больше информации содержится в событии.
Количество информации, содержащейся в сообщении, можно вычислить в случае, если имеется информация о вероятности появления каждого символа или события.
Формула для вычисления количества информации (I) в битах для события с вероятностью (P) его возникновения:
I = -log2(P)
Данная формула показывает, сколько бит информации несет в себе каждое событие или символ, исходя из его вероятности появления. Чем меньше вероятность, тем больше информации содержится в событии.