Символы алфавита из 32 букв появляются на экране монитора. Половина букв алфавита возникает с одинаковой вероятностью, равной64 1 , а другая половина букв – тоже с равной вероятностью. Найти энтропию этого алфавита.

Предыдущий
вопрос Следующий
вопрос

Энтропия системы вычисляется по формуле:
H = -Σ p(x) * log2 p(x)

Где p(x) - вероятность появления каждого символа алфавита.

В данном случае, так как у нас две равномерно распределенные половины алфавита с вероятностью 1/2 каждая, вычислим энтропию для одной половины и перемножим результат на 2:

H = 2 (-1/2 log2(1/2) - 1/2 log2(1/2))
H = 2 (0.5 1 + 0.5 1)
H = 2 * 1
H = 2

Таким образом, энтропия этого алфавита равна 2 бит.