Алфавит состоит из 4 букв (А, Б, В, Г). Подсчитали, что в тексте написанном на этом языке содержится 10000 знаков: букв А – 4000, букв Б – 1000, букв В – 2000, букв Г – 1500, точек – 500, пробелов – 1000. Какой объем информации содержит текст?

Предыдущий
вопрос Следующий
вопрос

Объем информации в тексте можно выразить как сумму информации, содержащейся в каждом знаке текста.

Для каждой буквы или символа мы можем вычислить количество бит информации, необходимое для кодирования этого символа по формуле: I = -log2(p), где p - вероятность появления символа.

Для буквы А: I(A) = -log2(4000/10000) = -log2(0.4) ≈ 1.32 бит
Для буквы Б: I(Б) = -log2(1000/10000) = -log2(0.1) ≈ 3.32 бит
Для буквы В: I(В) = -log2(2000/10000) = -log2(0.2) ≈ 2.32 бит
Для буквы Г: I(Г) = -log2(1500/10000) = -log2(0.15) ≈ 2.74 бит
Для точки: I(.) = -log2(500/10000) = -log2(0.05) ≈ 4.32 бит
Для пробела: I(пробел) = -log2(1000/10000) = -log2(0.1) ≈ 3.32 бит

Теперь можем посчитать общий объем информации в тексте:
Объем информации = 4000 1.32 + 1000 3.32 + 2000 2.32 + 1500 2.74 + 500 4.32 + 1000 3.32 = 7480 бит

Таким образом, текст содержит 7480 бит информации.