Чем отличается формула Хартли от формулы Шеннона?

Предыдущий
вопрос Следующий
вопрос

Формула Хартли и формула Шеннона представляют собой два различных подхода к оценке количества информации в сообщении.

Формула Хартли используется для оценки количества информации в сообщении, основываясь на вероятности появления каждого символа или события. Она определяется как I = log2(N), где N - количество возможных символов или событий.

Формула Шеннона, разработанная Клодом Шенноном, также используется для оценки количества информации в сообщении, но с учетом статистической вероятности появления каждого символа или события. Она определяется как H = -Σ(p(x) * log2(p(x))), где p(x) - вероятность появления символа x.

Таким образом, основное различие между формулой Хартли и формулой Шеннона заключается в том, что первая не учитывает вероятность появления символов, в то время как вторая учитывает степень уверенности при передаче информации.