Рассматриваются четырёхзначные числа, у которых разница между наибольшей и наименьшей цифрами не превосходит пяти. а) Найти энтропию первой и последней цифр таких чисел. б) Сколько информации первые две цифры такого числа несут о последних двух цифрах? в) Выясните, зависит ли сумма цифр такого числа от разности между наибольшей и наименьшей цифрами?

Предыдущий
вопрос Следующий
вопрос

а) Для начала посчитаем вероятности каждой цифры быть первой или последней в четырёхзначном числе. Учитывая условие, что разница между наибольшей и наименьшей цифрами не превосходит пяти, имеем следующие вероятности:

Вероятность выбора наибольшей цифры = 1/9 (имеется 9 вариантов для выбора наибольшей цифры)Вероятность выбора наименьшей цифры = 1/9 (имеется 9 вариантов для выбора наименьшей цифры)Вероятность выбора оставшихся двух цифр = 1 (остаётся два варианта для выбора оставшихся двух цифр)

Таким образом, энтропия первой и последней цифр числа будет:
H = - (1/9 log2(1/9) + 1/9 log2(1/9) + 1 log2(1)) = - (2 (-3.17) + 0) = 6.34

б) Для расчёта количества информации, которое несут первые две цифры о последних двух цифрах, используем формулу условной энтропии:
H(X|Y) = H(X,Y) - H(Y)

Где:
H(X,Y) - энтропия пары переменных X и Y
H(Y) - энтропия переменной Y

Посчитаем:
H(X,Y) = - (2/81 log2(2/81) + 2/81 log2(2/81) + 1 log2(1)) = - (2 (-6.38) + 0) = 12.76
H(Y) = - (1/9 log2(1/9) + 1/9 log2(1/9) + 1 log2(1)) = - (2 (-3.17) + 0) = 6.34

Теперь подставим полученные значения в формулу:
H(X|Y) = 12.76 - 6.34 = 6.42

Следовательно, первые две цифры числа несут 6.42 бит информации о последних двух цифрах.

в) Сумма цифр такого числа зависит от разности между наибольшей и наименьшей цифрами. Например, если разница между наибольшей и наименьшей цифрами равна 5, то сумма цифр будет максимальной (9 + 4 + 0 + 0 = 13). А если разница равна 0, то сумма цифр будет минимальной (0 + 0 + 0 + 0 = 0). Следовательно, сумма цифр числа зависит от разности между наибольшей и наименьшей цифрами.