Объясните условие Фано, однозначный /неоднозначный код, на примере двоичного кодирования букв .

Предыдущий
вопрос Следующий
вопрос

Условие Фано утверждает, что для любого префиксного кода символов, вероятности появления которых упорядочены по убыванию, средняя длина кодового слова не превышает энтропии исходного сообщения. Это означает, что чем чаще встречается символ, тем короче его код.

Однозначный код - это такой код, в котором каждому символу соответствует уникальное кодовое слово, которое нельзя составить из других кодовых слов. Например, двоичный кодирование букв "A" и "B" может быть следующим: A - 0, B - 1.

Неоднозначный код - это такой код, в котором одно кодовое слово можно получить как результат конкатенации других кодовых слов. Например, двоичное кодирование букв "A", "B" и "C" может быть следующим: A - 0, B - 10, C - 11. В этом случае кодовое слово "10" можно интерпретировать как "B" или как последовательное объединение "1" и "0".