Для вычитания длин измеряемых в метрах и дециметрах приведем их к одной единице измерения.

8м = 80дм
6дм = 6дм
9см = 0.9дм
5м = 50дм
3дм = 3дм

Теперь вычтем:

80дм + 6дм + 0.9дм - 50дм - 3дм = 86дм - 53дм = 33дм

Исходное выражение 8м 6дм 9см - 5м 3дм равно 3дм.