Для начала перепишем выражение:

a^2 - (3ab/5) / a^2 / (10b + 6b^2/a)

Затем упростим выражение с учетом правил операций с дробями:

a^2 - (3ab/5) / a^2 / (10b + 6b^2/a) = a^2 - (3ab/5) * (1/a^2) / (10b + 6b^2/a) = a^2 - 3b/5a / (10b + 6b^2/a)

Теперь найдем общий знаменатель для дробей:

а^2 - 3b/5a = a^3/5a - 3b^2/5a^2

a^2 - 3b/5a / (10b + 6b^2/a) = (a^3 - 3b^2)/ 5a^2 / (10b + 6b^2/a) = (a^3 - 3b^2) / 5a^2 (a / 10b + 6b/a) = a^3 - 3b^2 / 5a^2 (a^2 + 6b^2) / 10ab

Получаем ответ:
(a^3 - 3b^2)(a^2 + 6b^2) / (5a^2)(10ab)