(5a-b)^2 - (a+b)(a+b) = 25a^2 - 10ab + b^2 - (a^2 + 2ab + b^2)
= 25a^2 - 10ab + b^2 - a^2 - 2ab - b^2
= 24a^2 - 12ab.