Давайте сначала упростим выражение.

У нас есть √(x-4√(x+1)+5) и √(x+4√(x+1)+5).
Для начала, заметим, что x - 4√(x+1) + 5 = (√x - 2√(x+1))^2
То есть это (a-b)^2, где a = √x, b = 2√(x+1), x-4√(x+1) = a^2 - b^2 = (a+b)(a-b) = (√x + 2√(x+1))(√x-2√(x+1))

Таким образом √(x-4√(x+1)+5) = √(√x + 2√(x+1))(√x-2√(x+1))

Аналогично можно показать, что √(x+4√(x+1)+5) = √(√x - 2√(x+1))(√x+2√(x+1))

Теперь наше уравнение становится √(√x + 2√(x+1))(√x-2√(x+1)) + √(√x - 2√(x+1))(√x+2√(x+1) = 4

Это уравнение уже проще, и его можно решить методом подстановки.
После замены a = √x и b = √(x+1), получим уравнение вида (a+2b)(a-2b) + (a-2b)(a+2b) = 4

Затем общее решение можно перевести в исходную переменную.