Для начала перепишем знаменатель в виде разности квадратов:
cos^2(x) - 2sin^2(x) - 4 = cos^2(x) - sin^2(x) - sin^2(x) - 4 = (cos(x) + sin(x))(cos(x) - sin(x)) - sin^2(x) - 4

Теперь можем разложить функцию под знаком интеграла на простые дроби:
dx / (cos^2x - 2sin^2x - 4) = A / (cos(x) + sin(x)) + B / (cos(x) - sin(x)) + C sin(x) + D

Теперь найдем значения A, B, C и D, умножив обе части равенства на знаменатель:
1 = A(cos(x) - sin(x)) + B(cos(x) + sin(x)) + C sin(x) + D(cos^2(x) - sin^2(x) - 4)

Раскроем скобки:
1 = (A + B)cos(x) + (B - A)sin(x) + Dcos^2(x) - Dsin^2(x) - 4D

Сгруппируем и распишем cos^2(x) и sin^2(x):
cos^2(x) = 1 - sin^2(x)

1 = (A + B)cos(x) + (B - A)sin(x) + D(1 - sin^2(x)) - Dsin^2(x) - 4D
1 = (A + B)cos(x) + (B - A)sin(x) + D - 2Dsin^2(x) - 4D

Таким образом, коэффициенты A, B, C и D равны:
A + B = 0
B - A = 0
D - 2D = 0
D = 1

Теперь можем подставить найденные значения обратно в наше выражение и рассчитать интеграл:
dx / (cos^2x - 2sin^2x - 4) = 1 / (cos(x) + sin(x)) - 1 / (cos(x) - sin(x)) + sin(x) + 1

Интеграл будет равен:
∫(dx / (cos^2x - 2sin^2x - 4)) = ln(|cos(x) + sin(x)|) - ln(|cos(x) - sin(x)|) - cos(x) + x + C