Функция y=f(|x|) указывает на то, что сначала модуль аргумента вычисляется, а затем результат подается на вход функции f. В то время как функция у=|f(x)| означает, что сначала значение функции f вычисляется для аргумента x, а затем результат модулируется (приводится к неотрицательному значению).

Таким образом, в первом случае модуль применяется к аргументу, а во втором случае - к значению функции.