то есть sign - это обозначение модуля?
Нет.
\( sign \) означает знак выражения.
Там где гиперболический тангенс отрицательный будет минус один, а где положительный единица.
Иначе, там, где функция отрицательна берется минус единица, там же, где функция положительна - плюс единица, а там, где она равна нулю - ноль.
Например, в вашем случае: