У команды \frac два аргумента. Которые должны быть в фигурных скобках. Если они односимвольные, скобки можно опускать \( y= \frac1\xi \). Но не в данном случае. Удивительно, как вообще \( x \) в знаменатель попал, могло быть и хуже.
Хоть так: \( y= \frac{1}{\sqrt{\,x}} \), хоть так: \( y= \frac{1}{\sqrt{\;x}} \), хоть так: \( y= \frac{1}{\sqrt{\quad x}} \).