Надо определить попадает ли точка в область определения. Проверьте пжлста что не так?
program lab2
real x,y,z,R
integer M
R=1.0
print*,' x=?';read*,x
print*,' y=?';read*,y
if(x<=0.0.AND.y>=-2.AND.x>=-1.AND.x>=0.0.AND.y>=x-2..OR.x*x+y*y<=R*R) then
z=1/sin(x)+alog(abs(y))
M=1;print*,'YES'
else
z=x**3+x**2*y+y**3
M=2;print*,'NO'
end if
end