По определению корня четной степени (в том числе и второй) это число больше или равное 0
надо сравнить √11 и 3 .... √11gt; √3²
значит √(3-√11)²=√11-3