Полный квадрат выдеоить в первом уравнении и замену переменных 3x-2y=t и 2xy=z получится простая система линейных уравнений с двумя неизвестными t и z