Выразить одно из неизвестных и сделать подстановку.

разделим первое уравнение на второе:

у/х = 8  
у = 8х

подставим в первое уравнение:

х^2 *(8x)^3 = 16
x^5 = 1/32
x = 1/2
y = 8x =8* 1/2 = 4

Ответ: х= 1/2    у=4