4a^2(b^2+16a^2*b^2)-20ab(0.2ab-1)(8a^2*b^2)^2=4a^2*b^2(1+16a^2)-20ab(0.2ab*64a^4*b^4-64a^4*b^4)=4a^2*b^2(1+16a^2)-20ab(12.8a^5*b^5-64a^4*b^4)=4a^2*b^2(1+16a^2)-20ab*12.8a^4*b^4(ab-5)=4a^2*b^2(1+16a^2)-256a^5*b^5(ab-5) 

Ответ:4a^2*b^2(1+16a^2)-256a^5*b^5(ab-5) 

Больше никак не упростить, только так