Упростим:
(5-а)² - (а-3)² =  5²-2*5а+а² - (а² -2*3а +3²) =
= 25 -10а+а² -а² +6а-9 = -4а +16

при а= -  1/4  
-4  *  (-1/4)  + 16 = 1+16=17

проверим на полном выражении:
(5-  (-1/4)) ² - ( -1/4 -3)²  = (5+0,25)² - ( -0,25-3)²=
= 5.25²  -  ( -3,25)² = 27,5625 - 10,5625=17

ОТВЕТ : 17.