Здесь нужно использовать способ группировки.
1) х³ + 3х² + 3х + 9 = (х³ + 3х²) + (3х + 9) = х²(х+3)+3(х+3) = (х+3)(х²+3)

2) х² - ху -2х + 2у = (х² - ху) - (2х - 2у) = х(х-у)-2(х-у) = (х-у)(х-2)

3) m² + mn - 5m - 5n = (m²+mn)-(5m+5n) = m(m+n)-5(m+n) = (m+n)(m-5)

4) a² - ab - 3a + 3b = (a²-ab)-(3a-3b) = a(a-b)-3(a-b) = (a-b)(a-3)

5) 10ay-5by+2ax-bx=(10ay-5by)+(2ax-bx)=5y(2a-b)+x(2a-b)=(2a-b)(5y+x)