Paginas indexadas por Google que ya no existen

[yepayepa3]

Buenos dias.

Tengo un problema que me han dicho que es general, pero no se si es cierto o solo desconocimiento.

Tengo una web que no se si esta siendo penalizada o no por Google.

He hecho un cambio de servidor, cambio en mis urls y diariamente voy borrando paginas. Tengo el sitemaps.xml correcto sin errores, tengo tambien el archivo robot.txt sin errores y las paginas que ya no estan, se van correctamente a la seccion de no se encuentra de google.

Correctamente devuelven el error 404 tal y como google recomienda, pero estas paginas se van acumulando y de ninguna forma se van eliminando.

¿Es esto correcto o google ya las deberia de haber eliminado al comprobar que ya no existen?.