Penalizar es distinto de banear. Cuando te banean desapareces de los resultados, las penalizaciones no se avisan y es difícil averiguarlas porque puedes estar penalizado para una búsqueda en concreto.
Como has hecho cambios importantes recientemente, puede que sea normal, espera unos dias para ver la evolución o vuelve a dónde estabas. Para esto no hay una regla fija, casi es intuición (
yo mantendría los cambios y le daba algo de tiempo).
