Cita: Bajar de posicion no indica penalización, simplemente que Google se dio cuenta que tu web es menos importante que tu competencia
Pero si estás en la primera página, bajar a la 5ta o 6ta es mucho, durante el período de inicio de posicionamiento, tiendes a bajar y subir, pero es cuando estás después de la segunda página que los cambios son tan bruscos, en la primera, la tendencia es casi siempre a bajar o subir una a 2, quizás un poco más. A menos que estés en un mercado demás de agresivo.
También puede ser que haz perdido algúnos enlaces, o bien, el buscador los ha dejado de tomar cómo relevantes. Haz hecho cambios en tu contenido o tienes problemas en tu estructura.
Quizás una web que te enlazaba con mucho valor, fue penalizado y dejó de serte útil el enlace.