Google tiene al respecto varias directrices publicadas en el
Centro de Asistencia para Webmasters.
Si tu sitio no vulnera ninguna de ellas, entonces no te penaliza. Si te penaliza, directamente desaparecés del índice y de los resultados de búsqueda.
Yo recomiendo:
siempre mirar qué es lo que está haciendo tu competencia. Si tu competencia trabaja mejor que vos, entonces el SERP de ellos mejorará drásticamente con respecto al tuyo.
Por otro lado, si tu web es muy reciente. Los resultados se han acomodado naturalmente y tu SERP ha gravitado al lugar que corresponde.