Tema: robots.txt
Ver Mensaje Individual
  #2 (permalink)  
Antiguo 04/02/2011, 13:09
nainona
Colaborador
 
Fecha de Ingreso: septiembre-2010
Ubicación: Alpedrete,Madrid
Mensajes: 623
Antigüedad: 13 años, 7 meses
Puntos: 146
Respuesta: robot.txt

pues puede ser, entiendo que con ese robots.txt solo le das paso a los robots esos de mediapartners (sean de google o no). El disallow creo que no deberia afectar porque no especificas nada, pero vamos, a no ser que necesites algo en especial, metele un :

User-agent:*

y ya tienen acceso todos los bots, si ves que alguno te da por saco, lo bloqueas pero no debiera darte problema, en general.

pd: importante si usas el robots.txt, QUITAR las metas de robots, ojino