Cita:
Iniciado por nevir me gustaria saber que hace exactamente este archivo en los motores de busqueda,
me interesa una explicacion detallada
The Robot Exclusion Standard Robots FAQ FAQs de google
Mi explicación...
indica que se aplica a todos los robots... si fuera solo el de google sería User-agent: Googlebot
Cita: Disallow: /admincp/
Disallow: /modcp/
Disallow: /stats/
No deja que los robots indexen los directorios
admincp,
modcp y
stats No deja que se indexe contenido generado dinamicamente con la string o.php, osea los links exteriores a fdw
