Yo creo que quedaría mejor así:
Código HTML:
User-agent: *
Allow: /
O en todo caso:
Código HTML:
User-agent: *
Ya que se supone que si no se especifica ningún "Disallow", todo lo que vean los robots lo van a indexar/rastrear. Además de que en
Robots.txt no se especifica la orden "Allow".
Por cierto, no estaría de más que en el archivo robots.txt se especificara, además, la url del Sitemap:
Código HTML:
User-agent: *
Sitemap: http://www.paginaweb.com/sitemap.xml