El archivo robots.txt más común es el siguiente:
Line 1 User-agent: *
Line 2 Disallow:
El asterisco quiere decir todos. Es decir, todos los buscadores indexarán tu web si piensan que es relevante. Y el disalow, quiere decir los buscadores que no quieres que te visiten.
Más info sobre robots.txt en:
http://www.webtaller.com/google/guia_robots.php
y en
http://www.google.es/search?sourceid...q=robots%2etxt
El archivo robots.txt lo tienes que localizar la carpeta principal de tu hosting.
Esta es una lista de los nombres de robots:
http://www.robotstxt.org/wc/active/html/index.html
Un saludo,
Alejandro.