hola pitufoweb>
gracias por tu ayuda... ahora tengo otra peque;a duda... como hago para denegar a todo el sitio... el problema es que no quiero que indexeen mi sitio porque es una prueba la que quiero hacer.
disculpa la molestia.
Gracias.
Cita:
Iniciado por pitufoweb 
Solo tienes que especificar cuales son los archivos o carpetas que no quieres que entren los robots.
Ejemplo:
Para denegar el acceso a el archivo
prueba.html y a la carpeta con nombre
privado se haría de la siguiente manera:
Código:
User-agent: *
Disallow: /prueba.html/
Disallow: /privado/
El
* quiere decir que sera para todos los robots (google, yahoo, etc)
El archivo
robots.txt tiene que estar el la rais de tu web.
Bye.