Cita:
Iniciado por patilanz 
En serio no sirve para nada?
No todos opinan así. Voy a esperar si alguien mas tiene opinión sobre los robots.
No sometas a votación la verdad, que te puedes llevar sorpresas. Te hablo de la opinión de Google. Incluso en Herramientas para webmaster dice lo mismo que te estoy diciendo.
El archivo robots.txt solo es necesario si tu sitio incluye contenido que no quieres que los motores de búsqueda indexen. Si vas a permitir la indexación de tu sitio por completo, el archivo robots.txt no es necesario (ni siquiera uno vacío).
http://support.google.com/webmasters...&answer=156449
Y en el foro de Google más recientemente
https://productforums.google.com/for...w/F25xxGiMgogJ
Y además te puedo decir que tu puedes dicerle que no indexe lo que sea y eso es solo una sugerencia. Si alguien pone un enlace en la red a esa página pues entonces será indexado. La utilidad de robots.txt es nula, no sirve para nada. Todo lo que hagas con eso lo puedes configurar en las herramientas para webmaster.
Configurando robots.txt, (si puede llamarse asi) no logras nada positivo y si puedes lograr cosas negativas, la más común que que el robot de Google no entienda lo que hay y pase a revisar otros sitios con contenido más accesible.
Cita:
Iniciado por patilanz En serio no sirve para nada?
No todos opinan así. Voy a esperar si alguien mas tiene opinión sobre los robots.
No sometas a votación la verdad, que te puedes llevar sorpresas. Te hablo de la opinión de Google. Incluso en Herramientas para webmaster dice lo mismo que te estoy diciendo.