Cita:
Iniciado por HiAll 
No, no lo es.
Ese archivo es tomado en referencia por los buscadores para que NO indexen ciertos contenidos.
También lo puedes hacer mediante meta etiquetas robots con un "noindex,follow"...
aunque no esta demás usar ese fichero :) es una ayuda/sugerencia a los crawlers :)
Muchas gracias HiAll por la pronta respuesta!. Slds.