Sé que robots.txt (quizá entre otras cosas) sirve para restringir el acceso a los motores de búsqueda hacia partes de un sitio web.
Mi duda es la siguiente:
Yo tengo esto colocado en mi robots.txt
Código:
User-agent: *
Disallow: /
y necesito saber si es correcto para que me bloquee el sitio
completo en todos los buscadores, es decir,
no quiero que aparezca mi sitio en los buscadores (es un proyecto interno).
Saludos