Archivo robots.txt - evitar indexar carpeta

[hunter18]

Quiero evitar que google ni otro buscador indexe una carpeta o un archivo especifico osea que no aparesca al buscarlo en google.

Mi archivo robots.txt esta asi

Código:

User-agent: *
Allow: /

Me gustaria que quede algo asi

Código:

Permitir todo el contenido
Omitir /carpeta1
Omitir /carpeta50/documento.docx

[lgarciaaco]

Hola, por defecto incluye todo el contenido, la directiva Allow no es necesaria, al menos no en el directorio raiz:

# robots.txt for http://www.example.com/

User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space
Disallow: /tmp/ # these will soon disappear
Disallow: /foo.html

[zxs23]

Perfecto gracias por la aclaracion, saludos