No lo entiendo en
significa
usuario agente:todos
Permitir : todos
¿NO?
Y por otro lado esto
significa
usuario agente: todos
No permitir: nada
¿No?
En el post que me envias me he encontrado esto
Código:
How do I prevent robots scanning my site?
The quick way to prevent robots visiting your site is put these two lines into the /robots.txt file on your server:
User-agent: *
Disallow: /
but its easy to be more selective than that.
¿Puede que
Allow:/
y
Disallow:
signifiquen lo mismo
Permitir todo y no
permitir nada señalado?
No lo se yo solo quiero que entre en todos los navegadores sin excepcion e indexe todas las paginas ¿Que Pongo?