17/04/2007, 13:22
| |||
| |||
| Consulta sobre robots.txt Hola y gracias por leerme: Tengo un archivo robots.txt asi: User Agent:* Allow:/ Yo quiero que se indexen todas las paginas en todos los buscadores posibles y asi es como lo he puesto en una pagina que he entrado que crea archivos robots.txt y me crea este: User-Agent: * Disallow: ¿Cuál de los dos archivos esta bien para que todas las paginas de mi sitio se indexen en todos los buscadores.? Gracias |
|
17/04/2007, 14:18
| ||||
| ||||
| Re: Consulta sobre robots.txt Con la primera ocurrencia, le estás dando instrucciones a los bots para que no entren a tu sitio y, con la segunda estarías logrando lo que vos querés. A mi entender, la mejor fuente: robotstxt.org (FAQ)
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
|
18/04/2007, 15:18
| |||
| |||
| Re: Consulta sobre robots.txt No lo entiendo en
Código:
significaUser Agent:* Allow:/ usuario agente:todos Permitir : todos ¿NO? Y por otro lado esto
Código:
significaUser-Agent: * Disallow: usuario agente: todos No permitir: nada ¿No? En el post que me envias me he encontrado esto
Código:
¿Puede que How do I prevent robots scanning my site?
The quick way to prevent robots visiting your site is put these two lines into the /robots.txt file on your server:
User-agent: *
Disallow: /
but its easy to be more selective than that.
Allow:/ y Disallow: signifiquen lo mismo Permitir todo y no permitir nada señalado? No lo se yo solo quiero que entre en todos los navegadores sin excepcion e indexe todas las paginas ¿Que Pongo? |
|
18/04/2007, 15:37
| ||||
| ||||
| Re: Consulta sobre robots.txt Ahora te remito a otro documento del mismo sitio: Web Server Administrator´s Guide to the Robots Exclusion Protocol Cita: To exclude all robots from the entire server User-agent: * Cita: To allow all robots complete access User-agent: *Or create an empty "/robots.txt" file. Suerte!
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
|
18/04/2007, 15:58
| |||
| |||
| Re: Consulta sobre robots.txt Mira, en mi web tengo un generador de robots.txt muy sencillo: http://www.cuwhois.com/robots-txt.php Espero que te sirva. |
|
18/04/2007, 17:10
| ||||
| ||||
| Re: Consulta sobre robots.txt Estimado Ocrum2004: Utilizo el enlace y cuando completo All agents Aceptar indexación de todas la páginas: SI Sin excluir URLs. Obtengo por resultado User-Agent: *Lo cual es correcto. Ahora bien, confunde obtener el mismo resultado para All agents Aceptar indexación de todas la páginas: NO Sin excluir URLs.
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
|
18/04/2007, 21:36
| |||
| |||
| Re: Consulta sobre robots.txt El amigo Daniel cita una URL donde esta muy clarito.... ejemplo: User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ Significa que cualquier Robot (user-agent) indexa todo tu sitio... menos las carpetas que estan en "Disallow" Si dejas el Robot.txt por default.. User-Agent: * Disallow: le estas diciendo que cualquier Robot.. indexe todo.. y si le pones la barra.. Disallow: / .excluye absolutamente todo.. ...... ni mas ni menos... saludos.
__________________ tech-nico.com |
|
24/04/2007, 08:54
| |||
| |||
| Re: Consulta sobre robots.txt Daniel: Si, cierto, veo innecesaria la opción de "Aceptar indexación de todas las páginas", puedo obtener los datos de "Excluir URLs ". INtentaré cambiarlo en la próxima actualización. Nuevo recurso: Obtiene etiquetas metas de un dominio, sirve para comprobar si las etiquetas son accesibles para los buscadores. Ejemplo: http://www.cuwhois.com/herramienta-s...orosdelweb.com Espero que os sea útil |
|
27/04/2007, 23:36
| |||
| |||
| Re: Consulta sobre robots.txt También puedes utilizar la propia herramienta de google para comprobar el archivo robots.txt, está en http://www.google.com/webmasters/tools/ |
