25/06/2008, 07:23
| |||
| |||
| archibo robot.txt ??? es correcto esta contruccion del archibo robot.txt si quiero que todos los buscadores visiten todas mis paginas..???? User-Agent: * Allow: / o quizas deberia ser asi ??? User-agent: * Disallow: por la web he consultado varias paginas para comprovar cual es la construccion correcta del archibo y hay quien dice de una manera, y hay quien dice de otra. |
|
25/06/2008, 11:21
| ||||
| ||||
| Respuesta: archibo robot.txt ??? El espíritu del archivo robots.txt es típicamente restrictivo. Es para informarle a los crawlers qué archivos o carpetas no queremos que visiten, y por lo tanto que indexen. Si todo el contenido de tu web es indexable, no existe razón siquiera para que subas el archivo. Suerte!
__________________ —Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit) |
|
26/06/2008, 03:57
| |||
| |||
| Respuesta: archibo robot.txt ??? Es bueno que el fichero robots.txt exista aunque sea para permitir explicitamente el acceso a todos los directorios. De ésa manera tu fichero de log tendrá menos errores pues te evitas que tu servidor responda con un error HTTP 404 al intentar acceder a un fichero inexistente. |
|
27/06/2008, 20:28
| |||
| |||
| Respuesta: archibo robot.txt ??? Te recomendaría que restrinjas contactenos o páginas de ese tipo ya que no te aporta mucho |
