Fichero Robots.txt

[Brewster]

hola a todos.-

Estoy viendo estos días el funcionamiento de añadir en mis metas la linea.-

<meta name="robots" content="robots.txt">

Por lo que he leido para que esto funcione tengo que poner en la raiz de mi web un fichero txt llamado robots.txt en cual solo contiene lo siguiente:

User-agent: googlebot
Disallow:

Pues lo único que quiero es que me encuentre el Google y no tener restringida ninguna zona de mi web.

¿Es correcto así? ¿O debería poner alguna línea más en ese fichero de texto?, yo por lo que he leído me parece que no, pero me gustaría saber vuestra opinión.

Muchas Gracias

[David_dfd]

Pues para que te indexen todos no tienes que incluir el fichero robots.txt

Es precisamente para lo contrario, el fichero robots.txt restringe el acceso a los distintos direcctorios.

ejemplos:

User-agent: *
Disallow: /enlaces/

Restringe el acceso de todos los robots a el directorio enlaces de tu Web. www.dominio.com/enlaces



User-agent: googlebot
Disallow: /link/

Restringe el acceso de Googlebot al directorio link de tu Web. www.dominio.com/link


Si no es asi que me corrijan.

[Brewster]

En un principio no tenía puesto el fichero, pero tenía puesto la linea en los metas de.-

<meta name="robots" content="*">

Pensando que si no ponía el nombre del fichero robots.txt no buscaría ningún fichero y por tanto no pasaría nada.

Pero en un sitio leí que Google te penaliza si encuentra esa linea en los metas y no existe ningún fichero donde buscar llamado robots.txt

¿Es esto así?, ¿la mejor solución es suprimir esa linea en los metas y no tener ningún fichero de texto?

Espero vuestra respuestas. Muchas gracias por adelantado.

[David_dfd]

Si lo que deseas es que Google te indexe todas las paginas sin ninguna restricción lo mejor es quitar la línea del Meta y no colocar ningún archivo robots.txt

Como te comente antes el archivo robots.txt es precisamente para lo contrario, para que google no te indexe determinadas paginas.

Saludos.

[donpincho]

entonces quereis decir que no poner un robots.txt es igual que ponerlo con:
---------------
# Allow all
User-agent: *
Disallow:
---------------

¿que diferencia hay entre usar un robots.txt con eso que he puesto y usar el meta:
<meta name="robots" content="ALL">
?

[HeckSquare]

Mejor no lo pongas, yo en un principio lo añadí para que indexara todas mis páginas.

Como vi que no aparecía en google... lo eliminé y asunto arreglado.

Hay aspectos más importantes que el robots.txt....