13/12/2010, 18:44
|
| | | Fecha de Ingreso: noviembre-2010
Mensajes: 174
Antigüedad: 13 años, 4 meses Puntos: 12 | |
| Respuesta: Google indexa lo que he bloqueado con robots.txt
@Almez: Yo justo estos días estoy teniendo una "experiencia" con Robots.txt, he bloqueado un directorio de una web y nada, google sigue visitando cada link... lo veo claro porque es un directorio con más de 500,000 ULRs, cuando ocurrio la primera vez (que este es 2do directorio bloqueado) google no le hizo caso al robots.txt así que añadimos las meta-etiquetas y como arte de magia, ya ni recibimos ninguna visita desde buscadores a esas páginas. Fue fácil en mi caso trabajar tantas páginas porque es un theme de joomla así que se edita una vez para toda la sección :)
Por alguna razón que yo desconozco google a veces no le hace caso al robots.txt :) |