googlebot.com es un lector tremendo...

X3mdesign · #1 (**permalink**) 23/02/2005, 02:49

me está haciendo polvo

él solito se ha chupao +500Mb de la transferencia de mi host

... msnbot.msn.com 123Mb... qué puedo hacer para que no se recorran toooooooodo el host y lo indexen??

El dominio lo tengo desde enero... se imagina que ahora la búsqueda de estos bots es mayor por la "novedad"?? puedo cortarles el paso de alguna forma una vez que hayan superado unos Mb de transferencia??

Otra cosa que quería preguntar aprovachando el post... mi host me crea estos archivos: access_log, access_log.processed, error_log, xferlog_regular y xferlog_regular.processed se puede usar algún sistema de estadístcas que recoja esta info?? el del host no me parece muy buen...

bueno, gracias y un saludo!!!!

combinacion · #2 (**permalink**) 23/02/2005, 04:11

Dile que te visite cada X dias:

<META NAME="REVISIT-AFTER" CONTENT="2 Days">
<META NAME="REVISIT" CONTENT="2 days">

X3mdesign · #3 (**permalink**) 23/02/2005, 04:14

gracias combinaciçon ;) añadiré la 2º línea a los que ya tenía para los bots... esto e slo que tenía...

<META NAME="Revisit-after" CONTENT="5 days">
<META NAME="robots" content="INDEX,FOLLOW">

a ver si así...

+oront0 · #4 (**permalink**) 23/02/2005, 09:32

¿Y todos los Bots hacen caso a esa etiqueta? Porque el de Google parece que lo hace cuando le da la bendita gana.

X3mdesign · #5 (**permalink**) 23/02/2005, 09:36

yo aparte tengo el robots.txt con:

User-Agent: *
Allow: /

josemi · #6 (**permalink**) 24/02/2005, 02:16

Hola,

Cita:

Iniciado por +oront0

¿Y todos los Bots hacen caso a esa etiqueta? Porque el de Google parece que lo hace cuando le da la bendita gana.

Ese meta es orientativo/informativo, los robots lo pueden tener en cuenta o no. Normalmente son ellos mismos los que deciden la frecuencia de visita.

saludos.

yenerich · #7 (**permalink**) 24/02/2005, 13:41

El robots.txt SI es utilizado y respetado por todos los buscadores.

Lo que te pregunto es: en verdad deseas que Google no visite tu sitio??

X3mdesign · #8 (**permalink**) 25/02/2005, 02:10

a ver... yo quiero que me visite.. pero esque se ha chupado este mes 500Mb de transferencia

y el del msn casi 200Mb... eso qiere decir que he tenido que bloquear mi dominio para que no me cobren el exceso de transferencia.... me he pasao ya 32Mb

espero que lo dejen pasar

Estoy pensando hen hacer una tabla donde almacenar todos los días la tranferencia de las direcciones host que me visitan... y poner un máximo de 6Mb diarios... y cuando se pasen pues mostrarles una pantalla ponga que se han pasado del límite diario...

Alguien me puede ayudar?? por cierto, mi panel de control es "Plesk" y en la primera página muestra la transferencia usadas hasta el momento... puedo consultar ese dato desde fuera del panel de control??? lo digo porque así al llegar por ejemplo a los 950 transferidos redirigir la página al servidor de mi@... que es lo que he tenido qu ehacer manualmente...

Gracias!!!

walo · #9 (**permalink**) 25/02/2005, 06:58

La unica forma de hacer eso seria usando APIs del panel de control, pero seria una locura pensar en eso, ya que te hace totalmente vulnerable.

Conclucion, no podes obtener el valor de la transferencia consumida.
Aparte de eso, los valores de consumo, generalmente se actualizan un vez al dia.
Por ejemplo, si a la mañana tenes 999Mb consumidos, va a llegar la noche y podrias estar arriba de los 1000Mb

X3mdesign · #10 (**permalink**) 25/02/2005, 07:15

ya... esoty haciendo un sistema para ir almacenando la info de cada IP que se pasa par el portal y guardar las páginas vistas, sus vitidas (+10mins) y los Kb transferidos... a ver que tal me sale ;)...

josemi · #11 (**permalink**) 25/02/2005, 07:16

Cita:

esque se ha chupado este mes 500Mb de transferencia y el del msn casi 200Mb

¿Solo de contenido HTML? ¿O te estan leyendo las imagenes? Porque con paginas de 50kb esos 500mb equivalen a 10.000 paginas/accesos. En problemas de transferencia, lo primero que yo haria seria prohibir a los robots acceder a las imagenes. Lo segundo a bloquear a los robots son los directorios de ficheros js y css. Y si usas un CMS (prefabricado o hecho por ti), bloquear las paginas que no tienen contenido util. Basicamente dejarle solo leer los HTML de contenido. Tambien miraria las urls que intenta indexar, sobre todo si contienen el parametro de id de sesion. Ahora mismo no se si googlebot sigue tomando como paginas distintas las URLs cuya unica diferencia es el valor del id de sesion presente como parametro en la URL.

Saludos.

X3mdesign · #12 (**permalink**) 25/02/2005, 07:31

mmmmmmm, y cómo le indico que no accedan a las imágenes?? el portal es mudular, sólo se carga el index y coge los includes de las carpetas "principal" y "web", cómo los bloqueo la carpeta "lib" ahí es donde tengo la conf. de la BD, sistema de estadísticas, de encuestas, el editor de HTML, los estilos, etc... y ya por último... qué es CMS???

Gracias!!!

X3mdesign · #13 (**permalink**) 28/02/2005, 04:16

he estado investigando... y he añadido esto a mi metaTag "NOIMAGEINDEX" quedándose:

<META NAME="robots" content="INDEX,FOLLOW,NOIMAGEINDEX">

y al robot.txt le he añadido Disallow: /imagenes quedándose:

User-Agent: *
Allow: /
Disallow: /imagenes

no se si ésta es la estructura correcta de indicar que indexe todo menos el directorio /imagenes.... supongo que los subdirectorios tampoco los indexa... no??

Saludos y gracias a todos!!!!