Cita: esque se ha chupado este mes 500Mb de transferencia y el del msn casi 200Mb
¿Solo de contenido HTML? ¿O te estan leyendo las imagenes? Porque con paginas de 50kb esos 500mb equivalen a 10.000 paginas/accesos. En problemas de transferencia, lo primero que yo haria seria prohibir a los robots acceder a las imagenes. Lo segundo a bloquear a los robots son los directorios de ficheros js y css. Y si usas un CMS (prefabricado o hecho por ti), bloquear las paginas que no tienen contenido util. Basicamente dejarle solo leer los HTML de contenido. Tambien miraria las urls que intenta indexar, sobre todo si contienen el parametro de id de sesion. Ahora mismo no se si googlebot sigue tomando como paginas distintas las URLs cuya unica diferencia es el valor del id de sesion presente como parametro en la URL.
Saludos.