Ver Mensaje Individual
  #4 (permalink)  
Antiguo 19/04/2010, 10:39
ertomasillo
 
Fecha de Ingreso: abril-2009
Mensajes: 37
Antigüedad: 9 años, 2 meses
Puntos: 3
Respuesta: El funcionamiento de un Spider Web

emmms, me he dado cuenta de una cosa que me contradice mucho... para hacer un spider no se puede hacer mirando desde las Ips 1.1.1.1 a la 254.254.254.254 ya que existen diferentes hostings y esto lo dificulta todo, es decir, si se le hace ping a una blog de google por ejemplo, este devuelve una IP, que es LA MISMA para todos los blogs, ya que ese blog está alojado en los servidores de google, y ya google segun la peticion a su ip, devuelve un blog u otro, asi que hay que hacerlo de otra forma, de este modo si el spider hace un rastreo a esa ip, se lo hace a una web de google y no a los blogs, por poner un ejemplo.

Sigo pensando en los DNS, hacerle una peticion a ellos para obtener listas con webs, pero no se como.