Foros del Web » Programando para Internet » PHP »

Consulta general...

Estas en el tema de Consulta general... en el foro de PHP en Foros del Web. Hola gente: Estoy intentando hacer un pequeño "robot" para visitar sitios. Lo que quiero hacer es un script que se lance a X hora (mediante ...
  #1 (permalink)  
Antiguo 13/01/2006, 05:21
Avatar de FuLaNo_  
Fecha de Ingreso: mayo-2003
Ubicación: Don Torcuato, Buenos Aires, Argentina
Mensajes: 1.250
Antigüedad: 14 años, 6 meses
Puntos: 2
Consulta general...

Hola gente:

Estoy intentando hacer un pequeño "robot" para visitar sitios.

Lo que quiero hacer es un script que se lance a X hora (mediante un cronjobs seguramente) y verifique los links que tengo en mi base de datos, el tema es que no se como hacerlo, me dan algunas ideas? (no necesito codigo, si no ideas).

Pensaba en hacer un fopen a cada url, pero luego pense que sería mejor utilizar show_source() así de paso leo las etiquetas metas y title y las escribo en un log (para luego ver si hubo cambios y demas).

Que les parece? como lo harian ustedes?

Otra cosa, como puedo hacer para identificarme ante el otro servidor como un robot??? o sea, para que luego en las estadisticas a la persona le figure X nombre como el autor de la visita, asi como google se identifica como "GoogleBot"....

En fin, espero sus consejos sabiendo que mi duda es bastante general.
__________________
I Love Programming...
  #2 (permalink)  
Antiguo 13/01/2006, 08:17
O_O
 
Fecha de Ingreso: enero-2002
Ubicación: Santiago - Chile
Mensajes: 34.417
Antigüedad: 15 años, 11 meses
Puntos: 126
Tendrías que simular una conexión por sockets usando el protocolo HTTP para realizar tu conexión HTTP.

Es decir .. dentro de la conexión por el "socket" abierto al puerto HTTP correspondiente, lo que hacees es definir parámetros como por ejemplo la "identificación" del cliente (tu "robot"), y otros datos, .. También por el mismo "socket" recibes la respuesta de la página que te conectas para que la proceses, por ejemplo para revisar si te dió un error 404 de no existe o algun otro .. o simplemente un 200 que sería el "OK" (conexión establecida y respuesta correcta).

Todo esto lo puedes hacer con la función fsockopen() y de ahí implementar parte del protocolo HTTP que necesites.

http://www.php.net/fsockopen

SI no quieres complicarte mucho y como el protocolo HTTP ese eso mismo .. un "protocolo" standard, revisa alguna classe/función que te ayude a esta parte y así te dedicas al fondo de tu aplicación ... En los comentarios de los usuarios de la función fsockopen() tienes ejemplos. Tambien podrías usar cURL (www.php.net/curl)

Un saludo,
  #3 (permalink)  
Antiguo 13/01/2006, 08:56
Avatar de FuLaNo_  
Fecha de Ingreso: mayo-2003
Ubicación: Don Torcuato, Buenos Aires, Argentina
Mensajes: 1.250
Antigüedad: 14 años, 6 meses
Puntos: 2
Gracias cluester, voy a chequear la funcion fsockopen y los ejemplos de php.net.
__________________
I Love Programming...
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 13:19.