Script de búsqueda en Google

[Anonimo12]

Buenas:

He programado un script que hace búsquedas en Google con cURL de PHP, el cual funciona a la perfección. Sin embargo aunque use proxy, se acaba dando cuenta de que no es un usuario sino un script automatizado el que hace las búsquedas y tengo que esperar algunas horas antes de volver a lanzar el script, ya que me devuelve le mensaje:

Your computer or network may be sending automated queries. To protect our users, we can't process your request right now.

El script es muy sencillo, le paso la URL a cURL (www.google.es?q=prueba+busqueda) y la lanzo, nada más.

Estoy seguro de que esto se puede evitar porque hay un millón de screpers para google, pero necesito saber cómo. Hasta el momento he añadido:

1. Un proxy
2. Un timeout para que haga una consulta a google cada 20 segundos, y no de manera constante.

¿Qué más debo hacer para evitar que google se dé cuenta de que no es un usuario?. Uso cURL de PHP.

¡Gracias!, un cordial saludo.

[enlinea777]

usa un agente del brouser que no use javascript. o uno antiguo.

[Anonimo12]

Oh, gracias.

¿Qué ventaja tiene eso?. ¿Me darías un ejemplo de cuál podría usar?.

Te refieres a la opción CURLOPT_USERAGENT ¿verdad?, tengo puesto lo que venía en el ejemplo en el que me basé:

Código PHP:

  curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
curl_setopt($ch, CURLOPT_HTTPHEADER, array("Accept-Language: es-es, en"));  
   

Quizá me puedas iluminar, gracias de nuevo.

[pateketrueke]

¿Es ético lo que estás realizado?

¿Ya leíste las normas del foro para saber si es correcto publicar esto?

[Anonimo12]

Buenos días pateketrueke:

Si, leí las normas del foro, llevo 6 años aquí aunque comente poco jeje

Es ético puesto que la finalidad es educativa, aunque si no fuera así no habría problema puesto que google no lo prohibe tajantemente, solo dice que no se abuse de las búsquedas automatizadas, de hecho hay hasta extensiones para google chrome en la web oficial que hacen scraping en google jajaja.

Un abrazo.

[enlinea777]

Iniciado por Anonimo12

Oh, gracias.

¿Qué ventaja tiene eso?. ¿Me darías un ejemplo de cuál podría usar?.

Te refieres a la opción CURLOPT_USERAGENT ¿verdad?, tengo puesto lo que venía en el ejemplo en el que me basé:

Código PHP:

  curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
curl_setopt($ch, CURLOPT_HTTPHEADER, array("Accept-Language: es-es, en"));  
   

Quizá me puedas iluminar, gracias de nuevo.

si a eso me refiero.
por ejemplo yo uso una agente de palm para que google crea que soy un parato viejo y que solo sirvo para buscar cosas basicas.
me explico
(google usa muchisimo javascript para determinar si tu eres una maquina usa tambien un delay o timeout al azar de unos 10 a 30 segundos) para que las llamadas no tengan un patron y al usar un agente sin javascript por ejemplo uno de telefono antiguo como nokia o motorola no se preocupara por validar pormedio de javascript.

te dejo el user agent de Nokia6630 para navegacion wap

Código PHP:

  Nokia6630/1.0 (2.3.129) SymbianOS/8.0 Series60/2.6 Profile/MIDP-2.0 Configuration/CLDC-1.  
   

black berry

Código PHP:

  BlackBerry7520/4.0.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/5.0.3.3 UP.Link/5.1.2.12 (Google WAP Proxy/1.0)  
   

Palm

Código PHP:

  Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; PalmSource/hspr-H102; Blazer/4.0) 16;320x320  
   

[Anonimo12]

Eres un hacha, muchas gracias, la verdad es que ha mejorado el rendimiento bastante y ahora hago muchas más consultas antes de que me salte la detección de google.

Si alguien puede dar nuevas recomendaciones sería la leche, ¿cómo evitar que google se dé cuenta de que no es un usuario el que hace la búsqueda? cuando se usa cURL como indico arriba.

Un cordial saludo.

[enlinea777]

me alegro que te sirva.

otra cosa que aprendi con google es que no solo existe google.com sino que hay un dominio para cada pais.
podrias rotar las consultas entre servidores de google y una opcion es entre proxys para poder consultar no solo de la misma ip.

[Anonimo12]

Buenos días!

Lo he probado pero no sé si es por alguna configuración o lo hace google siempre, redirecciona a la extensión del país del a IP.

Por ejemplo si la IP es española y hago la búsqueda en https://www.google.com, me redirecciona a https://www.google.es antes de darme el resultado. Sé que cURL tiene una opción para no redireccionar:

Código PHP:

  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);  
   

Pero si la desactivo no puedo obtener la respuesta ya que google la devuelve después de la redirección.

Un par de dudas que igual puedes resolverme:

¿Qué es mejor, desactivar o activar las cookies?, hasta donde sé para activarlas basta con meter una variable en la opción correspondiente:

Código PHP:

          curl_setopt($ch, CURLOPT_COOKIEFILE, $cookies); 
        curl_setopt($ch, CURLOPT_COOKIEJAR, $cookies);  
   

Y para desactivarlas se pone unas comillas vacías:

Código PHP:

          curl_setopt($ch, CURLOPT_COOKIEFILE, ''); 
        curl_setopt($ch, CURLOPT_COOKIEJAR, '');  
   

¿Es correcto?, ¿y cómo debería ejecutarlo para evitar la detección de google, con o sin cookies?.

También he estado dándole vueltas y si varío entre proxys creo que la única forma que tiene de detectar que la búsqueda se hace desde el mismo sitio es el dominio, así que he añadido esto:

Código PHP:

  curl_setopt($ch, CURLOPT_REFERER, 'https://www.google.es');  
   

Pero esto ha sido una ocurrencia mía, así que no sé si estoy en lo cierto o no jaja

Graias de nuevo. Un saludete.

[Anonimo12]

Buenos días!

Lo he probado pero no sé si es por alguna configuración o es que google lo hace siempre, pero me redirecciona a la extensión del país de la IP.

Por ejemplo si la IP es española y hago la búsqueda en https://www.google.com, me redirecciona a https://www.google.es antes de darme el resultado. Sé que cURL tiene una opción para no redireccionar:

Código PHP:

  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);  
   

Pero si la desactivo no puedo obtener la respuesta ya que google la devuelve después de la redirección.

Un par de dudas que igual puedes resolverme:

¿Qué es mejor, desactivar o activar las cookies?, hasta donde sé para activarlas basta con meter una variable en la opción correspondiente:

Código PHP:

          curl_setopt($ch, CURLOPT_COOKIEFILE, $cookies);
        curl_setopt($ch, CURLOPT_COOKIEJAR, $cookies);  
   

Y para desactivarlas se pone unas comillas vacías:

Código PHP:

          curl_setopt($ch, CURLOPT_COOKIEFILE, '');
        curl_setopt($ch, CURLOPT_COOKIEJAR, '');  
   

¿Es correcto?, ¿y cómo debería ejecutarlo para evitar la detección de google, con o sin cookies?.

También he estado dándole vueltas y si varío entre proxys creo que la única forma que tiene de detectar que la búsqueda se hace desde el mismo sitio es el dominio, así que he añadido esto:

Código PHP:

  curl_setopt($ch, CURLOPT_REFERER, 'https://www.google.es');  
   

Pero esto ha sido una ocurrencia mía, así que no sé si estoy en lo cierto o no jaja

Graias de nuevo. Un saludete.

EDITO:

Outch, se ha publicado 2 veces el mensaje sorry, la conexión vaya. Pueden borrar el anterior y dejar este gracias.