Problema con codigo PHP, no encuentro el error

[xarmagedonx]

Hola compañeros de FDW!!, estoy desarrollando mi webcrawler pero no logro hacer que funcione.

Ya después de estar programando bastante tiempo, y modificando errores, etc, no logré que arranque. Al subirlo e intentar iniciarlo no me marcó ningún error, sino que quedó en blanco.

El código es el siguiente:

Código PHP:

  // parse the html into a DOMDocument 
$dom = new DOMDocument(); 
@$dom->loadHTML($html); 
 
// Grabando links 
$xpath = new DOMXPath($dom); 
$hrefs = $xpath->evaluate("/html/body//a"); 
 
function extraer($url, $prof){ 
if($prof < 2 and mysql_num_rows($busqueda)==0 and strpos($url, $patron)!==FALSE){ 
    $busqueda = mysql_query("SELECT webUrl FROM webs WHERE webUrl='$url'"); 
    mysql_query("INSERT INTO webs(webTitulo, webDescripcion, webUrl, webKeywords) VALUES ('$titulo', '$descripcion', '$url', '$keywords')"); 
    preg_match_all ("(<title>(.*)<\/title>)siU", $html, $title); 
    preg_match_all ("(<meta name=\"description\" content=\"(.*)\"\/>)siU", $html, $description); 
    preg_match_all ("(<meta name=\"keywords\" content=\"(.*)\"\/>)siU", $html, $keys); 
    $titulo = $title[1][0]; 
    $descripcion = $description[1][0]; 
    $keywords = $keys[1][0]; 
    storeLink($titulo,$descripcion,$url,$keywords); 
    } 
for ($i = 0; $i < $hrefs->length; $i++) { 
    $href = $hrefs->item($i); 
    $url2 = $href->getAttribute('href'); 
    extraer($url2, $prof ++); 
} 
} 
extraer($url, $prof);  
   

No logro entender cual es el error, la parte del código que estoy modificando más es la que les publique, que es la que se encarga de la mayoría de las cosas.

El resto es curl.

Espero que puedan ayudarme, no puedo encontrar el error

Saludos y gracias!

[sgr]

Donde te deberia mostrar algo en pantalla?

[skiper0125]

Hola que tal.

Al parece tu código esta bien, lo único me me queda duda es:
1.- Porque utilizas el @ en:

Código PHP:

   
// parse the html into a DOMDocument 
$dom = new DOMDocument(); 
@$dom->loadHTML($html); 
 
// Grabando links  
   

Recuerda que el @ oculta los posibles errores generados.

2.- No se si tengas incluido un archivo de conexión a la base de datos, de lo contrario eso sería otro error

Para visualizar todos los errores prueba con

Código PHP:

  error_reporting(E_ALL); 
set('display_errors','On');  
   

Saludos

[xarmagedonx]

Gracias por la respuesta,

el error que me da es el siguiente: Parse error: syntax error, unexpected ';' en la línea 30.

Parse error: syntax error, unexpected T_STRING en la línea 31.

Código PHP:

$ch = curl_init();
//Linea 30 es el curl HttPheader
curl_setopt($ch, CURLOPT_HTTPHEADER, array(("Accept-Language: es-es,en"));
//Linea 31 es el curl FAILONERROR
curl_setopt($ch, CURLOPT_FAILONERROR, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
 

Saludos!!, ojala pueda hacerlo funcionar, no quiero rendirme jaja. Gracias a todos los que me están ayudando

[Nemutagk]

Te das cuenta lo que estas haciendo en esta linea?

Código PHP:

curl_setopt($ch, CURLOPT_HTTPHEADER, array(("Accept-Language: es-es,en"));
 

El error es muy claro, dice que no se esperaba el punto y coma (;), ahora cuenta cuantos parentesis hay en esa linea y ve cuantos tienes cerrados, concuerdan? por supuesto que no....

[xarmagedonx]

Si, lo solucione, despues de mirarlo varias veces jajajaja (no entendía que pasaba) y justo estaba haciendo una edicion final jaja. Luego me puse a corregir distintos errores surgidos, pero el problema es que me marca los siguientes errores:

Notice: Undefined variable: hrefs in miarchivo.php on line 64

Notice: Trying to get property of non-object in miarchivo.php on line 64

La línea 64 se encuentra en el código que les mostré:

Código PHP:

for ($i = 0; $i < $hrefs->length; $i++) {
 

Pero esta variable esta definida, un poco más arriba, en la línea 51:

Código PHP:

$hrefs = $xpath->evaluate("/html/body//a");
 

¿Cómo puede ser que no la reconozca?

Muchas gracias por la respuesta!

[Nemutagk]

amigo, te sugiero que leas un manual basico de PHP, que por lo visto no comprendes el funcionamiento (valga la redundancia) de las funciones en PHP, la variable $hrefs esta definida FUERA de la función "extraer" y luego intentas acceder a la variable dentro de la función, lo cual NO ES POSIBLE, las funciones en PHP como en cualquier otro lenguaje tienen la particularidad de encapsular el código, por lo cual no puedes acceder a variables fuera de las funciones ni al rever, acceder a variables dentro de la función desde afuera, en todo caso, debes pasar la variable como parametro, la otra opción (pero que es PESIMA y malas practicas) es poner la variable como global...

[xarmagedonx]

jaja bueno, me siento ya un poco ignorante. Añadí todas las variables adentro de la funcion para que no diga nada de "tenes una variable sin definir".

Y también declare $url $prof, y la funcion storelink afuera de la función para que funcione todo bien.

Y ahora me da un error más:

cURL error number:7
cURL error:couldn't connect to host

Claro no se puede conectar al host, pero, tengo todos los datos correctos, las variables declaradas, y la base de datos a la cual tiene que ingresar, pero a pesar de todo esto no quiere ingresar al host.

Leí que podía ser que hubiera puertos bloqueados, o que un firewall estuviese impidiendo el acceso.

Pero está el archivo subido a un hosting, esto quiere decir que ya es un problema de mi host, y que no voy a poder hacerlo funcionar no?

[Nemutagk]

Sin ver el código modificado es estar adivinando...

[xarmagedonx]

Bueno te dejo el código (son unas 60 lineas):

Código PHP:

//Aca arriba se encuentran algunas variables definidas junto con la funcion storelink
function extraer($url, $prof){
$server_link = mysql_connect("aca", "se", "conecta"); 
 
if(!$server_link){ die("Falló la Conexión ". mysql_error()); 
} 
$db_selected = mysql_select_db("BD", $server_link);
if(!$db_selected){ die("No se pudo seleccionar la Base de Datos ". mysql_error()); 
} 
 
$url = "no";
$patron = "funciona";
$prof = 1;
$userAgent = 'buuuu';
$ch = curl_init();
curl_setopt($ch, CURLOPT_USERAGENT, $userAgent);
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_HTTPHEADER, array(("Accept-Language: es-es,en")));
curl_setopt($ch, CURLOPT_FAILONERROR, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($ch, CURLOPT_MAXREDIRS, 2);
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
$html= curl_exec($ch);
//Aca viene lo peor:
if (!$html) {
    echo "<br />cURL error number:" .curl_errno($ch);
    echo "<br />cURL error:" . curl_error($ch);
    exit;
}
//Si el código quisiera funcionar me haría muy feliz jajajaj
 
$dom = new DOMDocument();
@$dom->loadHTML($html);
 
$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");
 
if($prof < 2 and mysql_num_rows($busqueda)==0 and strpos($url, $patron)!==FALSE){
    $busqueda = mysql_query("SELECT webUrl FROM webs WHERE webUrl='$url'");
    preg_match_all ("(<title>(.*)<\/title>)siU", $html, $title);
    preg_match_all ("(<meta name=\"description\" content=\"(.*)\"\/>)siU", $html, $description);
    preg_match_all ("(<meta name=\"keywords\" content=\"(.*)\"\/>)siU", $html, $keys);
    $titulo = $title[1][0];
    $descripcion = $description[1][0];
    $keywords = $keys[1][0];
    storeLink($titulo,$descripcion,$url,$keywords);
    }
for ($i = 0; $i < $hrefs->length; $i++) {
    $href = $hrefs->item($i);
    $url2 = $href->getAttribute('href');
    extraer($url2, $prof ++);
}
}
extraer($url, $prof); 
//FIN
 

Bueno, muchas gracias por todo, espero tu sentencia

PD: Volví a añadirle la @ al DOM, porque los errores que me muestra son del html de las páginas, para esto estoy viendo como utilizar tiny.

[Nemutagk]

U_U amigo, sin ofender, pero una de dos, o programas sin darte cuenta lo que haces o estas cansado y no ves lo que estas haciendo, en fin, primero, pasas la URL como parametro de la función "extraer", pero luego en la linea 11 vuelves a definir la variable $url pero con el valor no, como quieres que se conecte si no no es una URL valida, aparte, en la variable $userAgent la defines como "buuu", eso nada tiene que ver ¬¬ el hecho de hacer pruebas no quiere decir que puedes usar cualquier string en parametros en funciones como cURL...

[xarmagedonx]

reemplace los datos para no hacer spam y no publicar la contraseña ni nada.

Igual si, ya me arden un poco los ojos jajajja y leí dos veces lo que pusiste al principio creyendo que eran 2 textos distintos.

$url = "aca hay una url";
$patron = "es la misma que la url";
$prof = 1;
$userAgent = 'Aca va un user agent, como Google bot, o algun otro para logearse como este';

Perdon por no haber aclarado =P

[Nemutagk]

has hecho pruebas desde local?, si en local funciona y en el hosting no funciona es porque una de dos, tiene bloqueado el puerto a usar, o, no permiten conexiones remotas, en todo caso investiga con tu hosting...

[xarmagedonx]

Ok, gracias por la respuesta, me voy a dormir y mañana instalo PHP, MySQL, y hago las pruebas, si funciona lo comento por acá, sino sigo haciendo preguntas =P.

off: felicidades por tus 2.000 mensajes.


Saludos!!!

[xarmagedonx]

Bueno probé desde otro host, y esto es lo que me sucedió.

Warning: mysql_connect() [function.mysql-connect]: Lost connection to MySQL server at 'reading initial communication packet', system error: 113 in archivo.php on line 13
Falló la Conexión Lost connection to MySQL server at 'reading initial communication packet', system error: 113

[Nemutagk]

Ese es problema es cuando la conexión entre el cliente y el servidor toma demasiado tiempo, pero OJO, no me refiero entre el navegado y el servidor, si no entre PHP y el servidor MySQL, ese es un problema interno del hosting, por lo cual deberías reportarlo al soporte tecnico del hosting....

[xarmagedonx]

Hola de nuevo, instalé el WampServer que viene con todo lo necesario, phpmyadmin, php, mysql, y apache.

Cuando quise hacer funcionar el código en localhost, pasó lo mismo que me había sucedido antes:

cURL error number:7
cURL error:couldn't connect to host

No puedo lograr resolverlo, el codigo no lo modifique, sigue siendo el mismo.

Un saludo, y gracias por la ayuda

[Nemutagk]

Sin vel el código real no puedo ayudarte, es estar adivinando que es lo que tienes y que es lo que haces, pueden ser varias las razones, pero repito, es estar adivinando...

[xarmagedonx]

Te lo envio completo por mp, para que puedas verlo mejor, no quería revelar contraseñas o hacer spam con la web.

Igualmente es muy similar al anterior.

Saludos!

[Nemutagk]

Tu código a mi me funciona correctamente, probablemente tienes problemas en tu conexión o con firewall o bloque de puerto, o incluso, si has intentado acceder repetidamente en el sitio es probable que rechacen tus conexiones por seguridad, en fin, pueden ser varios los problemas, pero en cualquier caso no puedo afirmar ninguna de ellas

[xarmagedonx]

Bueno al fin, logré hacerlo "funcionar", pero me sale este problema:

Fatal error: Maximum function nesting level of '100' reached

como puedo editar el ese número por uno más elevado?

[skiper0125]

Hola que tal.

puedes configurar ese valor en el php.ini o si lo deseas hacer directamente desde código php lo puedes hacer con

Código PHP:

  init_set();  
   

te dejo la documentación.

http://php.net/manual/es/function.ini-set.php
http://www.php.net/manual/es/ini.list.php

Saludos

[Nemutagk]

Ese es un problema de logica en tu código, el error indica que se entro en un loop recursivo y este hace mas de 100 llamadas a la función, lo mejor es que veas que es lo que estas haciendo, en vez de entrar y reconfigurar el servidor, al menos te lo digo para mantener compatibilidad con servidores donde no podrás modificar ese valor