leer ultimas lineas de archivo remoto grande

[Randill]

tengo en un ftp un archivo de log de 6mb, ke en ocasiones puede llegar a 20mb y no hay mayor latencia ni limitaciones de ancho de banda entre el hosting y el ftp.

Lo ke kiero hacer es leer las ultimas lineas de este archivo de log, de forma rapida.

Actulamente tengo un script ke lo hace localmente, pero al momento de hacerlo remoto, lee la primera linea del (por k es lo primero k llega), y arroja errores por ke aun no llega el resto del archivo.

Tonces como puedo leer estas lineas rapidamente?.

[GatorV]

Tienes que aumentar el tamaño de tiempo de ejecución de tu script, ya que por defecto a los 30 segundos se corta.

Otra opción más rápida es crear un "servicio" donde tu solo le pidas las ultimas lineas y este lea el archivo del ftp via local y solo te entregue las ultimas lineas.

Saludos.

[a2a2]

No se si se puede hacer en PHP, pero en PERL para ver las ultimas 10 líneas sería tan facil como ésto:
`tail -10 fichero`

[Randill]

Gatorv, No tengo problemas con el tiempo de ejecucion del script, el problema es ke como es remoto, se trasmiten las primeras lineas del archivo y el fseek toma como ultima linea, la primera ke encuentra (ke es la unica k se alcanzo a transmitir).

Tampoco puedo crear un servicio, por ke el archivo esta en un ftp externo, lo k busco es algo k emule al tail, lo cual no puedo hacerlo en perl, pk el archivo es remoto y no tengo soporte :p.

[jam1138]

No entiendo bien la función del script que dices --entiendo-- te funciona en local y no en remoto. Quizá sería bueno mostrar el código.

Ahora, sugiero, ¿por qué no en lugar de emular "tail", haces uso de él?. Podrías mandarlo a ejecutar con la función exec() de PHP.

www.php.net/function.exec

[Randill]

haber, me funciona de forma local, por ke se abre el archivo directamente, pero al ser remoto el archivo primero debe transferirse desde una makina a donde ejecuto el script, es por eso k no puedo usar tail.

Imagina esto, tengo un archivo en un ftp ke contiene esto 123456, donde cada numero es una linea y kiero leer la linea 6.
El script de forma local habre el archivo y va directo a las 6, y funciona
Cuando es remoto, se habre el arhivo k empieza a transferirse, llega la linea 1 y esa es la ke cree k es la ultima (ya que aun no llega la 2), tonces falla.

La solucion de eso seria, especificarle a la funcion fopen, k en vez de comenzar a transmitir la linea 1, comience por la linea 6, o decirle ke solo kiero obtener los ultimos 100 kb (por ejemplo), del archivo.
Creo k me estoy convenciendo k es imposible.

[jam1138]

... ya; Ss solo el archivo el que se encuentra en otra máquina, y no tienes acceso a aquella máquina, como para pensar en una solución de aquel lado.

A como lo cuentas el error es que estás intentando leer información que no tienes (pues el archivo está en transferencia)... pero ¿cómo estas leyendo dicho archivo?. Nuevamente: muestra el código para ver qué pasa.

Iniciado por Randill

La solucion de eso seria, especificarle a la funcion fopen, k en vez de comenzar a transmitir la linea 1, comience por la linea 6 [...]

Poniendo 'a+' en el modo de apertura de fopen(), ubica el puntero al final del mismo... luego sería moverte con fseek() para leer esas últimas líneas (nunca lo he hecho)... pero quizá esto ya lo haces, no lo sé.

Y bueno, se podría traer todo el fichero y ya no habrá problema de lectura, pero claro, todo un fichero para leer solo unas líneas... podría no ser tan rápido como lo requieres. No habría mejor solución que tener acceso al servidor donde se encuentre el archivo (tan solo para ejecutar un script).

[a2a2]

Yo no lo he probado personalmente pero en teoría se puede hacer con éste modulo de PERL:
Net::FTP::RetrHandle

Ya que en la synopsis dice:
"Provides a file reading interface for reading all or parts of files located on a remote FTP server, including emulation of seek and support for downloading only the parts of the file requested."

[Randill]

Creo k al poner el a+, tendria el mismo problema ke con el fseek, ya que la funcion fopen, esta bajando la primera parte.

este codigo (php.net) hace parcialmente lo k kiero de forma local, pero en remoto lee la primera linea como ultima y hasta ahi llega.

Código PHP:

  <?php 
readLastLine("ftp://user:[email protected]/archivo.log"); 
function readLastLine ($file) { 
    $fp = @fopen($file, "r"); 
 
    $pos = -1; 
    $t = " "; 
    while ($t != "\n") { 
        if (!fseek($fp, $pos, SEEK_END)) { // *** - fseek returns 0 if successfull, and -1 if it has no succes as in seeking a byte outside the file's range 
            $t = fgetc($fp); 
            $pos = $pos - 1; 
        } else { // *** 
            rewind($fp); // *** 
            break; // *** 
        } // *** 
    } 
    $t = fgets($fp); 
    fclose($fp); 
    return $t; 
} 
?>   

Transferir el archivo luego de procesarlo no me sirve, ya que la idea es k sea casi instantaneo y el archivo rondea los 20 mb.

En cuanto a la solucion de a2a2, me dio una idea sobre como podria hacerlo, y es precisamente simulando ke continuo una descarga x ftp, ya que podria transferir solo la ultima parte del archivo lo k seria mas rápido. Ahora busco como se hace eso en php :p. Muchas gracias, luego cuento como salio todo.