Script de Descarga de archivos al servidor desde una URL

[baumann]

Hola, antes de nada, decir que este es mi primer post, pero que no será el ultimo. He estado buscando y no he encontrado nada de lo que necesito, aunque he visto cosas interesantes acerca de php.

Bueno, mi problema es el siguiente.

En estas 3 páginas que listo a continuación

- http://www.mapgnome.org/
- http://www.hiveworkshop.com/
- http://www.epicwar.com/

te puedes descargar mapas para jugar en warcraft 3.

EL problema es que quiero automatizar las descargas de dichos mapas al servidor, sin tener que estar descargando el mapa a mano cada vez que un usuario me pide un mapa nuevo.

El actual sistema de subida de mapas solo me permite cargar mapas desde epicwar.com de el siguiente modo:


Quiero implementar un nuevo script en php en el cual el usuario introduzca la URL completa desde donde te podrías descarga el mapa de cualquiera de las 3 webs citadas anteriormente en vez de el codigo del mapa (como dice en la foto) y tras escribir el captcha que el archivo que corresponde a esa URL se descargue en la carpeta que yo le indique.

2 problemas tengo. El actual sistema no lo escribí yo, no se por donde empezar.
Lo único que se me ha ocurrido es detectar de que web es la URL escrita en el formulario. Pero no se como seguir.

Ejemplo:

Un usuario quiere este descargar este mapa al servidor:
* http://www.epicwar.com/maps/170942

Tendría que poner la URL -> http://www.epicwar.com/maps/170942/ y el script en caso de pase con éxito el captcha descargaría el mapa en la carpeta indicada (en el servidor)

Espero haberme explicado bien, estaré agradecido cualquier ayuda.
Tengo FP grado superior de Informática, lo digo para que sepáis que tengo un nivel de conocimiento mínimo :D

PD: Cuando estoy en vista previa me funcionan los links a las paginas que indico y pero cuando le doy a guardar cambios dejan de funcionar.

[baumann]

Cara vez que pienso en alguna solución me atasco y empiezo de nuevo :(
Alguien podría decirme por donde empezar? La cuestión es que lo quiero hacer yo, pero neceisto un primer empujon ;D

[Nemutagk]

Se me ocurre algo así

Código PHP:

$url = $_SERVER['PHP_SELF'];
$partes = explode('/',$url);
 
echo $partes[2];
 

Estoy suponiendo que el URL va a tener siempre esa estructura

Nota: Esto no tiene nada que ver con POO

[fekaa11]

Perdón pero no he entendido. Hablas de un captcha, cuando entro a la web: http://www.epicwar.com/maps/170942/ no me aparece definitivamente ningún Captcha. Clickeo donde dice Download map xxxxxx. y me comienza a descargar!

Seguramente entendí mal, si puedes explicarmelo de forma que entienda veré como puedo ayudarte.

Saludos!

[baumann]

Iniciado por fekaa11

Perdón pero no he entendido. Hablas de un captcha, cuando entro a la web: http://www.epicwar.com/maps/170942/ no me aparece definitivamente ningún Captcha. Clickeo donde dice Download map xxxxxx. y me comienza a descargar!

Seguramente entendí mal, si puedes explicarmelo de forma que entienda veré como puedo ayudarte.

Saludos!

Gracias compañero!

Si, asi es. No hay captcha alguno en epicwar.com/***

El captcha lo quiero integrar yo cuando cree el código ya que cualquier usuario regristrado sería capaz de subir mapas al servidor. Eso me da un poco de seguridad.

En efecto, lo que yo quiero es que cuando alguien ponga la url del mapa este se descargue, comprobando claro que el fichero exista, tenga una extensión determinada, un tamaño máximo, etc , pero eso no es lo principal.

Lo que me pasa es que no se como trabajar para hacer eso, que cuando alguien pegue el link del mapa (ej: http://www.epicwar.com/maps/170942/) se empiece a descargar el mapa.

[baumann]

Iniciado por Nemutagk

Se me ocurre algo así

Código PHP:

$url = $_SERVER['PHP_SELF'];
$partes = explode('/',$url);
 
echo $partes[2];
 

Estoy suponiendo que el URL va a tener siempre esa estructura

Nota: Esto no tiene nada que ver con POO

Hola y gracias!

No entiendo muy bien que quieres decirme con eso, pero cuando llegue a casa lo pruebo y ya te comento.

Un saludo!

Respecto a la nota ya se que no tiene nada que ver, pero al seleccionar el titulo para el post me equivoqué.

[s00rk]

Iniciado por Nemutagk

Se me ocurre algo así

Código PHP:

$url = $_SERVER['PHP_SELF'];
$partes = explode('/',$url);
 
echo $partes[2];
 

Estoy suponiendo que el URL va a tener siempre esa estructura

Nota: Esto no tiene nada que ver con POO

Pues con eso podria ya hacerse si la estructura es igual siempre, solamente le faltaria checar que tal ID de ese mapa exista y si existe se muestre el captcha para que lo introdusca y ya lo descarga si esta bien y si el mapa no existe se recarga la web o ahi mismo que le salga un mensaje sobre que el mapa no existe y listo.

Eso seria no ?

[baumann]

Iniciado por s00rk

Pues con eso podria ya hacerse si la estructura es igual siempre, solamente le faltaria checar que tal ID de ese mapa exista y si existe se muestre el captcha para que lo introdusca y ya lo descarga si esta bien y si el mapa no existe se recarga la web o ahi mismo que le salga un mensaje sobre que el mapa no existe y listo.

Eso seria no ?

Hola.
Si, eso es, como tú dices. Voy a probar como funciona eso que recién llego a casa y os aviso.

[baumann]

No termino de entender para que usar eso. Lo he probado y ya he visto lo que hace.

De todas formas había planteado hacerlo de la siguiente forma. Antes os había comentado que quería implementar el código de 3 sitios de mapas distintos, yo creo que si consigo hacer el de uno, me servirá de ayuda para los proximos, por lo tanto he pensado que es mejor ir poco a poco, y empezar solo con este sitio: http://www.mapgnome.org/

Sería lo mismo, pero para un solo sitio web (los demas ya los implementaré);

Copiar la direccion url completa (ejemplo: http://www.mapgnome.org/map-info/484841) y tras darle al boton 'subir mapa' (submit) el script busque que mapa corresponde a esa URL y que descargara el mapa en mi servidor de mapas.

[Nemutagk]

A ver, como si hubieras dicho que estas intentando "descargar" archivos desde paginas externas a tu servidor todo seria diferente, lo que requieres es mucho mas complejo, es necesario el uso de sockets, leer el captcha y escribirlo en el campo, esto no tiene nada que ver con lo planteado originalmente

[baumann]

Iniciado por Nemutagk

A ver, como si hubieras dicho que estas intentando "descargar" archivos desde paginas externas a tu servidor todo seria diferente, lo que requieres es mucho mas complejo, es necesario el uso de sockets, leer el captcha y escribirlo en el campo, esto no tiene nada que ver con lo planteado originalmente

Hola Nemutagk, sigue siendo lo mismo, pero para no complicar tanto las cosas he decidido hacer el script solo para un sitio web, http://www.mapgnome.org . Pero sigue siendo lo mismo que antes.

Sería algo como esto.

Pagina Web del Servidor
----------------------

Formulario + pegar la url http://www.mapgnome.org/map-info/484841 = descargar el mapa en la carpeta de mapas del servidor



Espero que ahora se haya entendido, disculpas si me exprese mal.
Olvídate del captcha o de las demás cosas, que son secundarias. Lo principal es esto, y cuando lo tenga ya preguntaré si no me funciona. Un saludo.
;)

[Nemutagk]

Ahora si se entiende lo que quieres, PERO, con lo mismo ah surgido un problema, y el problema es que no veo muy correcto lo que quieres hacer, básicamente te quieres "piratear" los mapas, aunque no entraré en discusiones de si esta bien o no diré varias cosas..

Entre a la página que muestras y son archivos de mas de 1 mega, el archivo que pusiste de ejemplo pesa mas de 7, eso traerá un grabe problema y es que en PHP existe un limite de tiempo y de consumo de ram, ahora, como no das información de tu hosting voy a suponer que es un hosting de paga normal, osea que no es ni un dedicado ni un virtual ni nada por el estilo, así que no creo que tengas oportunidad de ampliar el tiempo del script ni el consumo de ram disponible para PHP, aparte, personalmente yo no haría lo que quieres hacer con PHP...

Que se puede hacer, lo mejor seria buscar otra solución, personalmente crearía un ejecutable en C/C++ para algo así, pero solo es mi opinión

PD: para mi si es muy diferente al post original ya que dabas a entender que querías obligar la descarga en tu página no descargar en el servidor archivos externos

[baumann]

No es piratear en ningún momento, ese mismo trabajo podría hacerlo yo dándole a descargar el mapa y luego subiéndolo al servidor por ftp o de algún otro método. Lo que hago es para no hacer esperar a los usuarios. Sin este sistema, cada vez que alguien quiere un mapa, necesita postear su URL en el foro y que el administrador del foro que este online y haya visto el post, primero se descargue el mapa y luego cargue dicho mapa al servidor. Esto me ahorra trabajo a mi y les ahorra tiempo a los usuarios. Ya que en cuanto quieren un mapa, el único tiempo que tienen de espera es lo que tarde en subirse el mapa.

He estado mirando, aunque no me he enterado casi de nada, el comando/función curl_init y curl_exec, no se si tiene algo que ver con lo que estoy buscando.

[Nemutagk]

Lo que hagas ya es cosa tuya, ya había comentado que no entrare en discusiones sobre si es ético o no...

Si, podrías hacerlo con cURL, pero entiende el punto que quería plantear en el post anterior lo mas seguro es que tengas problemas con el tiempo de espera que tiene reservado PHP y el máximo uso de memoria ram por script en PHP, ya que los archivos que quieres "descargar" a tu servidor son muy pesados, pero bueno, puedes probar...

Para hacer lo que quieres realmente lo veo muy sencillo (en teoría), al menos sobre la página que publicaste (mapgnome.org), yo lo intentaría de la siguiente manera...

Código PHP:

//obtenemos por post el url...
$pagUrl = $_POST['url'];
 
//Obtengo el identificador del mapa
$infoUrl = explode('/',$pagUrl);
$identificador= $infoUrl[2];
 
//obtenemos el url de la descarga y agregamos el identificador
$url = 'http://www.mapgnome.org/map-download/'.$identificador;
 
//le damos un nombre al mapa, por ejemplo:
$archivo = 'mapa_'.$identificador.'.w3x';
 
//Inicio la descarga
$curl = curl_init($url);
$archivo = fopen($archivo,'w');
curl_setopt($curl, CURLOPT_FILE,$archivo);
curl_setopt($curl, CURLOPT_HEADER, 0); 
curl_exec($curl);
curl_close($curl);
fclose($archivo);
 

Ahora, veo varios puntos, no se si todos los archivos sean con la misma extensión, si no, tendrás que averiguar que extensión es antes de descargar los archivos

[baumann]

]Hola compañero! Muchas gracias por el codigo. La verdad que me ha venido muy bien. Todavía no hace lo que yo quiero pero va tomando forma.

Por el momento he cambiado una cosilla que no entendía porque me pasaba.

Código PHP:

$identificador = $infoUrl[4];
 

La informacion que contenia ese array la imprimí para ver el valor que tenía, y bueno, el identificador estaba en 5º lugar.

Ahora estoy viendo porque no descarga el mapa, porque antes no me lo descargaba debido a que no tenía el identificador correcto.

Igualmente muchas gracias, cuando tenga mas información te aviso. Saludos!

[Nemutagk]

Cual es el error o cual es el problema que tienes?

[baumann]

No se porque no descarga, se crea un fichero con extension .w3x pero siempre vacio, o con peso 1kb. No se si es porque tengo mal configurado el php.ini o qué. De momento estoy viendo si tengo eso correcto.

Y luego estoy viendo como sacar el nombre del mapa, para que cada fichero se cree con el nombre del mapa. Ejemplo:

Código HTML:

<dt>Map Name</dt>
<dd>DotA v6.72b</dd>
<dt>Map Author</dt>
<dd>IceFrog</dd>
 

Tendría que sacar el contenido de las etiquetas <dd> que van justo después de map name. <dd>DotA v6.72b</dd>

Estoy trabajando en ello. Un saludo.