Foros del Web » Programación para mayores de 30 ;) » Java »

Conexión proxy en cascada

Estas en el tema de Conexión proxy en cascada en el foro de Java en Foros del Web. Hola, estoy tratando de realizar una conexión proxy pero en cascada. Esto quiere decir que antes de conectarme a una página web la conexión va ...
  #1 (permalink)  
Antiguo 10/08/2014, 18:52
 
Fecha de Ingreso: mayo-2010
Mensajes: 31
Antigüedad: 13 años, 11 meses
Puntos: 0
Conexión proxy en cascada

Hola, estoy tratando de realizar una conexión proxy pero en cascada. Esto quiere decir que antes de conectarme a una página web la conexión va a saltar entre varios servidores proxy.
Se que para realizar una sola conexión se puede hacer:

Código Java:
Ver original
  1. System.setProperty("http.proxyHost", "ip_proxy");
  2. System.setProperty("http.proxyPort", "port_proxy");

Alguien conoce alguna librería qué permita hacer esto?

Gracias!!
  #2 (permalink)  
Antiguo 11/08/2014, 00:36
Avatar de chuidiang
Colaborador
 
Fecha de Ingreso: octubre-2004
Mensajes: 3.774
Antigüedad: 19 años, 6 meses
Puntos: 454
Respuesta: Conexión proxy en cascada

Hola:

No creo que tu programa tenga que saber toda la cascada de proxy. Debería ser cada proxy el que sepa como encaminar la llamada al siguiente proxy.

Se bueno.
__________________
Apuntes Java
Wiki de Programación
  #3 (permalink)  
Antiguo 11/08/2014, 09:47
 
Fecha de Ingreso: mayo-2010
Mensajes: 31
Antigüedad: 13 años, 11 meses
Puntos: 0
Respuesta: Conexión proxy en cascada

Hola chuidiang, gracias por la respuesta. Eso quiere decir que solo tedría que buscar y conectarme a proxys que hagan multiples conexiones con otros proxys?
Mi código solamente tendría que hacer la conexión a un solo servidor proxy?
  #4 (permalink)  
Antiguo 11/08/2014, 10:10
Avatar de chuidiang
Colaborador
 
Fecha de Ingreso: octubre-2004
Mensajes: 3.774
Antigüedad: 19 años, 6 meses
Puntos: 454
Respuesta: Conexión proxy en cascada

No sé qué quieres hacer.

Si es un programa java general que quieres que se conecte a través de proxy, sólo tienes que conectarte a un proxy.

Si tienes una estructura de red "rara" con muchos proxys en cascada y que necesiten configuración especial para las conexiones, habría que saber qué estructura es esa para saber si te vale una conexión java normal a un proxy.

Se bueno.
__________________
Apuntes Java
Wiki de Programación
  #5 (permalink)  
Antiguo 11/08/2014, 11:47
 
Fecha de Ingreso: mayo-2010
Mensajes: 31
Antigüedad: 13 años, 11 meses
Puntos: 0
Respuesta: Conexión proxy en cascada

Quiero hacer un programa que haga web scraping para extraer información. Mientras estaba probando un algoritmo para limitar el ancho de banda que consumía el software, me encontré con las limitaciones de hacer esto.
Usé como página de prueba a google. Siendo una de las páginas más visitadas del mundo pensé que hacer varias conexiones seguidas no les iba a molestar pero pasó todo lo contrario, realice en 11 segundos cerca de 700 peticiones de conexión para extraer su código fuente y a los pocos minutos me pusieron un captcha que duró cerca de 1 hora. Al ver eso me detuve, si seguía haciéndolo era probable que me bloquearan mi ip....
No quiero hacer DDOS, no es mi interés. Pero como el programa está en fase de prueba a veces tengo que hacer varias peticiones al servidor para comprobar cuanto puede tardar en realizar "n" extracciones, que ancho de banda consume para no saturar la red, cuántos threads puedo abrir en forma simultánea, etc, etc, etc…
Entonces se me ocurrió que podía usar un (o varios) servidor proxy para no tener problemas. Mientras probaba esto entré a páginas que te dicen tu ip y me encontré que algunos servidores proxy no cubren tu dirección ip mostrando toda la información de mi computadora. Es decir, aparecía la ip del proxy pero en el detalle aclaraba que estaba usando un proxy y que mi verdadera ip era la de mi máquina.
Así el servidor proxy no me sirve por lo que se me ocurrió usar una conexión con varios proxys. Investigando encontré que esto se llama cascading proxy o proxy en cascada, pero no puede hallar una manera de implementarlo en mi programa.
Ahora bien, si consigo la ip de un servidor proxy que haga este trabajo por mí sería maravilloso, ya que solo tendría que hacer una conexión dejando el trabajo difícil al servidor.
Esto es en resumidas cuentas lo que quiero con mi programa. Si tienes alguna otra idea es más que bienvenida!

Última edición por loandoer; 11/08/2014 a las 12:23

Etiquetas: cascada, proxy
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 22:16.