Ver Mensaje Individual
  #1 (permalink)  
Antiguo 06/09/2014, 03:12
loandoer
 
Fecha de Ingreso: mayo-2010
Mensajes: 31
Antigüedad: 14 años
Puntos: 0
Saturación al hacer múltiples conexiones con Jsoup

Hola, estoy tratando de extraer y parsear el código fuente de algunas páginas web y como herramienta estoy utilizando la librería jsoup. El problema está que cuando uso multihilos, con la clase ExecutorService, para hacer extracciones en paralelo a veces se satura la conexión a Internet, y tengo que esperar unos segundos para poder extraer de nuevo o para poder navegar por la red.
Por ejemplo, si ejecutó más de 60 hilos en paralelo para conectarme a Google, la conexión se satura y no descarga nada. Con otros servidores se satura después de los 30 hilos y con otros después de los 200.
Lo que me gustaría saber es a que se debe esto, ya que sabiendo que ocurre puedo hacer una aplicación más robusta que se autolimite. Estoy casi seguro que no se debe a las características de mi computadora porque ejecute procesos pesados con una cantidad mucho mayor de hilos y no pasó nada, solo me saltan los problemas cuando me conecto a Internet.
Los datos de mi conexión son:
1)Ancho de banda de 6Mb
2)Modem que recibe la señal de la calle.
3)Router inalámbrico que distribuye la señal en casa.

Cualquier otro dato que necesiten no duden en avisarme. Gracias!