Buenas tardes,
llevo bastante tiempo peleandome con mysql y el problema del limite de las conexiones o threads. Os comento un poco lo que hace mi sistema y a ver que me podeis recomendar.
El sistema es totalmente concurrente, se ejecutan miles de threads paralelamente y realizan aproximadamente 100.000 updates al server, demomento cada 5 minutos, por el problema que supero el max thread connection..actualmente lo tengo en 2500 pero aun asi el servidor acaba realentizandose mucho, e incluso peta de vez en cuando.
EL tema es que necesito los datos lo mas real time posible, deberia bajar a menos de 1 minuto por cada reproceso de dato pero si ya a 5 minutos lo tengo mal, con 1 ni os cuento, esta constantemente abortando connexiones.
El problema es que los threads no los puedo serializar, es decir al hacer paralelismo gano muchisima potencia de calculo, que necesito, pero pierdo mucho de esas ganancias por el echo del mysql y estos limites..
He probado con persisten connection pero parece que en tema de threads siguen subiendo las conexiones, osea no afecta que sea persistente o no...
Alguien me puede aconsejar un poco si tiene experiencia con estas cosas? conoceis de alguna sistema de organizar la bd de tal manera que sea un cloud, es decir que el mysql no este solo en un servidor sino en la red de servers que tengo, supongo que eso aliviaria mucho la faena pero no estoy seguto si se perderia mucho con latencia entre servers distintos, que aunque parezaca una miseria 0,0x segundos si los multiplicas por 1.000 se convierten en muchos segundos y es inviable...
Necesito un poco de ayuda o consejo ya que ahora mismo ando sin rumbo claro
Muchas gracias