Foros del Web » Administración de Sistemas » Shared Hosting y VPS »

[SOLUCIONADO] Deberia usar uno o dos servidores

Estas en el tema de Deberia usar uno o dos servidores en el foro de Shared Hosting y VPS en Foros del Web. Hola, estoy desarrollando una aplicación la cual usando PHP, node.js y socket.io realizó subidas de vídeos al servidor para posteriormente procesarlos. Con procesarlos me refiero ...
  #1 (permalink)  
Antiguo 23/04/2016, 11:03
 
Fecha de Ingreso: julio-2012
Ubicación: Madrid
Mensajes: 18
Antigüedad: 7 años, 5 meses
Puntos: 0
Pregunta Deberia usar uno o dos servidores

Hola, estoy desarrollando una aplicación la cual usando PHP, node.js y socket.io realizó subidas de vídeos al servidor para posteriormente procesarlos.

Con procesarlos me refiero a que el video (el cual será aproximadamente un vídeo de 23 minutos, con un bitrate de 2000-3000 y una resolución de 1920x1080) usando ffmpeg en node.js será transformado en otros 4 vídeos (a 240, 360, 480 y 720 respectivamente) y después los 5 vídeos serán subidos a s3 de amazon y eliminados del servidor.

Ya he hecho diversas pruebas y me encuentro con que en el momento de transformar los videos el uso de la CPU llega al 95% y el gasto de RAM se dispara, por lo que he pensado 2 posibles soluciones para que los usuarios no noten que el servidor está funcionando lentamente.

1° - Aumentar los recursos del servidor y que todo siga funcionando en el mismo sitio, esperando que de esa manera no se note ese inmenso uso de los recursos por ffmpeg.

2° - Trasladar toda la parte del procesamiento de vídeos a otro servidor aparte y enviar el vídeo del servidor 1 al 2 para procesarlo en el 2.

Si alguien tiene una idea mejor para la realización de lo que quiero hacer estaría muy agradecido de que la publicase.

Gracias por leer mi duda y que tenga un buen día.
  #2 (permalink)  
Antiguo 24/04/2016, 07:58
Avatar de CoriaWeb  
Fecha de Ingreso: septiembre-2012
Ubicación: Coria del Río - Sevilla
Mensajes: 1.799
Antigüedad: 7 años, 2 meses
Puntos: 130
Respuesta: Deberia usar uno o dos servidores

Pues en realidad creo que lo correcto si tiene muchísimo consumo es independizarlo, pero vamos, que si coges otro servidor más potente que pueda con todo tampoco esta mal, sólo que si puede ser notado .

Saludos!
__________________
Hosting de Calidad
Servidores Dedicados Administrados
CoriaWeb.hosting
  #3 (permalink)  
Antiguo 24/04/2016, 11:20
 
Fecha de Ingreso: julio-2012
Ubicación: Madrid
Mensajes: 18
Antigüedad: 7 años, 5 meses
Puntos: 0
Respuesta: Deberia usar uno o dos servidores

Al final hablando con el soporte de Digital Ocean he decidido aumentar la potencia del servidor y usando cpulimit limitar el proceso cuando es lanzado desde node.js usando exec al 75%. De esa manera tengo mas control sobre el proceso que si lo tengo en otra maquina.

Gracias por tu respuesta CoriaWeb.
  #4 (permalink)  
Antiguo 24/04/2016, 11:29
Avatar de CoriaWeb  
Fecha de Ingreso: septiembre-2012
Ubicación: Coria del Río - Sevilla
Mensajes: 1.799
Antigüedad: 7 años, 2 meses
Puntos: 130
Respuesta: Deberia usar uno o dos servidores

Claro, pero al final sigues teniendo un uso intensivo.. si tienes un servicio cloud ¿Porque no creas dos instancias diferentes y ya esta?

Saludos!
__________________
Hosting de Calidad
Servidores Dedicados Administrados
CoriaWeb.hosting
  #5 (permalink)  
Antiguo 24/04/2016, 13:52
 
Fecha de Ingreso: julio-2012
Ubicación: Madrid
Mensajes: 18
Antigüedad: 7 años, 5 meses
Puntos: 0
Respuesta: Deberia usar uno o dos servidores

Ahi tienes razon, pero si quiero hacer eso se me presenta un pequeño problema, yo subo el archivo al servidor 1 mediante node.js y socket.io, entonces como envío la información del vídeo más el mismo vídeo al servidor 2 y después vuelvo a enviar la información del procesamiento com ffmpeg del 2 al 1.
  #6 (permalink)  
Antiguo 24/04/2016, 13:53
 
Fecha de Ingreso: julio-2012
Ubicación: Madrid
Mensajes: 18
Antigüedad: 7 años, 5 meses
Puntos: 0
Respuesta: Deberia usar uno o dos servidores

Es importante que el proceso sea completamente automático, y que se envíe la información del vídeo después de enviar el vídeo.
  #7 (permalink)  
Antiguo 24/04/2016, 14:22
Avatar de CoriaWeb  
Fecha de Ingreso: septiembre-2012
Ubicación: Coria del Río - Sevilla
Mensajes: 1.799
Antigüedad: 7 años, 2 meses
Puntos: 130
Respuesta: Deberia usar uno o dos servidores

Pues eso ya se me escapa un poco de las manos, para eso tendría que consultarle a los técnicos del servidor, pero vamos.. con lo que yo se de servidores "que es poco" porque para eso están los técnicos jejej la copia de archivos de un servidor a otro podrías hacerla mediante rsync y algún cronjob o algo.. consúltalo a tu proveedor haber que opciones te dan.. Si el servicio que tienes es administrado deberían de ayudarte.

Saludos!
__________________
Hosting de Calidad
Servidores Dedicados Administrados
CoriaWeb.hosting
  #8 (permalink)  
Antiguo 24/04/2016, 14:28
 
Fecha de Ingreso: julio-2012
Ubicación: Madrid
Mensajes: 18
Antigüedad: 7 años, 5 meses
Puntos: 0
Respuesta: Deberia usar uno o dos servidores

Mi servicio no es administrado, me dan algo de soporte pero me tengo que buscar yo la vida, he estado investigando un poco y puedo usar una librería de rsync como bien has mencionado y una clave ssh sin contraseña y cuando el rsync se haya completado enviar un post servidor 2 indicándole que procese el archivo, o incluso usando redis.
  #9 (permalink)  
Antiguo 25/04/2016, 10:29
Avatar de WebTech
Hosting Moderator
 
Fecha de Ingreso: octubre-2005
Ubicación: East Coast
Mensajes: 5.399
Antigüedad: 14 años, 1 mes
Puntos: 162
Respuesta: Deberia usar uno o dos servidores

Cita:
Iniciado por DarkerTV Ver Mensaje
Mi servicio no es administrado, me dan algo de soporte pero me tengo que buscar yo la vida, he estado investigando un poco y puedo usar una librería de rsync como bien has mencionado y una clave ssh sin contraseña y cuando el rsync se haya completado enviar un post servidor 2 indicándole que procese el archivo, o incluso usando redis.


Tenemos clientes que procesan vídeo de forma parecida. Lo ideal si te da el presupuesto es:

1) Servidor para procesar ffmpeg, que se encargue enteramente de la conversión, es lógico que te consuma casi toda la CPU, prueba hacer menos conversiones en paralelo a ver si baja un poco.
2) Servidor para hospedar/servir videos.

Para sincronizar la carpeta donde se convierten los vídeos con el server 2 puedes hacerlo via rsync con llaves públicas, si es por red interna entre los servidores mejor.

Otra solución es usar lsyncd, que funciona de maravilla para replicar contenido entre hosts.

Un saludo,
__________________
Infranetworking.com - Expertos en Hosting Multidominio, Cloud Hosting, Servidores Dedicados y Administración de Servidores Linux

Etiquetas: cpu, ffmpeg, node.js, php, procesamiento, ram, videos
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 21:10.