Script enviar datos de servidor1 a servidor2

[ciscoh4x0r]

Hola amigos,

Tengo el siguiente problema: Estoy enviando datos de el Servidor1 al Servidor2, pero la cuestión es que va muy lento. El proceso tarda alrededor de 5 - 8 horas en completarse o simplemente se congela, y ya no envía nada ni se actualiza nada, ni pasa nada., lo cual no lo puedo tolerar/permitir/dejar , se supone que esto máximo debería demorará 30 minutos - 1 hora....

Lo que hace: El script en PHP toma los datos de la base de datos MySQL en el Servidor1 y los envia a la base de datos MySQL del Servidor2, donde este los procesa y crea una lista y contenido para cada usuario con esta información, luego crea un archivo en HTML y programa una tarea para enviarse todos los días.

Lo que busco, es saber como puedo optimizar este proceso o que puedo hacer para acelerarlo, estamos perdiendo tiempo valioso que necesitamos recuperar.

Como dato crucial: Yo creo que un problema es la memoria RAM de el servidor1, pues este servidor pasa con memoria de 256mb libre para este proceso o menos.

Como solución a esto: El script fue hecho en 4 partes (4 archivos php) para salvar procesos y memoria.

Esto es lo que hace:

Código PHP:

function createCampaign() {
    ini_set('memory_limit', '1024M');
    set_time_limit(0);
    
    try {
        $listId = 17;
        if (isset($listId) && $listId > 0) {
            $customerList = getCustomerList();
            foreach ($customerList as $customer) {
                $params = getCustomFieldValuesForSubscriber($customer['subscriber_email']);
                if (isset($params) && count($params) > 0) {
                    $dynamicContent = $params['dynamic_content'];
                    unset($params['dynamic_content']);
                    if (isset($dynamicContent)) {
                        //addSubscriber($customer['subscriber_email'], $listId, $params);
                        addDynamicContentBlock($dynamicContent, $customer['subscriber_email'], $listId, $customer['customer_id']);
                        Mage::log("Added subscriber ..." . $customer['customer_id']);
                    }
                    unset($dynamicContent);
                }
                unset($params);
            }
            //scheduleCampaign($listId);
        } else {
            Mage::log( "Contact list not present.");
        }
    } catch (Exception $e) {
        Mage::log("Exception occured .." . $e);
    }
}
function sendRequest($requestUrl, $requestType, $params) {
    if (isset($requestUrl) && isset($requestType)) {
        $session = curl_init($requestUrl);
 
        if ($requestType === "POST") {
            curl_setopt($session, CURLOPT_POST, true);
            curl_setopt($session, CURLOPT_POSTFIELDS, $params);
        }
 
        curl_setopt($session, CURLOPT_HEADER, false);
        curl_setopt($session, CURLOPT_RETURNTRANSFER, true);
 
        $response = curl_exec($session);
        curl_close($session);
 
        //print_r($response);
        return $response;
    }
}
 
function scheduleCampaign($listId) {
    $htmlBody = getHtmlTemplate();
    if (isset($htmlBody) && isset($listId)) {
        $requestUrl = "http://www.dominio.com/ruta/archivo.php";
        $requestType = "POST";
        $params = array('htmlBody' => $htmlBody,
            'listId' => $listId);
        sendRequest($requestUrl, $requestType, $params);
    }
}
 

No es todo el código, pero es la idea de como lo hago, esto se repite el proceso y hace:
- Lista
- Suscriptores
- Datos
- Ofertas
- Y crea un HTML de todo

Y con esto tengo que alimentar la base de datos, la información al Server2 pero este tiene que crear todo en él no de la misma forma, pero tiene que crearla..

¿Ideas?

Agradezco cualquier comentario sobre como acelerar la transferencia de estos datos, pues va como lo peor.

[repara2]

Es muy difícil decirte algo sin conocer todos los detalles del sistema.
Respecto a posibles soluciones, de más fácil a más difícil, tal como tú comentas, soluciona la RAM del servidor, mejora la conexión y en lo posible todo el hardware en ambos servidores.
Si el problema es transferir la info, y luego es Server2 el que procesa, puedes buscar un método alternativo como replicación o transferencia masiva con el toolkit de Mysql.
Entrando en más detalles: comprobar indices, claves foráneas, defragmentar discos y mil etcéteras. La función EXPLAIN de MySQL te puede servir para ver cuáles son las select que van mal. Cualquier profiler de PHP te dirá dónde consumes la mayoría de tu tiempo.
Espero que sirva, saludos

[ciscoh4x0r]

Agradezco tu enorme respuesta, he aumentado la memoria RAM a 4GB y he optimizado las configuraciones de las bases de datos en ambos servidores, el día siguiente estaremos probando los resultados, ojalá funcione.