Script enviar datos de servidor1 a servidor2

[ciscoh4x0r]

Hola amigos,

Tengo el siguiente problema: Estoy enviando datos de el Servidor1 al Servidor2, pero la cuestión es que va muy lento. El proceso tarda alrededor de 5 - 8 horas en completarse o simplemente se congela, y ya no envía nada ni se actualiza nada, ni pasa nada., lo cual no lo puedo tolerar/permitir/dejar , se supone que esto máximo debería demorará 30 minutos - 1 hora....

Lo que hace: El script en PHP toma los datos de la base de datos MySQL en el Servidor1 y los envia a la base de datos MySQL del Servidor2, donde este los procesa y crea una lista y contenido para cada usuario con esta información, luego crea un archivo en HTML y programa una tarea para enviarse todos los días.

Lo que busco, es saber como puedo optimizar este proceso o que puedo hacer para acelerarlo, estamos perdiendo tiempo valioso que necesitamos recuperar.

Como dato crucial: Yo creo que un problema es la memoria RAM de el servidor1, pues este servidor pasa con memoria de 256mb libre para este proceso o menos.

Como solución a esto: El script fue hecho en 4 partes (4 archivos php) para salvar procesos y memoria.

Esto es lo que hace:

Código PHP:

function createCampaign() {
    ini_set('memory_limit', '1024M');
    set_time_limit(0);
    
    try {
        $listId = 17;
        if (isset($listId) && $listId > 0) {
            $customerList = getCustomerList();
            foreach ($customerList as $customer) {
                $params = getCustomFieldValuesForSubscriber($customer['subscriber_email']);
                if (isset($params) && count($params) > 0) {
                    $dynamicContent = $params['dynamic_content'];
                    unset($params['dynamic_content']);
                    if (isset($dynamicContent)) {
                        //addSubscriber($customer['subscriber_email'], $listId, $params);
                        addDynamicContentBlock($dynamicContent, $customer['subscriber_email'], $listId, $customer['customer_id']);
                        Mage::log("Added subscriber ..." . $customer['customer_id']);
                    }
                    unset($dynamicContent);
                }
                unset($params);
            }
            //scheduleCampaign($listId);
        } else {
            Mage::log( "Contact list not present.");
        }
    } catch (Exception $e) {
        Mage::log("Exception occured .." . $e);
    }
}
function sendRequest($requestUrl, $requestType, $params) {
    if (isset($requestUrl) && isset($requestType)) {
        $session = curl_init($requestUrl);
 
        if ($requestType === "POST") {
            curl_setopt($session, CURLOPT_POST, true);
            curl_setopt($session, CURLOPT_POSTFIELDS, $params);
        }
 
        curl_setopt($session, CURLOPT_HEADER, false);
        curl_setopt($session, CURLOPT_RETURNTRANSFER, true);
 
        $response = curl_exec($session);
        curl_close($session);
 
        //print_r($response);
        return $response;
    }
}
 
function scheduleCampaign($listId) {
    $htmlBody = getHtmlTemplate();
    if (isset($htmlBody) && isset($listId)) {
        $requestUrl = "http://www.dominio.com/ruta/archivo.php";
        $requestType = "POST";
        $params = array('htmlBody' => $htmlBody,
            'listId' => $listId);
        sendRequest($requestUrl, $requestType, $params);
    }
}
 

No es todo el código, pero es la idea de como lo hago, esto se repite el proceso y hace:
- Lista
- Suscriptores
- Datos
- Ofertas
- Y crea un HTML de todo

Y con esto tengo que alimentar la base de datos, la información al Server2 pero este tiene que crear todo en él no de la misma forma, pero tiene que crearla..

¿Ideas?

Agradezco cualquier comentario sobre como acelerar la transferencia de estos datos, pues va como lo peor.