Foros del Web » Programando para Internet » PHP »

procesado masivo de datos

Estas en el tema de procesado masivo de datos en el foro de PHP en Foros del Web. que tal, pues aqui otra vez pidiendo su ayuda, ahora tengo un dilema, estoy escaneando archivos html extrayendo datos. Tengo 2 tipos de archivos: el ...
  #1 (permalink)  
Antiguo 22/10/2004, 12:08
Avatar de xcorpion  
Fecha de Ingreso: octubre-2003
Ubicación: m é x i c o
Mensajes: 676
Antigüedad: 20 años, 6 meses
Puntos: 4
procesado masivo de datos

que tal, pues aqui otra vez pidiendo su ayuda, ahora tengo un dilema, estoy escaneando archivos html extrayendo datos.
Tengo 2 tipos de archivos:

el primero contiene: Dato1(char) y Dato2(char) -> 1400 archivos aprox.
el segundo contiene: Dato2(char), Dato3(mediumtext) -> 30 000 archivos aprox.

suponiendo que en el primero se encuentran varios pares "Dato1(char) y Dato2(char)"
y en el segundo solo se encuentra un "Dato2(char), Dato3(char)" que corresponde a su vez con un "Dato1"

Entonces pues necesito una base de datos con esta estructura:
ID(autoincremental),Dato1,Dato2,Dato3,nombre_archi vo

y aqui es donde esta el dilema, como creen que sea mas rapido de procesar.
1. Escaneo los 1400 archivos de tipo 1 extrallendo 30000 pares de datos "Dato1 y Dato2" y registrandolos en una base de datos de mysql y despues escanear los 30000 archivos de tipo 2 extrallendo Dato2 y Dato3 y actualizar cada registro añadiendo dato3.
2. Escaneando los 30000 archivos tipo 2 extrallendo los Dato2 y Dato3(recuerden que es mediumtext) y registrandolos en la bdd de mysql y en seguida escanear los 1400 archivos extrallendo los paress de datos "Dato 1 y Dato 2" para actualizar cada uno de los 30000 registros añadiendo "Dato 1"
  #2 (permalink)  
Antiguo 23/10/2004, 15:47
Avatar de xcorpion  
Fecha de Ingreso: octubre-2003
Ubicación: m é x i c o
Mensajes: 676
Antigüedad: 20 años, 6 meses
Puntos: 4
no se preocupen ya me oriento un ingeniero en sistemas, el 2do procedimiento es el mejor, ya que va primero con el Master y despues con el Datail. Master ->Detail. tube algunos problemas actualizando registros en la segunda etapa ya que me basaba en un campo sin indice, pero me ilumino el señor y utilize el campo id para optimizar el proceso, de todas formas muchas gracias por leerme.
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 15:16.