Foros del Web » Programación para mayores de 30 ;) » Bases de Datos General » Mysql »

[SOLUCIONADO] problema de registros

Estas en el tema de problema de registros en el foro de Mysql en Foros del Web. buenas amigos le explico mi situacion tengo una tabla donde guardo los registros que extraigo de un archivo de texto tabulado, el registra bien el ...
  #1 (permalink)  
Antiguo 07/03/2013, 08:57
 
Fecha de Ingreso: junio-2010
Mensajes: 31
Antigüedad: 13 años, 9 meses
Puntos: 1
problema de registros

buenas amigos le explico mi situacion tengo una tabla donde guardo los registros que extraigo de un archivo de texto tabulado, el registra bien el detalle esta en que el archivo tiene mas de 90000 registros y solo me guarda un poco mas de 5000 uso wamp lo tengo en mi lapto de manera local, no se si hay q modificar algun archivo para que me acepte mas registros en la tabla ....

el archivo lo recorre linea por linea y va guardando en la base de datos uso php , bueno si alguien sabe algo seria de vital importancia gracias la idea es que me guarde los 90000 registros apenas lea el archivo ...
__________________
Miguel0N
  #2 (permalink)  
Antiguo 07/03/2013, 12:21
Avatar de gnzsoloyo
Moderador criollo
 
Fecha de Ingreso: noviembre-2007
Ubicación: Actualmente en Buenos Aires (el enemigo ancestral)
Mensajes: 23.324
Antigüedad: 16 años, 4 meses
Puntos: 2658
Respuesta: problema de registros

Alguno de los datos guardados en ese archivo debe estar generando un error en el INSERT, porque no existe más limitación en una tabla que la capacidad de almacenamiento del tu computadora.
En otras palabras, si tienes 150 Gb libres en el disco, puedes almacenar tablas y datos por 150 Gb...
Ergo, el problema no es MySQL (ni el WAMP)m sino que el archivo debe tener defectos, o el procesamiento está mal hecho en alguna parte.
__________________
¿A quién le enseñan sus aciertos?, si yo aprendo de mis errores constantemente...
"El problema es la interfase silla-teclado." (Gillermo Luque)
  #3 (permalink)  
Antiguo 07/03/2013, 12:43
 
Fecha de Ingreso: junio-2010
Mensajes: 31
Antigüedad: 13 años, 9 meses
Puntos: 1
Respuesta: problema de registros

es bien raro he hecho una prueba con los registros que no se ingresaron seleccionando unos 10 y los registra sin problemas ....

te muestro una imagen de como queda la tabla

como pueden ver llega hasta el 5408 y luego puro null y son mas de 90000 registros
esta vez use LOAD DATA INFILE desde la consola de mysql para ver si era un problema con php pero me da lo mismo ... please helpppp
__________________
Miguel0N
  #4 (permalink)  
Antiguo 07/03/2013, 13:33
 
Fecha de Ingreso: marzo-2013
Mensajes: 42
Antigüedad: 11 años
Puntos: 0
Respuesta: problema de registros

Has provado configurando el time de ejecucion de php.ini??
max_execution_time = 30

Última edición por knt_277; 07/03/2013 a las 13:43
  #5 (permalink)  
Antiguo 07/03/2013, 13:43
Avatar de gnzsoloyo
Moderador criollo
 
Fecha de Ingreso: noviembre-2007
Ubicación: Actualmente en Buenos Aires (el enemigo ancestral)
Mensajes: 23.324
Antigüedad: 16 años, 4 meses
Puntos: 2658
Respuesta: problema de registros

No es un problema de timeout, es muy probable que sea un problema de buffer de datos.
Hay una variable de MySQL que controla la longitud del buffer de datos.
Lee sobre max_allowed_packet
__________________
¿A quién le enseñan sus aciertos?, si yo aprendo de mis errores constantemente...
"El problema es la interfase silla-teclado." (Gillermo Luque)
  #6 (permalink)  
Antiguo 07/03/2013, 13:47
 
Fecha de Ingreso: marzo-2013
Mensajes: 42
Antigüedad: 11 años
Puntos: 0
Respuesta: problema de registros

Porque no intentas cargarlo mediante el PHPMYADMIN.
  #7 (permalink)  
Antiguo 07/03/2013, 14:24
 
Fecha de Ingreso: junio-2010
Mensajes: 31
Antigüedad: 13 años, 9 meses
Puntos: 1
Respuesta: problema de registros

dejame ver y te digo .
__________________
Miguel0N
  #8 (permalink)  
Antiguo 07/03/2013, 14:41
 
Fecha de Ingreso: junio-2010
Mensajes: 31
Antigüedad: 13 años, 9 meses
Puntos: 1
Respuesta: problema de registros

bueno averigue sobre el max_allowed_packet y el que tengo yo es este


y por lo que se ve tiene 52 m aproximado de buffer, y el archivo que tengo pesa 15M.. todavia le sobra suficiente ...
__________________
Miguel0N
  #9 (permalink)  
Antiguo 08/03/2013, 08:45
 
Fecha de Ingreso: junio-2010
Mensajes: 31
Antigüedad: 13 años, 9 meses
Puntos: 1
Respuesta: problema de registros

alguna idea que tal si les envio el archivo y prueban ? a ver si logran registrar todo ??
__________________
Miguel0N
  #10 (permalink)  
Antiguo 08/03/2013, 11:34
 
Fecha de Ingreso: junio-2010
Mensajes: 31
Antigüedad: 13 años, 9 meses
Puntos: 1
Respuesta: problema de registros

hey les digo como me ah ido ya que no he podido ingresar todos los registros, estoy separando el archivo por partes cada archivo contiene 5000 lineas y pesa 265 kb para despues ingresar a la base de datos archivo por archivo bueno ya logre que me los separara lo corro en php y bien ahora voy a leerlos a ver como me va ingresandolos a la base de datos..

un dato curioso que era a lo que venia , yo tenia comentado en la misma funcion donde estoy haciendo lo de separar el archivo habia comentado el codigo para guardar en la base de datos lo descomento y me va guardando en la base de datos y a la misma vez llenando los archivos y pasa que veo y solo me genera un archivo y otro hasta 600 lineas osea a misma cantidad que guarda en las tablas... pareciera que el problema fuera algo con el tiempo ... pero he modificado las variables en el php.ini y nada.. no se si tenga que modificar otro archivo.... bueno eso es lo que he hecho .. voy a terminar de registrar los archivos por separados a ver si lo logra hacer ..
__________________
Miguel0N
  #11 (permalink)  
Antiguo 08/03/2013, 15:36
 
Fecha de Ingreso: junio-2010
Mensajes: 31
Antigüedad: 13 años, 9 meses
Puntos: 1
Respuesta: problema de registros

ya se cual es el problema muchachos pero no lo he solucionado por que no consigo... modificar el Timeout del httpd.conf , me meto en el archivo y no lo veo por ningun lado a pesar que en la documentacion que vi sale que se encuentra alli y el valor por default es de 300 que es lo que dura procesando las transacciones,, y por eso es que no carga completo.. por fa si alquien sigue leyendo este post que me responda ..
__________________
Miguel0N
  #12 (permalink)  
Antiguo 10/03/2013, 11:16
 
Fecha de Ingreso: junio-2010
Mensajes: 31
Antigüedad: 13 años, 9 meses
Puntos: 1
Respuesta: problema de registros

ya pude solucionar el problema .. agregando ini_set(0) al principio del script php que hace el proceso ... solo asi aumenta el tiempo de expera.... por que habia modificado todo en el php.ini y no lo hacia ... chau hasta la proxima..
__________________
Miguel0N

Etiquetas: registros
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 11:36.