Foros del Web » Programación para mayores de 30 ;) » Bases de Datos General »

consultas a una tabla DBF de 1.2 GB

Estas en el tema de consultas a una tabla DBF de 1.2 GB en el foro de Bases de Datos General en Foros del Web. en que me recomiendan trabajar. tenemos un sistema que una de sus tablas tiene una tabla dbf de 1.2 GB (monton de data). y lo ...
  #1 (permalink)  
Antiguo 05/12/2003, 16:23
 
Fecha de Ingreso: noviembre-2003
Ubicación: lima - peru
Mensajes: 49
Antigüedad: 20 años, 5 meses
Puntos: 0
consultas a una tabla DBF de 1.2 GB

en que me recomiendan trabajar.

tenemos un sistema que una de sus tablas tiene una tabla dbf de 1.2 GB (monton de data).

y lo que se quiere es hacer consultas de esa tabla y mostrarlos en la web

nuestro servidor es linux con apache.

actualment lo hice con PHP pero se demora demasiado.

con que me recomendarian trabajar.. y consejos.

gracias de antemano.
__________________
www.devtorres.net
  #2 (permalink)  
Antiguo 05/12/2003, 16:31
Avatar de BrujoNic
Super Moderador
 
Fecha de Ingreso: noviembre-2001
Ubicación: Costa Rica/Nicaragua
Mensajes: 16.935
Antigüedad: 22 años, 5 meses
Puntos: 655
Estaba viendo este mensaje con un compañero que trabaja con Visual Fox y ambos coincidimos que es una exageración el tamaño de ese dbf.

No se que información contiene ese dbf pero los tiempos de respuesta van a ser lentos dependiendo del servidor, memoria, velocidad, etc.

Por mi parte te recomendaría cambiar a una BD de verdad y podrías iniciarte con MySQL, FireBird o PostgreeSQL.

Para cualquiera de ellas esta para wintendo y Unix (con sus derivados como Linux, freeBDS, etc).

Dan un mejor rendimiento en Linux que en wintendo.
__________________
La tecnología está para ayudarnos. No comprendo el porqué con esa ayuda, la gente escribe TAN MAL.
NO PERDAMOS NUESTRO LINDO IDIOMA ESPAÑOL
  #3 (permalink)  
Antiguo 05/12/2003, 16:39
 
Fecha de Ingreso: septiembre-2003
Mensajes: 33
Antigüedad: 20 años, 7 meses
Puntos: 0
Duo dinamico

Definitivamente lo que mejor combina con php es

MySQL

pero al pasar la data a mysql debes asegurarte que este bien indexada... caso contrario : será igual o peor!

a no ser que quieras ir enserio con oracle...

depende de ud.

--
navisoft
http://www.latindevelopers.com/

Última edición por navisoft; 24/08/2004 a las 12:09
  #4 (permalink)  
Antiguo 05/12/2003, 16:45
 
Fecha de Ingreso: noviembre-2003
Ubicación: lima - peru
Mensajes: 49
Antigüedad: 20 años, 5 meses
Puntos: 0
tienes razon que es demasiado grande pero asi esta, y me pidieron hacerles esta consulta via web.

el problema es que si lo migro a MySQL tendria que estar migrando cada 10 minutos o algo asi y creo q seria peor.

la cuestion es que el sistema esta en vigencia y constantemente se esta actualizando.
__________________
www.devtorres.net
  #5 (permalink)  
Antiguo 05/12/2003, 17:10
 
Fecha de Ingreso: septiembre-2003
Mensajes: 33
Antigüedad: 20 años, 7 meses
Puntos: 0
Pero....

puedes escribir un programita que actualize cada cierto tiempo la base... (en caso de tratarse de registros nuevos)



en otro caso tienes que pensar mejor tu forma de trabajo.

tambien puedes optimizar la tabla , indexandola al máximo. y tratar de no usar consultas like, pero aun asi... no te lo recomiendo para nada...

de todas maneras será leennnnta.

--
navisoft
http://www.latindevelopers.com/

Última edición por navisoft; 24/08/2004 a las 12:10
  #6 (permalink)  
Antiguo 05/12/2003, 17:26
Avatar de BrujoNic
Super Moderador
 
Fecha de Ingreso: noviembre-2001
Ubicación: Costa Rica/Nicaragua
Mensajes: 16.935
Antigüedad: 22 años, 5 meses
Puntos: 655
Yo no me estaba refiriendo a pasar cada cierto tiempo los datos. Me refiero a cabiar todos tus datos a una BD de verdad, o sea, que el desarrollo hecho en fox migrarlo completamente a otra herramienta ya que la con la que cuentan en este momento no es funcional.

Ahora, en realidad es necesario tener toda esa información en ese DBF? son datos históricos?. En cualquier momento ese DBF va a reventar porque no va a poder reconocer los índices averiguate y te vas a dar cuenta de eso.
__________________
La tecnología está para ayudarnos. No comprendo el porqué con esa ayuda, la gente escribe TAN MAL.
NO PERDAMOS NUESTRO LINDO IDIOMA ESPAÑOL
  #7 (permalink)  
Antiguo 06/12/2003, 12:12
Avatar de Jorge_Mota  
Fecha de Ingreso: diciembre-2002
Ubicación: Chapinlandia :-D
Mensajes: 725
Antigüedad: 21 años, 4 meses
Puntos: 11
tomado de la ayuda de vfp 7 (tendrias que revisar en que version fue creada la dbf.

Archivos de tabla y de índice
Número máximo de registros por archivo de tabla 1.000 millones
Tamaño máximo de un archivo de tabla 2 gigabytes
Número máximo de caracteres por registro 65.500
Número máximo de campos por registro(1) 255
Número máximo de tablas abiertas a la vez(2) 255
Número máximo de caracteres por campo de tabla 254
Número máximo de bytes por clave de índice en un índice no compacto(3) 100
Número máximo de bytes por clave de índice en un índice compacto(3) 240
Número máximo de archivos de índice abiertos por tabla(2) sin límite
Número máximo de índices abiertos en todas las áreas de trabajo(2) sin límite
Número máximo de relaciones sin límite
Longitud máxima de expresiones relacionales sin límite

asi que la dbf SI soporta ese tamaño de archivo.

yo tengo una tabla de 1.73 millones de registros
y hago consultas a la web, no tardan mas de 2 segundos la mayoria.

Debes revisar si tienes los indices correctos (aprovechables por rushmore)
crear indices discriminantes
y no discriminantes, es decir tienes que hacer pruebas con diferentes indices
y ver si php aprovecha los indices al hacer consultas, de otra
manera creo que tendras que migrar a otra bd. como mysql

por otra parte para leer y entender que es rushmore
(solo disponible en Visual fox pro :P) Da Click Aqui

Saludos.
__________________
Jorge Mota
Blog
Gubiz estafa
  #8 (permalink)  
Antiguo 06/12/2003, 12:20
Avatar de Jorge_Mota  
Fecha de Ingreso: diciembre-2002
Ubicación: Chapinlandia :-D
Mensajes: 725
Antigüedad: 21 años, 4 meses
Puntos: 11
Por otro lado si conoces de VFP, podes hacer tu pagina en la que mostrar tus datos con
Web Connection o
AFP 3 o

los cuales te permiten generar sites, pero usando 100 % programacion de Foxpro,
(para poder hacer consultas optimizadas por rushmore en vfp), podes reutilizar hasta los forms de VFP
y mostrarlos en el Web!


ahora si tu problema es el presupuesto, podes hacerlo con vfp
vos mismo, mira estos 2 articulos (del autor de web connection)


Articulos de Rick Strhal


cualquier cosa, avisa ;)
__________________
Jorge Mota
Blog
Gubiz estafa
  #9 (permalink)  
Antiguo 09/12/2003, 08:31
 
Fecha de Ingreso: noviembre-2003
Ubicación: lima - peru
Mensajes: 49
Antigüedad: 20 años, 5 meses
Puntos: 0
si tuviéramos un servidor web basado en Windows lo hubiera hecho de esa Manero pero tenemos linux con apache
se puede hacer que PHP use los índices de tablas DBF ????

Busqué en el manual php.net pero no encontré ningún ejemplo..
tampoco vi algún comando parecido por ejemplo a mysql_query

veo solamente algo de 12 funciones...


creo q no queda otra que migrar a MySql
__________________
www.devtorres.net
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Tema Cerrado




La zona horaria es GMT -6. Ahora son las 21:49.