Alternativa a Mysql para 9.000.000 de registos

lisandro Arg · #1 (**permalink**) 24/03/2010, 07:48

Hola a todos!

Tengo que importar casi 1Gb de datos de www.geonames.org en un hosting de un cliente (1and1.es) pero tengo el problema que las bases de datos (MySql) tienen un límite de 100Mb. Había leido q en SQLite las bases de datos son archivos que puedo ubicar en cualquier lado y como viene instalado en php5 no necesito que el servidor tenga instalado nada, es eso verdad ?, es la mejor opción ?

Otro punto muy importante es que tiene que tener alguna forma de importar sentencias sql comprimidas (zip, gzip) o algo similar a LOAD DATA

gnzsoloyo · #2 (**permalink**) 24/03/2010, 10:41

Me parce que estás un poco confundido sobre los límtes de una base de datos MySQL. Al menos según mi experiencia (tengo tres administradas que andan en el orden de 4.5 Gb cada una).
Lo que si es posible es que el hosting contratado te ponga un límite al tamaño de las bases, pero eso es un límite puesto por ellos, no por MySQL.
Por darte más información, mira esto: 15.1. Panorámica de InnoDB

lisandro Arg · #3 (**permalink**) 24/03/2010, 11:39

Si, gnzsoloyo tengo 5 bases de datos MySql de 100Mb c/u y el límite está puesto por el hosting, no es de MySql,creo que no me había explicado bién.

Pero más allá de eso me gustaría encontrar otro tipo de bases de datos para saltarme ese límite.

Alguien conoce algo de SQLite ?

morior · #4 (**permalink**) 24/03/2010, 13:15

Yo estoy con 1and1 y seguramente tendrás el mismo pack que yo, un servidor gestinado que te lo limitan a bases de datos de 100 mb, te recomiendo que cambies de plan. Es una sugerencia, básicamente porque estoy contentísimo con el rendimiento de mysql y no lo cambio por nada (de momento).

gnzsoloyo · #5 (**permalink**) 24/03/2010, 14:33

Morior está dandote la pauta correcta.
La cosa no pasa por cambiar de DBMS y pasarte a SQLite sería un grosero error, porque sus ventajas no residen en las dimensiones de sus tablas sino en su kernel reducido y portatil.
SQLite si, genera archivos para cada tabla, pero eso también lo hace MyiSAM, e InnoDB hace algo parecido, por lo que en realidad no importa mucho cuál estés usando.
Además, tu problema central sigue siendo el mismo: si no cambias de plan, el problema se presentará nuevamente, ya que los requisitos de almacenamiento básicamente se mantienen en tus tablas, por lo que, salvo compresión mediante, cambiar a SQLite solo hará que cambies las sintaxis de algunas cosas sin desaparecer el problema.
Creo que en realidad lo que debes hacer es ver qué otro hosting usar, partiendo de la base que deberás olvidarte de los gratuitos...

lisandro Arg · #6 (**permalink**) 24/03/2010, 16:04

Lo de cambiar de hosting o de plan no es una opción, si dependiera de mí sería la primer opción y asunto arreglado pero depende el cliente y no lo va a hacer, por eso ni lo menciono.

Está claro que MySql como SQLite generan archivos por cada base de datos y por cada tabla, el tema es que SQLite (con lo poco que entiendo de esta) permite establecer la ubicación del archivo al momento de crear una base de datos, entonces podría crear las bases de datos en una carpeta dentro de mis archivos y el hosting no tendría forma de controlar el tamaño de mis db`s SQLite.

Se entiende la idea ?

gnzsoloyo · #7 (**permalink**) 24/03/2010, 18:59

Se entiende, pero en ese aso vas a sacrificar potencia y capacidades por almacenamiento.
Te convendría convencer al cliente, o bien recurrir a contratar un hosting específicamente para la base de datos y dejar la web donde está.
¿Lo has considerado?

AitorLopez · #8 (**permalink**) 25/03/2010, 05:49

Cita:

Iniciado por morior

Yo estoy con 1and1 y seguramente tendrás el mismo pack que yo, un servidor gestinado que te lo limitan a bases de datos de 100 mb, te recomiendo que cambies de plan. Es una sugerencia, básicamente porque estoy contentísimo con el rendimiento de mysql y no lo cambio por nada (de momento).

Hola.

Yo acabo de empezar con 1and1, todavia no tengo ninguna bd, pero viendo vuestras opiniciones, me quedo muy contento por ver que es un buen sitio.

Un saludo.

morior · #9 (**permalink**) 25/03/2010, 11:23

Es salirse un poco del tema pero voy a intentar encauzarlo. La gente de 1and1 la verdad es que trabajan muy bien, yo estoy muy contento con ellos sobre todo después de la mala experiencia que he tenido con arsys (lo siento os habéis ganado mala publicidad conmigo). Yo tengo contratados ya dos servidores con ellos y en cuanto he tenido un problema, les he llamado y a los 10 minutos ya me lo han tenido solucionado.

Encauzo el tema ahora sí. Como te he comentado yo me cambiaría de servidor (ya sé que has dicho que el cliente no lo quiere pero te ahorrará faena porque como bien comenta el compañero el problema de capacidad lo tendrás igual). Mírate en su página web que tienen muy buenos packs y precios, el que tengo contratado ahora es el que está catalogado como para bases de datos y va perfectamente y esta vez ya sin límite.

kalvinman · #10 (**permalink**) 25/03/2010, 11:49

Este tema me recuerda que tengo preguntar algo referente a esto:

¿Como haces para meter esa nueva base de datos de mysql en el nuevo host?

Porque mi phpmyadmin me pone un limite de 65Mb para los archivos que voy a importar????
como lo haces?

gnzsoloyo · #11 (**permalink**) 25/03/2010, 12:04

Bueno, Kalvinman, lo mejor que puedes hacer es poner en Google algomo como "importar grandes bases de datos con phpmyadmin", y obtendrías cosas como: Alternativas a phpMyAdmin: subir base de datos grandes
Esto tiene algunas buenas ideas, y sobre todo:allow memory en phpmyadmin al importar una BD

O sea, hay muchas partes por donde puedes atacar.

Solamente debes tener paciencia buscando...

kalvinman · #12 (**permalink**) 25/03/2010, 17:04

Gracias esta interesante tendre que dedicarme a Googlear. xD

morior · #13 (**permalink**) 26/03/2010, 03:39

Googlear siempre es una buena práctica aunque demasiadas veces he terminado en éste mismo foro y al final pues uno opta por registrarse y pasar de los intermediarios

gnzsoloyo · #14 (**permalink**) 26/03/2010, 05:10

Totalmente en lo cierto.
Algunas veces, buscando más detalles sobre un tema que ya estuve trabajando, me he encontrado con mis propios posts...

Toda una búsqueda circular...

lisandro Arg · #15 (**permalink**) 26/03/2010, 06:34

Finalmente no me quedó otra opción que usar el Web ervices de www.geonames.org y guardar los xml en local, de esa forma a medida que se van guardando los archivos y a medida que pasa el tiempo genero menos consultas al servidor externo, por lo tanto no opté por no usar ninguna base de datos. Funciona perfectamente.

Nota: Los datos los tenia en local, lo exporté por partes (archivos de 15MB axprox.) comprimidos con gzip (Exportar en phpmyadmin) y luego los subí con bigDump.

Saludos.