la pregunta del millon de veces, QUE BASE DE DATOS ME RECOMIENDAN

[xcars]

Hola amig@s del foro.
Pues me he topado con un problemilla, tengo una base de 10 Millones de registros, que actualmente la tengo en MySQL 5 y que la utilizo para hacer busquedas de texto completo.
Ahora bien no me esta funcionando como espero, cuando tengo pocos registros me da un orden en un texto de busqueda y con la bd completa, (es decir los 10 M) me los ordena difernete, con la misma estructura, mismo query, etc etc.
Entonces ya tengo ratitos de estar queriendo resolver mi problema y talvez MySQL no sea el mas adecuado, y se muy bien que por ejemplo google utiliza MySQL pero yo no logro obtener los resultados que espero, pues bien, estaba considerando aun, el talvez cambiar a otra con los siguientes criterios:
- LIBRE
- QUE MANEJE FULL-TEXT SEARCH o que tenga alto rendimiento en busquedas
- Que se pueda conectar desde PHP
- QUE FUNCIONE TANTO EN GNU/LINUX COMO EN WINDOWS

ya conoci sphinx y sql_search y aun no estan al nivel en que los necesito.

Asi es que la pregunta del millon que tantos han hecho, en base a estas caracteristicas que otra base podria utilizar? al igual seguire intentando resolverlo en mysql pero tambien me gustaria poder iniciar a buscar otras alternativas

[kipiloko]

Pues de las opciones existentes de hecho hiciste un muy buen trabajo limitanto que requieres y bajo que condiciones. Por lo que definitivamente deberias utilizar PostgreSQL que funciona tanto en cualquier Unix en tu caso un Linux y bajo Windows, se puede conectar via ODBC o por extension con PHP, Facilmente se comeria tus 10 millones de registros para lograr un performance excelente en cuanto a busquedas y aparte de ser estable, SQL bien implementado.

Para linux te bajas el tar y compilas e instalas en un SUSE o te consigues un RPM si te quieres evitar esto, en Debian un DEB, Mandrake ya lo trae asi como la mayoria de las versiones Server.

En Windows te bajas el MSI (www.postgresql.org) o WAPPO (http://veramextech-wappo.blogspot.com/) y listo. Ojo que wappo instala PHP y Apache, por lo que deberias tener cuidado si ya los tienes instalados leerte el manual.

No se que mas quieres saber sobre PostgreSQL para decantarte por el, pero es tu mejor opcion y aqui estoy para resolver tus dudas.

[seyko]

Base de Datos libre... coincido con kipiloko la mejor Postgresql!

Un saludo

[xcars]

peus conozco y he trabajado con postgresql, pero antes de decidirme entre PG y MY SQL estuve leyendo sobre ambos, en cuanto al rendimiento en BD de millones de registros y busquedas en estos, y pues todo lo que lei apuntaba a MySQL por lo cual lo elegi, pero realmente ahora no estoy tan seguro si fue la mejor decision, y pues, me gustaria saber si han manejado una cantidad similar de registros con PostgreSQL y como les ha ido.
Grcias por sus comments

[djagu_26]

Bueno en cuanto a bd relacionales me parece q postgress seria la mejor opcion, no has pensado en utilizar una bd orientada a objetos como Db4o(Date Base for Objects)? Esta es utilizada por una de las mejores universidades de estados unidos no recuerdo bien si es la de Michigan o la de Masachuzets pero yo la use en un tiempo y me parecio muy buena
saludos

[kipiloko]

Iniciado por xcars

peus conozco y he trabajado con postgresql, pero antes de decidirme entre PG y MY SQL estuve leyendo sobre ambos, en cuanto al rendimiento en BD de millones de registros y busquedas en estos, y pues todo lo que lei apuntaba a MySQL por lo cual lo elegi, pero realmente ahora no estoy tan seguro si fue la mejor decision, y pues, me gustaria saber si han manejado una cantidad similar de registros con PostgreSQL y como les ha ido.
Grcias por sus comments

Pues te recomiendo el desempeño de PostgreSQL con millones de datos ya que la eh probado de arriba-abajo izquierda-derecha y no me ha fallado, obvio un diseño correcto de la base de datos te ayudara muchisimo para el performance, y desempeño.

Yo tambien eh leido y como bien dices todo apunta a MySQL cuando lees sobre velocidad en las consultas, pero se debe a que no maneja transacciones, recuperacion, restricciones, etc... por lo que MySQL es mas rapido, pero cuando nos topamos con Bases de Datos de Millones de datos y complejas el rendimiendo se viene abajo en forma exponencial. Por el simple hecho de las restricciones y las relaciones las consultas empiezan a alentarse, en cambio en PostgreSQL no sucede esto.

Ademas PostgreSQL posee herramientas para depurar tu base de datos, en cuanto al guardado de los datos, es decir como se guardan en disco por lo que el acceso se mejora considerablemente.

Sin duda la opcion que se adecua a tus necesidades es PostgreSQL bajo mi experiencia y tus necesidades.

Por otro lado no olvides que siempre es bueno darse una googleada(se oye mejor que yahooeada o askeada, etc...) para saber si hay alguna otra opcion, y si tienes tiempo escucha o mejor dicho lee las opiniones de otros usuarios.

[xcars]

Hola muchisimas gracias, si tu has tenido esta experiencia, me anima mas a hacer la prueba ya que recuerda que tendria que migrar mis datos, que realmente es un poco tedioso, y pues queria asegurarme, realmente hare la prueba con PG, y tienes razon en cuanto al rendimiento, sabes lo mas curioso que me ha sucedido?
En la base completa (10 M) busco por ejemplo CARLOS RIVAS y las palabras coincidentes, es decir todos aquellos registros que solo contengan esas dos palabras, aparecen en la posicion 300 / 400 mas o menos y el primero es uno llamaod RIVAS RIVAS CARLOS EDWIN.
Pues bien, hice una copioa de la estructura de mi tabla y la rellene con unos 20 registros, incluyendo 2 CARLOS RIVAS (carlos rivas y RIVAS CARLOS) y a RIVAS RIVAS CARLOS EDWIN, y cual fue mi sorpresa, con el mismo query, el resultado fue inverso, los 2 primeros registros eran los CARLOS RIVAS y el ultimo coincidiente de como 8 que tenia era RIVAS RIVAS CARLOS EDWIN, y esto me encendio una alarma en cuanto a como maneja los scores el motor de mysql en este momento.
Pero gracias, al trabajar con adodb mi aplicacion no variara mucho... gracias por tu opinion

Iniciado por kipiloko

Pues te recomiendo el desempeño de PostgreSQL con millones de datos ya que la eh probado de arriba-abajo izquierda-derecha y no me ha fallado, obvio un diseño correcto de la base de datos te ayudara muchisimo para el performance, y desempeño.

Yo tambien eh leido y como bien dices todo apunta a MySQL cuando lees sobre velocidad en las consultas, pero se debe a que no maneja transacciones, recuperacion, restricciones, etc... por lo que MySQL es mas rapido, pero cuando nos topamos con Bases de Datos de Millones de datos y complejas el rendimiendo se viene abajo en forma exponencial. Por el simple hecho de las restricciones y las relaciones las consultas empiezan a alentarse, en cambio en PostgreSQL no sucede esto.

Ademas PostgreSQL posee herramientas para depurar tu base de datos, en cuanto al guardado de los datos, es decir como se guardan en disco por lo que el acceso se mejora considerablemente.

Sin duda la opcion que se adecua a tus necesidades es PostgreSQL bajo mi experiencia y tus necesidades.

Por otro lado no olvides que siempre es bueno darse una googleada(se oye mejor que yahooeada o askeada, etc...) para saber si hay alguna otra opcion, y si tienes tiempo escucha o mejor dicho lee las opiniones de otros usuarios.

[kipiloko]

Iniciado por xcars

Hola muchisimas gracias, si tu has tenido esta experiencia, me anima mas a hacer la prueba ya que recuerda que tendria que migrar mis datos, que realmente es un poco tedioso, y pues queria asegurarme, realmente hare la prueba con PG, y tienes razon en cuanto al rendimiento, sabes lo mas curioso que me ha sucedido?
En la base completa (10 M) busco por ejemplo CARLOS RIVAS y las palabras coincidentes, es decir todos aquellos registros que solo contengan esas dos palabras, aparecen en la posicion 300 / 400 mas o menos y el primero es uno llamaod RIVAS RIVAS CARLOS EDWIN.
Pues bien, hice una copioa de la estructura de mi tabla y la rellene con unos 20 registros, incluyendo 2 CARLOS RIVAS (carlos rivas y RIVAS CARLOS) y a RIVAS RIVAS CARLOS EDWIN, y cual fue mi sorpresa, con el mismo query, el resultado fue inverso, los 2 primeros registros eran los CARLOS RIVAS y el ultimo coincidiente de como 8 que tenia era RIVAS RIVAS CARLOS EDWIN, y esto me encendio una alarma en cuanto a como maneja los scores el motor de mysql en este momento.
Pero gracias, al trabajar con adodb mi aplicacion no variara mucho... gracias por tu opinion

Que bueno que te sirva mi experiencia y mi opinion, para eso estamos, y si es curioso que pase esto, pero desgraciadamente en el caso de MySQL muchos nos vamos por su velocidad me incluyo por que en pruebas de tipo personal utilizo MySQL por rapidez en las consultas.... Pero se dejan de lado la integridad y sobre todo el manejo de disco de los datos, algo si bien no considerado muy importante, tan importante que PostgreSQL incorpora Vacum para liberar el espacio no utilizado en disco, generalmente cuando borramos un registro solo se elimina logicamente de la BDD y no del disco por ejemplo y pues la BDD se vuelve lenta.

Pero bueno ya me estaba extendiendo mucho... Buena opcion la que tomaste y espero nos platiques como te fue, para que otros usuarios vean la diferencia entre gestores.

[xcars]

bueno, le estoy metiendo a PG pero le falta integrar todo esto de full-text search, hay que hacer muchas configuraciones para hecharlo a andar, y pues espero hacerlo correctamente

Iniciado por kipiloko

Que bueno que te sirva mi experiencia y mi opinion, para eso estamos, y si es curioso que pase esto, pero desgraciadamente en el caso de MySQL muchos nos vamos por su velocidad me incluyo por que en pruebas de tipo personal utilizo MySQL por rapidez en las consultas.... Pero se dejan de lado la integridad y sobre todo el manejo de disco de los datos, algo si bien no considerado muy importante, tan importante que PostgreSQL incorpora Vacum para liberar el espacio no utilizado en disco, generalmente cuando borramos un registro solo se elimina logicamente de la BDD y no del disco por ejemplo y pues la BDD se vuelve lenta.

Pero bueno ya me estaba extendiendo mucho... Buena opcion la que tomaste y espero nos platiques como te fue, para que otros usuarios vean la diferencia entre gestores.

[kipiloko]

Pues no te preocupes una vez que haces las primeras configuraciones todo se va dando ya que es muy sencillo en la mayoria de los casos, pero la maldita costumbre del Windows de no saber ni lo que pasa, luego nos espanta editar un archivo de configuracion , pero una vez que nos encontramos con que gracias a esto tenemos control total para destruir o mejorara nuestra configuracion del Software pues terminamos queriendo configurar todo a nuestro gusto y necesidades.

Espero que cuando logres integrar todo te des una vuelta por aca y animes a mas usuarios a darse una vueltecita por PostgreSQL que a muchos les desagrada por la facilidad que presenta MySQL con tantos paquetes de instalacion que hay.

Saludos, Suerte y Sobre todo Animo!!!

Iniciado por xcars

bueno, le estoy metiendo a PG pero le falta integrar todo esto de full-text search, hay que hacer muchas configuraciones para hecharlo a andar, y pues espero hacerlo correctamente