Grave Problema - Tema Para Expertos -

[angelin22]

Buenas noches,

Tras algo más de 7 años en el sector y haberme pegado con casi todo, me encuentro en una situación que no le encuentro una salida lógica y solucionable... os pongo un poco en antecedentes y ahora paso al ejemplo.

Se trata de pasar una aplicación realizada en Visual Basic 6.0. contra un Access 97, a un entorno más moderno sobre J2EE y Oracle 10g.

Bien el caso es que la evaluación del entorno va a consistir en que exactamente las mismas salidas que ofrece el anterior entorno sean reproducidas en el mismo. Algo que parecia más que factible.

Pues bien estamos en un momento que debido a las bases de datos según mis test, me encuentro con lo siguiente:

Si insertamos en Access digamos los siguientes valores:

Numero Cantidad
(11) (10)
(112) (10)
(113) (10)
(77888) (10)
(3345) (10)
(445) (10)
(545) (10)
(545) (10)

Siendo una tabla sin ningún tipo de clave primaria, ni nada.... y ordenamos por cantidad, por ejemplo, select * from tabla order by cantidad

Access devuelve una ordenacion.... y si hacemos esto mismo en Oracle... Obtenemos una ordenacion que puede parecerse o no... pero desde luego muchas de las veces no es igual....

Evidentemente imgaino que cada motor de base de datos tendra sus algoritmos de ordenacion... ahora bien.. ¿que pensais?, ¿que solucion hay?, Os recuerdo que la salida debe de ser exactamente igual... si, si, ya se que el "iluminado" que hizo la antigua aplicaicón si le hubiera dado por ordenar tambien por el primer campo no habria habido ningun tipo de problema... pero es lo que hay!

Con todo esto, ¿como leches ordena un motor de base de datos cuando sus registros coinciden en los campos de ordenacion? :)

Gracias y un saludo!

[Linterns]

el problema de la ordenacion es como defines el campo principal... es deir que si lo tratas como algo numerico te lo oredenara como tal asi que en oracle (o la herramienta que decidas tendras que convertir ese campo a numerico o letra (dependiendo de como quieres tu ordenacion) ej:

Código PHP:

  select *
from tabla
order by to_number(numero);  
   

[seyko]

Buenas,
¿no entiendo porque es un problema grave??

Cuando todos sus campos coinciden en realidad no ordena, hace un recorrido secuencial. Por lo que el orden será el del recorrido secuencial.

Un saludo

[matanga]

Hola,

Parece que el algoritmo de ordenacion va cambiando entre las versiones en Oracle, presta especial atencion al orden en que aparecen los ROWIDs.

Ordenacion en 9i.

Código:

SQL> select * from v$version;

BANNER
----------------------------------------------------------------
Oracle9i Enterprise Edition Release 9.2.0.1.0 - Production
PL/SQL Release 9.2.0.1.0 - Production
CORE    9.2.0.1.0       Production
TNS for 32-bit Windows: Version 9.2.0.1.0 - Production
NLSRTL Version 9.2.0.1.0 - Production

SQL> select rowid, id, data from t1 order by data;

ROWID                      ID       DATA
------------------ ---------- ----------
AAA6wMAABAAAMHyAAA          1          2
AAA6wMAABAAAMHyAAB          2          2
AAA6wMAABAAAMHyAAC          3          2
AAA6wMAABAAAMHyAAD          4          2
AAA6wMAABAAAMHyAAE          5          2
AAA6wMAABAAAMHyAAF          6          2

6 filas seleccionadas.

Ordenacion en 10g.

Código:

SQL> select * from v$version;

BANNER
----------------------------------------------------------------
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Prod
PL/SQL Release 10.2.0.1.0 - Production
CORE    10.2.0.1.0      Production
TNS for 32-bit Windows: Version 10.2.0.1.0 - Production
NLSRTL Version 10.2.0.1.0 - Production


SQL> select rowid, id, data from t50 order by data;

ROWID                      ID       DATA
------------------ ---------- ----------
AAAGqXAAEAAAAAOAAA          1          2
AAAGqXAAEAAAAAOAAB          2          2
AAAGqXAAEAAAAAOAAF          6          2
AAAGqXAAEAAAAAOAAD          4          2
AAAGqXAAEAAAAAOAAE          5          2
AAAGqXAAEAAAAAOAAC          3          2

6 filas seleccionadas.

Nunca se puede confiar en la ordenacion interna de datos que haga Oracle, simpre que se quieran los registros en un orden determinado, hay que decirlo de forma explicita en la consulta SQL.

Saludos

[seyko]

Un gran ejemplo el de matanga

Salu2

[angelin22]

Iniciado por seyko

Buenas,
¿no entiendo porque es un problema grave??

Cuando todos sus campos coinciden en realidad no ordena, hace un recorrido secuencial. Por lo que el orden será el del recorrido secuencial.

Un saludo

Es grave como cuando he comentado antes, evaluan tu producto dependiendo con la precisión en la exactitud de tu salida con la del anterior.

[angelin22]

Buen ejemplo Matanga....

Hoy hemos seguido con las pruebas, y hemos llegado a la conclusion de que es imposible obtener los mismos resultados...

Os pondre el ejemplo mucho más concreto:


EL tema trata del calculo de neceisidades de ciertos articulos, ambos sistemas calculan las necesidades de articulos para un proveedor, para ello pensemos que se obtienen los siguientes articulos, con sus cantidades y precios para este caso que representan las necesidades:

Número de Artículo Cantidad a necesitar Precio
1 11 10
2 6 3
3 1 2
4 1 3
5 1 2
6 1 4
7 1 3

En este ejemplo que representa un posible escenario aunque con datos ficticios, el programa en visual basic ejecuta una selección de los datos, ordenados en primer lugar por la Cantidad necesaria de forma descendente . Sobre la tabla de ejemplo Access realiza la ordenacion en primer lugar por el articulo 1, posteriormente por el articulo 2, ya que tienen cantidades en posicion descendente, pero cuando se encuentra cantidades iguales , realiza una ordenacion en nuestros test, por momento inverso en el que ha entrado en el sistema. Es decir algo como esto.

Número de Artículo Cantidad a necesitar Precio
1 11 10
2 6 3
7 1 3
6 1 4
5 1 2
4 1 3
3 1 2


A partir de aqui el sistema iria sumando articulos hasta sobrepasar una cantidad digamos en dinero, pongamos que se sobrepasa para este caso con los articulos, 7 y 6.


Oracle en cambio después de ordenar por los campos indicados, realiza una optimizacion interna de sus datos y ofrece un resultado totalmente distinto. Algo como esto.

Número de Artículo Cantidad a necesitar Precio
1 11 10
2 6 3
5 1 2
7 1 3
6 1 4
4 1 3
3 1 2


Lo que para este caso posiblemente cubra la cantiadad con los valores 5, y 7


Aparentemente aparece una solución rápida y sencilla de solucionarlo, basada en que se programe en el nuevo sistema Java una “ordenacion Access simulada” y que sea en el momento en que ya conciden todas las cantidades se fuerce una ordenacion por momento en el que se entra en el sistema.

Esto pierde todo el sentido al tratar hacerlo en el sistema real, puesto que entra en juego Compactaciones diarias de las bases de datos access para que el antiguo sistema mantenga un rendimiento coherente. Esto produce que todos los registros son recolocados diariamente, reproduciendo ordenaciones totalmente dispares. Con la consiguiente imposibilidad de replicar este funcionamiento desde el sistema nuevo.

Como veis la cosa tiene tela, y nos esta dejando KO!...


Gracias por las aportaciones, se aceptan sugerencias! :)

Por cierto imposible modificar nada del antiguo sistema! :(

[seyko]

Desgraciadamente si no podeis cambiar el sistema antiguo, creo que no tendreis opcion de "simular" el metodo de ordenamiento antiguo.
La opcion correcta es ordenar por más de una columna, para que coincidan las formas de ordenas, pero para reproducir el metodo de ordenación antiguo, viendo que no sigue un criterio concreto, no se va a poder.

Salu2

[BrujoNic]

En el ordenamiento que estas poniendo de ejemplo para versiones diferentes de Oracle, los datos de rowid son diferentes y estas ordenando por un campo que tiene el mismo valor, es lógico que te dé resultados diferentes.

Si queres un ordenamiento más acertado y adecuado, debes hacerlo por id únicamente o por id y data.

[matanga]

Hola,

Con el ejemplo intentaba mostrar que, a datos iguales resultados diferentes entre versiones.

Si ordeno por el campo data, donde todos sus valores son 2, ¿En que orden me devuelve Oracle los registros? ¿Como funciona el algoritmo de ordenacion de datos (sorting) entre versiones?.

En ambos casos inserte los datos en orden acendente por Id, por eso es que los ROWIDs son correlativos, pero al momento de devolver los registros, estos se ven afectados por el algoritmo de sorting, aun cuando todos los valores del campo data son iguales.

..los datos de rowid son diferentes y estas ordenando por un campo que tiene el mismo valor, es lógico que te dé resultados diferentes.

Los rowids tienen que ser diferentes, son ids y por definicion no pueden haber dos iguales.

Si queres un ordenamiento más acertado y adecuado, debes hacerlo por id únicamente o por id y data.

De ahi que enfatizo en que nunca se puede confiar en el orden en Oracle me devuelve los datos, siempre tengo que decirlo en forma explicita en la consutal SQL.

Saludos

[Nenillo]

Puedes estudiar la posibilidad de añadir un campo adicional en la nueva base de datos, llamado "orden" y hacer un script que importe los datos de Access ya ordenados e incluya el orden en el nuevo campo de la nueva bd.

Si no tienes muchos criterios distintos puede ser factible...

La otra solución es que tú mismo implementes el algoritmo de ordenación. Ya sabes... ingeniería inversa.

[angelin22]

Chicos, no compraro versiones de Oracle, sino una version de Access 97 , contra una version de Oracle 10g que es el nuevo motor...

El tema de crear un campo llamado Orden es imposible, no puedo estar importando nada del viejo sistema, puesto que dejará de existir.. con lo que luego ¿que hacemos?... se supone que deben entrar datos en ambos sistemas independientemente el uno del otro, y producir la misma salida...

Como bien dice Seyko, aunque yo siempre he defendido que en la informatico todo se puede hacer, en este caso en concreto me da que me tengo que tragar mis palabras, y decir que NO, no se puede obtener lo mismo!.


:(

[osqar]

Pero el problema no lo tiene ni el Access ni el Oracle, el problema grave es como esta hecho el sistema. Si vos queres un dato con un orden especifico tenes que implementarlo de tal manera que responda a ese sistema, las bases de datos implementan de distinta manera su modo de almacenamiento asi que tratar de predecir un orden que nadie se lo especifico en su momento no es serio.

[Nenillo]

Claro que se puede hacer. Te di dos soluciones. Una es el campo orden (necesitáis tener 2 sistemas funcionando a la vez?¿?) y la otra es que implemente tu propio algoritmo de ordenación y lo hagas coincidir con el de Acces.

Pero vamos, si relamente queréis mantener ese sistema, miráoslo bien porque el fallo no es que no ordene mal, si no ya el planteamiento de ese sistema.

[angelin22]

Iniciado por osqar

Pero el problema no lo tiene ni el Access ni el Oracle, el problema grave es como esta hecho el sistema. Si vos queres un dato con un orden especifico tenes que implementarlo de tal manera que responda a ese sistema, las bases de datos implementan de distinta manera su modo de almacenamiento asi que tratar de predecir un orden que nadie se lo especifico en su momento no es serio.

Diselo al que "pario" la primera aplicacion... alucinariais con ciertas partes del código... para tirarse por la ventana!

[angelin22]

Iniciado por Nenillo

Claro que se puede hacer. Te di dos soluciones. Una es el campo orden (necesitáis tener 2 sistemas funcionando a la vez?¿?) y la otra es que implemente tu propio algoritmo de ordenación y lo hagas coincidir con el de Acces.

Pero vamos, si relamente queréis mantener ese sistema, miráoslo bien porque el fallo no es que no ordene mal, si no ya el planteamiento de ese sistema.

El primer sistema estará funcinando hasta que se acepte la migración al nuevo, que será cuando con entradas iguales, produzca salidas iguales... Con lo que ambos deberian funcionar sobre 1 mes aprox.

Así que las soluciones no valen, la primera la del campo orden es invalida, por que no puedes estar leyendo de la bd original para ver como estan ordenados.... tienen que ser independientes.

Y crear tu propoio algoritmo de ordenacion, ya me diras como.. si cada vez que se hacen compactaciones de las tablas en el sistema original (Acess 97) cambia el orden....


Para colgar al tio que lo hizo!

[xcars]

La solucion mas simple es la acertada me decia un catedratico en la universidad.

¿Porque quieren migrar a Oracle 10?

¿Si el otro sistema les funciona como anillo al dedo, porque lo quieren cambiar?

¿Uno no cambia un sistema solo porque si, porque ya hay mas desarrollo, etc, el touchscreen salio hace mucho y no por eso voy a buscar implementarlo en mi oficina si como esta anda bien?

A veces siento que le buscamos soluciones a problemas irreales, y no digo que sea tu caso, pero si el otro sistema les va bien, y con este no, porque hacer el cambio a Oracle, ya intentaron con MS-SQL? u otra version de ORACLE, PostgreSQL, MySQL?

Porque creeme, la respuesta mas acertada es, haz tu propio algoritmo de ordenacion que trabaje igual al de access, Access ni siquiera es un motor de bases de datos como para compararlo con Oracle o X SQL.

Si tienes la respuesta a las primeras preguntas podria ver que otra solucion te puedo sugerir.

[angelin22]

Hola XCars, ...

Te intento respondo...

¿Porque quieren migrar a Oracle 10? . Empresa multinacional, Equipo de arquiectura en Francia, Plataforma Impuesta, J2ee 1.4, Struts, Hibernate, Eclipse 3.2, Jboss, y Oracle 10g. De ahi ni salirse.

¿Si el otro sistema les funciona como anillo al dedo, porque lo quieren cambiar?
El otro sistema funciona como el culo, iba bien cuando habia unos 40.000 articulos , con 2 millones y haciendo las cosas como las hacia el pollo que invento, demasiado que arranque.... no os creeriais ciertos métodos que se implementan ahi, como por ejemplo si tuvieras 2 millones de articulos, con los códigos de los proveedores por articulo, evidentemente tendrias una tabla relacionada con otra que mantuviera la tabla de proveedores no?, pues bien este "informatico" se marca una select distinct sobre los 2 millones de articulos cada vez que quiere llenar un combo para elegir proveedor.. y paro por que os pondriais a llorar....

¿Uno no cambia un sistema solo porque si, porque ya hay mas desarrollo, etc, el touchscreen salio hace mucho y no por eso voy a buscar implementarlo en mi oficina si como esta anda bien?

Si podriamos hacer la aplicación para que fuera sobre la Wii, estaria bien! :), no en serio J2EE 1.4 y Oracle no lo veo el sumum de la tecnologia. Pero vamos es que como esta hecho esto en VB6.0, contra una base de datos Access que casi llega ya a su tope, y unos ficheros de accesso directo, que ocupan 5GB! :) es de llorar!....

Porque creeme, la respuesta mas acertada es, haz tu propio algoritmo de ordenacion que trabaje igual al de access, Access ni siquiera es un motor de bases de datos como para compararlo con Oracle o X SQL.

Estoy totalmente de acuerdo contigo... ojala nos hubieran dejado hacer la aplicacion sin tan si quiera mirar una linea de ese enjendro!.. 198.000 Lineas de código.

Creo que poca solucion te queda por darme! :) aún así gracias!

[Beakdan]

Oye, he estado siguiendo este post y me pareció interesante probar lo que mencionas, pero como no tengo Oracle para hacer pruebas, ni siquiera había posteado nada.
Pero, en SQL Server hice muchas pruebas, y el orden en el cual me devuelve los registros para los cuales no especifico un "order by" es el orden en que se encuentran en la tabla (sin índices, tal como indicas), que es como se ingresaron, y por cierto es el mismo orden que una tabla en Access. La única excepción a esto es cuando el plan de ejecución en SQL Server utiliza paralelismo, en cuyo caso el orden es bastante caótico y nada parecido al orden en que se ingresaron los datos. Pero bastó con especificar que la consulta no use paralelismo para obtener de nuevo los registros en el orden de inserción.
No veo porque Oracle habría de hacer el trabajo extra de ordenar algo que no has solicitado que ordene. Pues, ya hasta estoy buscando una versión developer de Oracle para hacer pruebas.

[matanga]

Hola Beakdan,

No existe una version developer de Oracle, para hacer pruebas te recomiendo la version Express, similar a la version Express de MS Sql Server 2005.

http://www.oracle.com/technology/sof.../xe/index.html

No veo porque Oracle habría de hacer el trabajo extra de ordenar algo que no has solicitado que ordene

Ese no es el caso, si no se especifica un ORDER BY, no se ordena, se devuelven los registros tal como estan en la tablas (tambien sujeto a paralelismo y demas HINTS de la consulta) , el dilema viene cuando se le dice que ordene por un campo con todos los valores iguales, en este caso, el orden de los registros puede o no ser el orden en que fueron insertados.

Saludos

[Beakdan]

No me explique bien . Estoy especificando el orden de alguna/algunas columnas, y el resto que no están en la cláusula "order by" son devueltas en el orden en que son encontradas en SQL Server. Gracias por el link, de hecho ya me suscribí al Oracle Technology Network.

[matanga]

Hola,

Esto se pone de lo mas absurdo, fijate en el siguiente ejemplo.

Código:

SQL> insert into t1 values (1,1);

1 row created.

SQL> insert into t1 values (1,2)

1 row created.

SQL> commit;

Commit complete.

SQL> select * from t1;

        ID       DATA
---------- ----------
         1          1
         1          2

SQL> select * from t1 order by id;

        ID       DATA
---------- ----------
         1          2
         1          1

Parece que el algoritmo de sorting de la 10g es un tanto bizarro :)

Saludos

[matanga]

Hola,

Confirmado, hubo un cambio en el algoritmo de sorting en la 10g R2 que mejora el ordenamiento de grande volumenes de datos, existe un parametro oculto que permite volver al comportamiento de la 9i, _newsort_enabled=false que por defecto esta en true.

No es aconsejable modificar los parametros ocultos a menos que soporte de Oracle diga lo contrario.

angelin22, perdon por alejarnos de tu problema inicial, estas cosas a veces pasan.

Saludos

[angelin22]

Gracias BeakDan, por tu tiempo...

La ordenacion que indicas es tambien sencilla simularla en ORACLE, el problema viene cuando borras e insertas, y despues compactas!.. veras tu que risa como se pierde el orden de entrada... puesto que la compactacion en ACCESS97 rellena los huecos.

Prueba y me diras!