Foros del Web » Programando para Internet » Python »

Duda, eficiencia o velocidad Python

Estas en el tema de Duda, eficiencia o velocidad Python en el foro de Python en Foros del Web. Hola Queria intentar resolver una duda, sobre que opcion seria mas rapida y eficiente en cuanto al manejo con python de pytables, archivos, etc. Es ...
  #1 (permalink)  
Antiguo 15/11/2013, 10:08
 
Fecha de Ingreso: octubre-2013
Mensajes: 59
Antigüedad: 4 años, 1 mes
Puntos: 0
Duda, eficiencia o velocidad Python

Hola

Queria intentar resolver una duda, sobre que opcion seria mas rapida y eficiente en cuanto al manejo con python de pytables, archivos, etc.

Es un problema real, algo parecido que he de hacer.

Supongamos que tenemos un archivo, un .txt sencillo, con un monton de lineas, algo grande, unas 200000 digamos, lineas cortas, y quiero coger ciertos grupos de numeros e ir metiendolos en una pytalbe, ejemplo:

Código:
ARCHIVO.TXT ----------->               		PYTABLE
112233		--------->                        FILA1: 11	22	33
445566			--------->                FILA2: 44	55	66
778899		------------>		        .
etc				----------->                .
etc			-------------------->	        .
etc
.
.
.
Mi duda sobre la eficiencia seria: si quiero coger esos grupos de numeros del .txt, 11 luego 22 luego 33 etc e ir metiendolos en una pytable, con lo que digamos que al principio la pytable tendria 3 columnas, la de 11 la del 22 y la del 33.

Esto, segun tengo entendido seria muy rapido.

Pero....y si luego, ademas, dependiendo de lo que vayan valendo esos grupos de numeros, tengo que rellenar otras 3 columnas mas de la pytable??, qué seria mejor??:

Rellenar la pytable con esas 3 primeras columnas 11,22,33 y luego leer fila por fila de la pytable y operar sobre esas fila y rellenar el resto??

Pasar del .txt a otro tipo de estructura para hacer operaciones y luego al final rellenar la pytable toda de una vez con ya todas las columnas calculadas???.

Cualquier otra opcion mas rapida??....

Lo pregunto porque el tema de la rapidez es algo necesario, y aqui he puesto algo sencillo, pero en la realidad ese .txt podria tener mas de 500000 lineas, y la pytable unas 20-30 columnas.

Como tampoco estoy muy metido en esto de Python, me gustaria saber opiniones, antes de ponerme a teclear codigo como un loco y luego ver que habria otras opciones mejores.

Saludos.

Última edición por razpeitia; 17/11/2013 a las 20:31
  #2 (permalink)  
Antiguo 17/11/2013, 20:37
Avatar de razpeitia
Moderador
 
Fecha de Ingreso: marzo-2005
Ubicación: Monterrey, México
Mensajes: 7.321
Antigüedad: 12 años, 8 meses
Puntos: 1360
Respuesta: Duda, eficiencia o velocidad Python

Mi recomendación:

1. Programar ambas alternativas
2. Hacer profiling de ambos scripts.
3. Comparar resultados.
  #3 (permalink)  
Antiguo 18/11/2013, 03:58
 
Fecha de Ingreso: octubre-2013
Mensajes: 59
Antigüedad: 4 años, 1 mes
Puntos: 0
Respuesta: Duda, eficiencia o velocidad Python

Gracias razpeitia, lo se lo se, esa es la solucion si nadie respondia aqui.

La cuestion era, si alguien sabia de antemano qué solucion seria mas rapida, precisamente para evitar eso de tener que programar las dos soluciones.

Era mas que nada por ahorrar faena e ir desde el principio a lo seguro.

De todos modos gracias, si alguien supiese seguro la solucion mas rapida seria de gran ayuda.

Etiquetas: eficiencia, ip, velocidad
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 15:18.