Leer archivo grande y manipularlo

[ocp001a]

¿Acaso por cada proveedor de tu BD relees el archivo completo?

No estoy muy seguro de entender para qué requieres la lectura del archivo, pero 1600 datos no son muchos.

Podrías meter esos 1600 proveedores en un arreglo en memoria, y al leer el archivo (sólo una vez) cuando encuentres uno que esté en tu arreglo lo actualizas. Pero deberías dar más datos sobre la utilidad de ese archivo, y el procedimiento que realizas para actualizar tus datos, ya que podría no estar optimizado.

Si no son 1600 si no los 1600000 que dices que tiene el archivo, entonces quizá si sea necesario plantear otra estrategia.

Por cierto, 7 minutos no es mucho tiempo, yo he tenido que importar datos en formato texto de forma similar y cuando son realmente muchos datos, pueden tomar hasta unos 20 minutos, por lo que igualmente puede que sea necesario que aumentes el tiempo de ejecución de tu script.