Cita: Claro, tendría q hacer un cotejamiento de datos para evitar duplicidad, pero eso detendría la operacion entera, no?
No necesariamente. Una tabla de 60.000.000 de registros tarda menos de 0.25 segundos en encontrar una coincidencia, y menos aún si existen índices definidos sobre los campos implicados.
Cita: Porque ambas tablas van a crecer, y la consulta de filtrado se hará de nuevo para ver nuevas coincidencias, entonces, al hacer el filtrado nuevamente, saldran las coincidencias antiguas y las nuevas....
Y habría q guardar sólo las nuevas....a menos q se chanque o sobre-escriba la data vieja; y la nueva sólo se adhiere...
No te compliques inutilmente antes de hacer las pruebas... Los sistemas de bases de datos fueron creados precisamente para responder este tipo de problemas muy rápidamente.
No pienses que cuando haces una consulta lo que hacen es barrer la tabla registro por registro. Nada que ver. Tienen diferentes algoritmos que trabajan internamente. Algunas veces la consulta puede ser optimizada de otros modos o por otras parametrizaciones. Ya los iras probando y aprendiendo.
No te ahogues en un vaso de agua.
Por ahora, analiza la estructura de datos y trata de visualizar qué combinación de datos no se repite entre dos registros jamás. Esa es una clave candidata y te permitirá crear un indice UNIQUE, el cual el DBMS (MySQL en esate caso) usará para aceptar o rechazar la inserción.