Oh, vale, puedes cargar el archivo con file("nombredearchivo.txt") y luego con un array_walk iterarlo o algo. Hay montañas de funciones de arrays y seguro que una comprueba que no se repitan los valores.
Mira en array en PHP.net
De todas maneras no te recomiendo almacenar datos temporales en archivos, es mucho más simple (e infinitamente más rápido) extraer los datos de un archivo, borrar los registros repetidos, y luego meterlos en la base de datos sin salir de la memoria del programa (es decir sin usar el disco).
Piensa que las variables se almacenan en RAM que es una memoria muy rápida del ordenador (no tanto como la caché, pero que le vamos a hacer), y los archivos se almacenan en el Disco Duro que no es lento, pero comparado con la RAM es más lento.