NO siempre existen funciones mágicas que lo hagan todo!!
si deseas algo, muchas veces tienes que diseñarlo...
en tu caso es muy simple, con la función
file() cargas el archivo en un array... si usas
array_unique() automáticamente elimina duplicados del array...
bien, es mejor crear el archivo con un array así, puedes usar la función anterior para filtrar duplicados y bingo!!
cuando escribes tu archivo, va muy bien....
por favor,
lee el manual de PHP si no sabes de que hablo...
http://php.net/array http://php.net/file
suerte!