Obtener un array de un documento de texto

[Ronruby]

No entiendo si lo que quieres es obtener las URL de una pagina, o hacer que cuando recoja las URL no las DUPLIQUE en el documento de texto, o ambas.

Para recoger las URL de un sitio web, file_get_contents() + Expresiones regulares (Hay bastantes expresiones regulares para tomar URLs).
Si quieres revisar que una direccion ya exista, carga el archivo con file() y luego cada vez que vallas a insertar, asegurate de que la direccion no existe en el arreglo con in_array().