Yo lo que haría para que te sea más facil es guardar el archivo de texto en un array y luego lo ordenas al array, así te es más facil:
Dim xVector() as String = System.IO.File.ReadAllLines("c:\archivo.txt");
Ahora ordenas el vector:
Array.Sort(xVector)
Como ya xVector está ordenado podes hacer algo similar a lo que comentas, recorres el vector y preguntas si el item actual es igual al próximo, entonces borras el contenido actual y luego finalmente podes recorrer el array y guardar las lineas un archivo de texto. Si te es problema los que te quede ordenado el nuevo txt entonces podes quitar el paso de ordenar el vector y buscar en todo el vector por cada elemento
Ejemplo completo:
http://www.recursosvisualbasic.com.a...-duplicado.htm