Es decir, has instalado desde código fuente. Mala decisión
Busca, en el directorio donde descomprimiste el código fuente, el archivo README o INSTALL y fíjate si el programa trae el script "make uninstall". Si lo trae, entonces simplemente ejecútalo. Si no, vas a tener que eliminar manualmente los archivos.
Y en el futuro, trata de instalar SIEMPRE desde un RPM. Si no lo encuentras, aprende a crear tus propios RPMs. No es tan difícil, y te ahorrará problemas como el que tienes ahora.