No se el tamaño de las imágenes pero lo único que se me ocurre es recorrerlas bit a bit y comparar las coincidencias, ahora si son de distinto tamaño cambiar el tamaño a una y compararla con esa como testigo y mantener el original, pero esto en imágenes grandes seria muy costoso....
Pero algún algoritmo debe haber pues TinEye
http://www.tineye.com/ , le das una imagen y te busca en la web (su base de datos) imágenes parecidas...
Saludos