El confirm() te retorna true o false según la respuesta del usuario.
Con una imagen puedes poner el enlace con href y cancelar la acción del click si se pulsa cancelar, algo como esto:
Código PHP:
<img href='eliminar.php' onclick="return confirm('¿Deseas realmente eliminar?')" />