No le pongas
delay, haz que la animación de vuelta dure el doble, y que se empiece a mover a la mitad de la animación:
http://jsfiddle.net/a6Juc/1 Cita:
Iniciado por devildrey33 
Un error muy común con las animaciones es creer que los valores que le pasamos en un keyframes , perduran una vez terminada la animación.
De hecho con
animation-fill-mode: forwards es lo que se suele hacer.
