tienes un error en la implementación de AJAX, te hace falta verificar el
(ajax.status == 200), consulte un manual de AJAX:
http://librosweb.es/ajax/
si quieres que el div desaparezca a los 5 segundos, usa un
setTimeout, y para ocultarlo tienes muchas formas, no solo sacarlo del DOM, investigue al respecto