Bueno ya lo solucione con sencillo como
Código PHP:
echo "<script>alert('Registro Eliminado con Exito.!');</script>";
echo "<script>window.close();</script>";
Pues con eso se cierra la ventana al dar click en el alert, pues luego ejecuta el window.close()
Saludos