Hola! lo que usa phpmyadmin es jquery UI dialog (la ventanita), mira el ejemplo:
http://jqueryui.com/demos/dialog/#modal-form
del lado derecho hay un ejemplo muy cercano a nivel de interfaz a lo que quieres (en donde dice: Modal Form).
los datos los puedes enviar con ajax.
PD: en esa misma pagina puedes descargar los ejemplos, en este caso, en vez de agregar el registro que quieres insertar a la BD a la tablita que ahi sale, lo que hacer es llamar con ajax a un archivo .php donde haces las inserciones.