Lo que tienes que hacer es lo siguiente:
En tu página poup meter esta función:
function enviarForma(){
document.tuform.action = "tupaginaHome.extension"
document.tuform.target = "nobre del frame de tu pagina home";
document.tuform.method = "POST";
document.tuform.submit();
window.close();
}
en el boton de busqueda poner la función onclick="enviarForma();"
En tu pagina home recoger la variable con metodo request de el lenguaje que tu elijas (JSP,ASP)
Con el valor del string que obtuviste hacer la busqueda con tu query
Saludos!
www.ironbit.com.mx