Para usar ambas librerias primero hay que cargar prototype y luego como bien dice Marcopoloaz06 tienes que usar la funcion de jQuery noConflict
Código:
jQuery(document).ready(
function()
{
$j=jQuery.noConflict();
}
);
De esa manera cuando uses $ sera para prototype y $j para jQuery