Te sobra un onclick y te falta el document. delante del nombre del formulario. Probá así:
Código PHP:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" />
<title>Documento sin título</title>
<script>
function checkBuscar()
{
var x = document.f_buscar.buscar.value.replace(/ /g, '');
if( x == '' )
{
alert ("Debe ingresar alguna palabra a buscar.");
return false;
}
if( x.length < 3 )
{
alert ("Las palabras deben tener 3 o mas letras.");
return false;
}
}
</script>
</head>
<body>
<form id="f_buscar" name="f_buscar" method="post" action="procesar.php" onsubmit="return checkBuscar()">
<input type="Image" src="buscar.gif" >
<input name="buscar" type="text" >
</form>
</body>
</html>