Cambie las cosas que me conetaste y no salta el alert, joder..
<script type="text/javascript" />
function validar(){
var nombre=document.forms[0].nombre.value;
if(nombre==""){
alert.("error");
return false;
}else{ return true;
}
}
</script>
</head>
<body>
<form onsubmit="return validar()">
<label for="nombre"><p>nombre:</p></label>
<input type="text" name="nombre" id="nombre" />
<input type="submit" value="enviar" />
</form>
</body>