Como dijo Green Link debería funcionar
Prueba cambiandole las "" (comillas dobles) por '' (comilla simples) al echo; y que quede asi:
Código PHP:
echo '<script language="javascript" type="text/javascript">
Alert('Debes rellenar todos los campos');
window.location.href="urladireccionar.php";
</script>';