Error 1305

[gnzsoloyo]

El uso de paréntesis a continuación de un nombre es universalmente interpretado por todos los lenguajes (de programación o no) como llamada a una función con ese nombre.
Cuando pones

existencia(-1)

, se interpreta que es la llamada a una función llamada existencia.
Para hacer lo que quieres debes eliminar esos paréntesis:

Código MySQL:

DELIMITER $$
DROP TRIGGER IF EXISTS cambio
CREATE TRIGGER cambio AFTER INSER ON prestamo
FOR EACH ROW
BEGIN
IF NEW.estado='prestado' THEN
    UPDATE libro
    SET existencia = existencia -1;
ELSE
    UPDATE libro
    SET existencia = existencia +1 ;
END IF;
END$$
DELIMITER;