En lugar de eliminar esos caracteres, utiliza la funcion addslashes(). Eso "escapará" las comillas con una barra invertida para inutilizarlas.
http://www.php.net/addslashes
Y para mostrar el texto original (cuando lo leas de la BD), utiliza stripslashes().
http://www.php.net/stripslashes
Saludos
