Cita: ¿Existe otro carácter que pueda utilizar en vez de estos 2?
No. Los apóstrofes (') se usan para cadenas de texto y las comillas (") para los nombres de objetos (tablas, bases, etc).
Cita: ¿Que otra cosa puedo hacer?
Se controla en la programación. Cada lenguaje tiene su propio set de funciones para resolver esto, de modo que MySQL reciba una cadena que pueda ingresar sin errores.
Consulta el el Foro de tu lenguaje, o bien ve al manual de referencia y lee las funciones que tieen para eso.