Más que caracteres, palabras clave. En el caso de los lenguajes de programación se entiende por token a aquellas palabras que tienen un significado especial dentro de estos y por ello no pueden ser usadas como nombres de variables, instancias de objetos o definiciones de funciones, estructuras, clases, etc... El lenguaje las reserva para uso (porque definen tipos de datos, bucles, condiciones, declaraciones...) Además se suelen reservar más de las que se usan, para futuras versiones, como hace javascript con los tipos de datos, por ejemplo, a pesar de que las variables no se declaren con tipo.
Pero en esencia son palabras clave, y eso se aplica a cualquier entorno. En el caso de una cadena de caracteres, por "tokenizar" nos referimos a separarla en subcadenas según un determinado separador que definamos (por ejemplo, el espacio, para obtener cada palabra de una frase, o un guión, una coma, etc...)
Cita: Los tokens son caracteres especiales, generalmente usados por los compiladores para hacer el analisis sintactico, cierto?
Casi! En el análisis morfológico para crear la tabla de símbolos
Pero bueno, eso ya se sale totalmente de la temática del foro
