14/08/2006, 18:21
| |||
| |||
| Más que caracteres, palabras clave. En el caso de los lenguajes de programación se entiende por token a aquellas palabras que tienen un significado especial dentro de estos y por ello no pueden ser usadas como nombres de variables, instancias de objetos o definiciones de funciones, estructuras, clases, etc... El lenguaje las reserva para uso (porque definen tipos de datos, bucles, condiciones, declaraciones...) Además se suelen reservar más de las que se usan, para futuras versiones, como hace javascript con los tipos de datos, por ejemplo, a pesar de que las variables no se declaren con tipo. Pero en esencia son palabras clave, y eso se aplica a cualquier entorno. En el caso de una cadena de caracteres, por "tokenizar" nos referimos a separarla en subcadenas según un determinado separador que definamos (por ejemplo, el espacio, para obtener cada palabra de una frase, o un guión, una coma, etc...) Cita: Casi! En el análisis morfológico para crear la tabla de símbolos Los tokens son caracteres especiales, generalmente usados por los compiladores para hacer el analisis sintactico, cierto?  Pero bueno, eso ya se sale totalmente de la temática del foro  |
|
16/08/2006, 02:16
| ||||
| ||||
| Cita: Entonces en respuesta a la pregunta del colega es mejor q use explode, no?
Iniciado por Nigel  En el caso de una cadena de caracteres, por "tokenizar" nos referimos a separarla en subcadenas según un determinado separador que definamos (por ejemplo, el espacio, para obtener cada palabra de una frase, o un guión, una coma, etc...) Saludos. P.D.: Ya me ha quedado claro lo q es tokenizar.
__________________ La muerte es un camino que todos debemos recorrer... |
