(PHP 8)
Esta clase proporciona una alternativa a token_get_all(). Mientras que la función devuelve tokens ya sea como una única string, ya sea como un array con un ID de token, un texto de token y un número de línea, PhpToken::tokenize() normaliza todos los tokens en objetos PhpToken, lo que hace que el código que opera sobre los tokens sea más eficiente en memoria y más legible.
Una de las constantes T_* o un código ASCII que representa un token de un solo carácter.
El contenido textual del token.
El número de línea (a partir de 1) del token.
La posición de inicio (a partir de 0) en la string tokenizada (el número de bytes).