(PHP 8)
Этот класс предоставляет альтернативу функции token_get_all(). Тогда как функция возвращает токены либо в виде односимвольной строки, либо в виде массива с идентификатором токена, его текстом и номером строки, PhpToken::tokenize() нормализует все токены в объекты PhpToken, что позволяет гораздо более удобно работать с токенами.
Одна из констант T_*, или символ ASCII, представляющий односимвольный токен.
Текстовое содержимое токена.
Номер строки (начиная с 1), с которой начинается токен.
Начальная позиция (начиная с 0) токена в строке (количество байтов).