# Tokenizer

# Introdução

As funções de tokenizer formam uma interface para o tokenizer do PHP embutido no Motor Zend. Usando essas funções você pode escrever ferramentas próprias para análise e modificação de código PHP sem ter que lidar com a especificação da linguagem em um nível léxico.

Veja também o apêndice sobre tokens.

- Instalação/Configuração
  - Instalação
- Constantes predefinidas
- Exemplos
- PhpToken — A classe PhpToken
  - PhpToken::__construct — Retorna um novo objeto PhpToken
  - PhpToken::getTokenName — Retorna o nome do token
  - PhpToken::is — Informa se o token é de determinado tipo
  - PhpToken::isIgnorable — Informa se o token seria ignorado pelo analisador PHP
  - PhpToken::__toString — Retorna o conteúdo textual do token
  - PhpToken::tokenize — Divide a fonte fornecida em tokens PHP, representados por objetos PhpToken
- Funções de Tokenizer
  - token_get_all — Divide um dado fonte em tokens do PHP
  - token_name — Pega o nome simbólico de um dado token do PHP

`↑` and `↓` to navigate • `Enter` to select • `Esc` to close • `/` to open