Funções da Tokenizer
token_name
Funções da Tokenizer
PHP Manual

# token_get_all

(PHP 4 >= 4.2.0, PHP 5)

token_get_all — Divide um dado fonte em tokens do PHP

### Descrição

array token_get_all ( string `$source` )

token_get_all() avalia do o fonte `source` em tokens da linguagem PHP usando o avaliador léxico do Zend engine.

Para uma lista dos tokens do avaliador, veja Lista de tokens do Parser, ou use token_name() para traduzir um valor de um token para sua representação em formato string.

### Parâmetros

`source`

  O código-fonte do PHP à ser avaliado.

### Valor Retornado

Um array de identificadores de tokens. Cada identificador de token individual ou é um caracter único (ex.: ;, ., >, !, etc...), ou um array com três elementos contendo o índice do token no elemento 0, a string contendo o token original no elemento 1 e o número da linha no elemento 2.

### Exemplos

Exemplo #1 Exemplo de uso de token_get_all()

`<?php
$tokens = token_get_all('<?php'); // => array(array(T_OPEN_TAG, '<?'));
$tokens = token_get_all('<?php echo; ?>'); /* => array(
array(T_OPEN_TAG, '<?php'),
array(T_ECHO, 'echo'),
';',
array(T_CLOSE_TAG, '?>') ); */
/* Note no exemplo a seguir que a string é avaliada com T_INLINE_HTML
ao invés de esperado T_COMMENT (T_ML_COMMENT no PHP <5).
Isso é porque nenhuma tag de abertura/fechamento foi usada no "código" provido.
Isso seria equivalente a coloar comentários fora das tags <?php ?> em um arquivo normal. */
$tokens = token_get_all('/* comment */'); // => array(array(T_INLINE_HTML, '/* comment */'));
?>`

### Histórico

Versão | Descrição
--- | ---
5.2.2 | Números de linha são retornados no elemento 2

Funções da Tokenizer
token_name
Funções da Tokenizer
PHP Manual