Podręcznik PHP
Poprzedni |  | Następny

# CXXVI. Funkcje Tokenizera

# Wstęp

Funkcje tokenizera są interfejsem dostępu do wewnętrznego tokenizera wbudowanego w silniku Zend. Używając tych funkcji możesz napisać swoje własne narzędzia do analizy lub modyfikacji kodu PHP bez potrzeby zajmowania się specyfikacją języka na poziomie analizy leksykalnej.

Patrz także dodatek o tokenach.

# Wymagania

Do zbudowania tego rozszerzenia nie są wymagane żadne zewnętrzne biblioteki.

# Instalacja

Począwszy od PHP 4.3.0 funkcje te są dostępne domyślnie. Dla starszych wersji musisz skonfigurować i skompilować PHP z opcją --enable-tokenizer. Możesz wyłączyć wsparcie tokenizera opcją --disable-tokenizer.

PHP w wersji dla systemów Windows posiada wbudowaną obsługę dla tego rozszerzenia. Nie trzeba ładować żadnych dodatkowych rozszerzeń aby korzystać z tych funkcji.

> Notatka: Wbudowane wsparcie dla tokenizera dostępne jest od PHP 4.3.0.

# Stałe predefinopwane

Poniższe stałe są zdefiniowane w tym rozszerzeniu i stają się dostępne, gdy rozszerzenie jest dokompilowane do PHP, lub załadowane dynamicznie przy starcie.

`T_INCLUDE` (integer)

`T_INCLUDE_ONCE` (integer)

`T_EVAL` (integer)

`T_REQUIRE` (integer)

`T_REQUIRE_ONCE` (integer)

`T_LOGICAL_OR` (integer)

`T_LOGICAL_XOR` (integer)

`T_LOGICAL_AND` (integer)

`T_PRINT` (integer)

`T_PLUS_EQUAL` (integer)

`T_MINUS_EQUAL` (integer)

`T_MUL_EQUAL` (integer)

`T_DIV_EQUAL` (integer)

`T_CONCAT_EQUAL` (integer)

`T_MOD_EQUAL` (integer)

`T_AND_EQUAL` (integer)

`T_OR_EQUAL` (integer)

`T_XOR_EQUAL` (integer)

`T_SL_EQUAL` (integer)

`T_SR_EQUAL` (integer)

`T_BOOLEAN_OR` (integer)

`T_BOOLEAN_AND` (integer)

`T_IS_EQUAL` (integer)

`T_IS_NOT_EQUAL` (integer)

`T_IS_IDENTICAL` (integer)

`T_IS_NOT_IDENTICAL` (integer)

`T_IS_SMALLER_OR_EQUAL` (integer)

`T_IS_GREATER_OR_EQUAL` (integer)

`T_SL` (integer)

`T_SR` (integer)

`T_INC` (integer)

`T_DEC` (integer)

`T_INT_CAST` (integer)

`T_DOUBLE_CAST` (integer)

`T_STRING_CAST` (integer)

`T_ARRAY_CAST` (integer)

`T_OBJECT_CAST` (integer)

`T_BOOL_CAST` (integer)

`T_UNSET_CAST` (integer)

`T_NEW` (integer)

`T_EXIT` (integer)

`T_IF` (integer)

`T_ELSEIF` (integer)

`T_ELSE` (integer)

`T_ENDIF` (integer)

`T_LNUMBER` (integer)

`T_DNUMBER` (integer)

`T_STRING` (integer)

`T_STRING_VARNAME` (integer)

`T_VARIABLE` (integer)

`T_NUM_STRING` (integer)

`T_INLINE_HTML` (integer)

`T_CHARACTER` (integer)

`T_BAD_CHARACTER` (integer)

`T_ENCAPSED_AND_WHITESPACE` (integer)

`T_CONSTANT_ENCAPSED_STRING` (integer)

`T_ECHO` (integer)

`T_DO` (integer)

`T_WHILE` (integer)

`T_ENDWHILE` (integer)

`T_FOR` (integer)

`T_ENDFOR` (integer)

`T_FOREACH` (integer)

`T_ENDFOREACH` (integer)

`T_DECLARE` (integer)

`T_ENDDECLARE` (integer)

`T_AS` (integer)

`T_SWITCH` (integer)

`T_ENDSWITCH` (integer)

`T_CASE` (integer)

`T_DEFAULT` (integer)

`T_BREAK` (integer)

`T_CONTINUE` (integer)

`T_OLD_FUNCTION` (integer)

  `T_OLD_FUNCTION` is not defined in PHP 5.

`T_FUNCTION` (integer)

`T_CONST` (integer)

`T_RETURN` (integer)

`T_USE` (integer)

`T_GLOBAL` (integer)

`T_STATIC` (integer)

`T_VAR` (integer)

`T_UNSET` (integer)

`T_ISSET` (integer)

`T_EMPTY` (integer)

`T_CLASS` (integer)

`T_EXTENDS` (integer)

`T_OBJECT_OPERATOR` (integer)

`T_DOUBLE_ARROW` (integer)

`T_LIST` (integer)

`T_ARRAY` (integer)

`T_LINE` (integer)

`T_FILE` (integer)

`T_COMMENT` (integer)

`T_ML_COMMENT` (integer)

  `T_ML_COMMENT` is not defined in PHP 5. All comments in PHP 5 are of token `T_COMMENT`.

`T_DOC_COMMENT` (integer)

  `T_DOC_COMMENT` was introduced in PHP 5.

`T_OPEN_TAG` (integer)

`T_OPEN_TAG_WITH_ECHO` (integer)

`T_CLOSE_TAG` (integer)

`T_WHITESPACE` (integer)

`T_START_HEREDOC` (integer)

`T_END_HEREDOC` (integer)

`T_DOLLAR_OPEN_CURLY_BRACES` (integer)

`T_CURLY_OPEN` (integer)

`T_PAAMAYIM_NEKUDOTAYIM` (integer)

`T_DOUBLE_COLON` (integer)

`T_INTERFACE` (integer)

  PHP 5 only.

`T_IMPLEMENTS` (integer)

  PHP 5 only.

`T_CLASS_C` (integer)

  PHP 5 only.

`T_FUNC_C` (integer)

  PHP 5 only.

`T_METHOD_C` (integer)

  PHP 5 only.

`T_ABSTRACT` (integer)

  PHP 5 only.

`T_CATCH` (integer)

  PHP 5 only.

`T_FINAL` (integer)

  PHP 5 only.

`T_INSTANCEOF` (integer)

  PHP 5 only.

`T_PRIVATE` (integer)

  PHP 5 only.

`T_PROTECTED` (integer)

  PHP 5 only.

`T_PUBLIC` (integer)

  PHP 5 only.

`T_THROW` (integer)

  PHP 5 only.

`T_TRY` (integer)

  PHP 5 only.

`T_CLONE` (integer)

  PHP 5 only.

# Przykłady

Poniżej prosty skrypt PHP używający tokenizera który wczyta plik PHP, usunie wszystkie komentarze ze źródła i wydrukuje tylko czysty kod.

Przykład 1. Usuwanie komentarzy przy pomocy tokenizera

`<?php
/* T_ML_COMMENT nie istnieje w PHP 5.
* Następujące trzy linie definiują tą stała by zachować kompatybilność
* wsteczną.
*
* Kolejne dwie linie definiują istniejącą tylko w PHP 5 stałą
* T_DOC_COMMENT, którą w PHP 4 podmienimy jako T_ML_COMMENT.
*/
if (!defined('T_ML_COMMENT')) {
define('T_ML_COMMENT', T_COMMENT);
} else {
define('T_DOC_COMMENT', T_ML_COMMENT);
}
$kod = file_get_contents("jakisplik.php");
$tokeny = token_get_all($kod);
foreach ($tokeny as $token) {
if (is_string($token)) {
// prosty token jednoznakowy
echo $token;
} else {
// tablica definiująca token
list($id, $tekst) = $token;
switch ($id) {
case T_COMMENT:
case T_ML_COMMENT: // to zdefiniowaliśmy
case T_DOC_COMMENT: // to też
// brak akcji dla komentarzy
break;
default:
// wszystko inne -> drukuj "jakie jest"
echo $tekst;
break;
}
}
}
?>`

Poprzedni | Spis treści | Następny
tidyNode->isPhp | Początek rozdziału | token_get_all