token --- 與Python解析樹(shù)一起使用的常量?
源碼： Lib/token.py
This module provides constants which represent the numeric values of leaf nodes
of the parse tree (terminal tokens). Refer to the file Grammar/Tokens
in the Python distribution for the definitions of the names in the context of
the language grammar. The specific numeric values which the names map to may
change between Python versions.
該模塊還提供從數字代碼到名稱(chēng)和一些函數的映射。 這些函數鏡像了 Python C 頭文件中的定義。
- token.tok_name?
將此模塊中定義的常量的數值映射回名稱(chēng)字符串的字典，允許生成更加人類(lèi)可讀的解析樹(shù)表示。
- token.ISTERMINAL(x)?
對終端標記值返回
True。
- token.ISNONTERMINAL(x)?
對非終端標記值返回
True。
- token.ISEOF(x)?
如果 x 是表示輸入結束的標記則返回
True。
標記常量是：
- token.ENDMARKER?
- token.NAME?
- token.NUMBER?
- token.STRING?
- token.NEWLINE?
- token.INDENT?
- token.DEDENT?
- token.LPAR?
"("的權標值。
- token.RPAR?
")"的權標值。
- token.LSQB?
"["的權標值。
- token.RSQB?
"]"的權標值。
- token.COLON?
":"的權標值。
- token.COMMA?
","的權標值。
- token.SEMI?
";"的權標值。
- token.PLUS?
"+"的權標值。
- token.MINUS?
"-"的權標值。
- token.STAR?
"*"的權標值。
- token.SLASH?
"/"的權標值。
- token.VBAR?
"|"的權標值。
- token.AMPER?
"&"的權標值。
- token.LESS?
"<"的權標值。
- token.GREATER?
">"的權標值。
- token.EQUAL?
Token value for
"=".
- token.DOT?
Token value for
".".
- token.PERCENT?
Token value for
"%".
- token.LBRACE?
Token value for
"{".
- token.RBRACE?
Token value for
"}".
- token.EQEQUAL?
Token value for
"==".
- token.NOTEQUAL?
Token value for
"!=".
- token.LESSEQUAL?
Token value for
"<=".
- token.GREATEREQUAL?
Token value for
">=".
- token.TILDE?
Token value for
"~".
- token.CIRCUMFLEX?
Token value for
"^".
- token.LEFTSHIFT?
Token value for
"<<".
- token.RIGHTSHIFT?
Token value for
">>".
- token.DOUBLESTAR?
Token value for
"**".
- token.PLUSEQUAL?
Token value for
"+=".
- token.MINEQUAL?
Token value for
"-=".
- token.STAREQUAL?
Token value for
"*=".
- token.SLASHEQUAL?
Token value for
"/=".
- token.PERCENTEQUAL?
Token value for
"%=".
- token.AMPEREQUAL?
Token value for
"&=".
- token.VBAREQUAL?
Token value for
"|=".
- token.CIRCUMFLEXEQUAL?
Token value for
"^=".
- token.LEFTSHIFTEQUAL?
Token value for
"<<=".
- token.RIGHTSHIFTEQUAL?
Token value for
">>=".
- token.DOUBLESTAREQUAL?
Token value for
"**=".
- token.DOUBLESLASH?
Token value for
"http://".
- token.DOUBLESLASHEQUAL?
Token value for
"http://=".
- token.AT?
Token value for
"@".
- token.ATEQUAL?
Token value for
"@=".
- token.RARROW?
Token value for
"->".
- token.ELLIPSIS?
Token value for
"...".
- token.COLONEQUAL?
Token value for
":=".
- token.OP?
- token.AWAIT?
- token.ASYNC?
- token.TYPE_IGNORE?
- token.TYPE_COMMENT?
- token.SOFT_KEYWORD?
- token.ERRORTOKEN?
- token.N_TOKENS?
- token.NT_OFFSET?
C 標記生成器不使用以下標記類(lèi)型值，但 tokenize 模塊需要這些標記類(lèi)型值。
- token.COMMENT?
標記值用于表示注釋。
- token.NL?
標記值用于表示非終止換行符。
NEWLINE標記表示 Python 代碼邏輯行的結束；當在多條物理線(xiàn)路上繼續執行邏輯代碼行時(shí)，會(huì )生成NL標記。
- token.ENCODING?
指示用于將源字節解碼為文本的編碼的標記值。
tokenize.tokenize()返回的第一個(gè)標記將始終是一個(gè)ENCODING標記。
- token.TYPE_COMMENT
Token value indicating that a type comment was recognized. Such tokens are only produced when
ast.parse()is invoked withtype_comments=True.
在 3.8 版更改: Added TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL.
Added AWAIT and ASYNC tokens back (they're needed
to support parsing older Python versions for ast.parse() with
feature_version set to 6 or lower).