字句解析では、テキストの構文表現の単位。字句解析項目には、アノテーションまたは表面のテキスト範囲に関連付けする光沢の情報が含まれます。またトークンを参照してください。