开发者 ctokenizer.sf.net

CTokenizer C++作为输入并输出 CToken 对象的矢量，该向量包含令牌字符串和 a（n 枚举）令牌类型，然后可用于分析输入。