在前端开发中，字符串转换为 tokens 是一个常见的需求。在这方面，我们可以使用 Node.js 的 npm 包 tokenizeme。 它是一个简单易用的 Node.js 包，可以将输入的字符串转换为 tokens。
安装 tokenizeme
在终端命令行中键入以下命令：
--- ------- ----------
然后我们就可以在项目中使用该包所提供的 tokenizeme API。
使用 tokenizeme 转换字符串
tokenizeme 包提供了一个 Tokenizer 类，可以将输入的字符串解析成 tokens。下面是一个使用 tokenizeme 的示例：
----- --------- - ---------------------- ----- --------- - --- ----------------- --------- -------------------------------------- -- --- ------- ------- ------ --------- ------ -------------- ------ ----- ------ ------- ------ --------- ------ -------------- ------ -----
这段代码将字符串 “Hello, world!” 解析成了四个 tokens，分别是 Hello、逗号、world 和感叹号。每个 token 都有两个属性，分别是类型（type）和值（value）。
Tokenizer 对象的方法
Tokenizer 类提供了几个方便的方法让我们可以很容易地获取 tokens，同时还能根据特定的规则将字符串分隔成不同的 tokens。
getAllTokens()
使用 getAllTokens() 可以获取所有的 token 数组，其中包括类型和值。
----- --------- - ---------------------- ----- --------- - --- ----------------- --------- -------------------------------------- -- --- ------- ------- ------ --------- ------ -------------- ------ ----- ------ ------- ------ --------- ------ -------------- ------ -----
getFirstToken()
getFirstToken() 方法返回字符串中的第一个 token，同样包括类型和值。
----- --------- - ---------------------- ----- --------- - --- ----------------- --------- --------------------------------------- -- --- ------ ------- ------ --------
getLastToken()
getLastToken() 方法返回字符串中的最后一个 token。
----- --------- - ---------------------- ----- --------- - --- ----------------- --------- -------------------------------------- -- --- ------ -------------- ------ ----
getNextToken()
getNextToken() 方法返回当前 token 的下一个 token。
----- --------- - ---------------------- ----- --------- - --- ----------------- --------- -------------------------------------- -- --- ------ -------------- ------ ----
getPrevToken()
getPrevToken() 方法返回当前 token 的前一个 token。
----- --------- - ---------------------- ----- --------- - --- ----------------- --------- -------------------------------------- -- --- ----
分隔符和标点符号的处理
tokenizer 类会将字符串中的标点符号和分隔符视为不同的 token。 这些 symbol 包括 ，(逗号)、.（句点）、！（感叹号）等.
我们可以将 tokenizer 对象的 symbol 属性设置为一个与标点符号或分隔符匹配的正则表达式。 这样，来自传递的字符串中的每个匹配项都将被解析成 token。
例如，我们可以使用以下代码来匹配逗号：
---------------- - ----
或者，我们可以为 tokenizer 对象设置一个数组来匹配多个运算符，如句号（.）和逗号（,）：
---------------- - ----- -----
以下是这些设置的实际示例：
----- --------- - ---------------------- ----- --------- - --- -------------- ----- ------ --- ----- ----- --- ---- ------- -------------------------------------- -- --- ------- ------- ------ ------- ------ ------- ------ --------- ------ ------- ------ --------- ------ -------------- ------ ----- ------ ------- ------ ------- ------ ------- ------ --------- ------ ------- ------ -------- ------ -------------- ------ ----- ------ ------- ------ ------- ------ ------- ------ -------- ------ ------- ------ ------- ------ -------------- ------ -----
以上代码中的分隔符和标点符号会被解析成相应的 tokens，例如，逗号的 token 类型为 punctuation，值为 ，。
结论
通过使用 tokenizeme npm 包，我们可以很容易地将字符串转换为 tokens。 我们可以使用 Tokenizer 类的方法来访问这些 tokens 并执行进一步的操作。tokenizer 对象属性值为 symbol 以识别不同的分隔符和标点符号更加方便.
此外，有些需要用到字符串 token 的其他库和工具也会直接支持 tokenizeme，例如 retext-redundant-acronyms和 suneditor。
来源：JavaScript中文网 ，转载请联系管理员！ 本文地址：https://www.javascriptcn.com/post/60065b42c6eb7e50355dbd54