在前端开发中，字符串转换为 tokens 是一个常见的需求。在这方面，我们可以使用 Node.js 的 npm 包 tokenizeme。 它是一个简单易用的 Node.js 包，可以将输入的字符串转换为 tokens。
安装 tokenizeme
在终端命令行中键入以下命令：
npm install tokenizeme
然后我们就可以在项目中使用该包所提供的 tokenizeme API。
使用 tokenizeme 转换字符串
tokenizeme 包提供了一个 Tokenizer 类，可以将输入的字符串解析成 tokens。下面是一个使用 tokenizeme 的示例：
const Tokenizer = require('tokenizeme');
const tokenizer = new Tokenizer('Hello, world!');
console.log(tokenizer.getAllTokens());
// 输出: [{type: 'word', value: 'Hello'}, {type: 'punctuation', value: ','}, {type: 'word', value: 'world'}, {type: 'punctuation', value: '!'}]这段代码将字符串 “Hello, world!” 解析成了四个 tokens，分别是 Hello、逗号、world 和感叹号。每个 token 都有两个属性，分别是类型（type）和值（value）。
Tokenizer 对象的方法
Tokenizer 类提供了几个方便的方法让我们可以很容易地获取 tokens，同时还能根据特定的规则将字符串分隔成不同的 tokens。
getAllTokens()
使用 getAllTokens() 可以获取所有的 token 数组，其中包括类型和值。
const Tokenizer = require('tokenizeme');
const tokenizer = new Tokenizer('Hello, world!');
console.log(tokenizer.getAllTokens());
// 输出: [{type: 'word', value: 'Hello'}, {type: 'punctuation', value: ','}, {type: 'word', value: 'world'}, {type: 'punctuation', value: '!'}]getFirstToken()
getFirstToken() 方法返回字符串中的第一个 token，同样包括类型和值。
const Tokenizer = require('tokenizeme');
const tokenizer = new Tokenizer('Hello, world!');
console.log(tokenizer.getFirstToken());
// 输出: {type: 'word', value: 'Hello'}getLastToken()
getLastToken() 方法返回字符串中的最后一个 token。
const Tokenizer = require('tokenizeme');
const tokenizer = new Tokenizer('Hello, world!');
console.log(tokenizer.getLastToken());
// 输出: {type: 'punctuation', value: '!'}getNextToken()
getNextToken() 方法返回当前 token 的下一个 token。
const Tokenizer = require('tokenizeme');
const tokenizer = new Tokenizer('Hello, world!');
console.log(tokenizer.getNextToken());
// 输出: {type: 'punctuation', value: ','}getPrevToken()
getPrevToken() 方法返回当前 token 的前一个 token。
const Tokenizer = require('tokenizeme');
const tokenizer = new Tokenizer('Hello, world!');
console.log(tokenizer.getPrevToken());
// 输出: null分隔符和标点符号的处理
tokenizer 类会将字符串中的标点符号和分隔符视为不同的 token。 这些 symbol 包括 ，(逗号)、.（句点）、！（感叹号）等.
我们可以将 tokenizer 对象的 symbol 属性设置为一个与标点符号或分隔符匹配的正则表达式。 这样，来自传递的字符串中的每个匹配项都将被解析成 token。
例如，我们可以使用以下代码来匹配逗号：
tokenizer.symbol = /,/;
或者，我们可以为 tokenizer 对象设置一个数组来匹配多个运算符，如句号（.）和逗号（,）：
tokenizer.symbol = [',', '.'];
以下是这些设置的实际示例：
const Tokenizer = require('tokenizeme');
const tokenizer = new Tokenizer(`The quick brown, fox jumps over. The lazy dog.`);
console.log(tokenizer.getAllTokens());
// 输出: [{type: 'word', value: 'The'}, {type: 'word', value: 'quick'}, {type: 'word', value: 'brown'}, {type: 'punctuation', value: ','}, {type: 'word', value: 'fox'}, {type: 'word', value: 'jumps'}, {type: 'word', value: 'over'}, {type: 'punctuation', value: '.'}, {type: 'word', value: 'The'}, {type: 'word', value: 'lazy'}, {type: 'word', value: 'dog'}, {type: 'punctuation', value: '.'}]以上代码中的分隔符和标点符号会被解析成相应的 tokens，例如，逗号的 token 类型为 punctuation，值为 ，。
结论
通过使用 tokenizeme npm 包，我们可以很容易地将字符串转换为 tokens。 我们可以使用 Tokenizer 类的方法来访问这些 tokens 并执行进一步的操作。tokenizer 对象属性值为 symbol 以识别不同的分隔符和标点符号更加方便.
此外，有些需要用到字符串 token 的其他库和工具也会直接支持 tokenizeme，例如 retext-redundant-acronyms和 suneditor。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/60065b42c6eb7e50355dbd54