在前端开发中，语言处理器是不可或缺的工具之一。而词法分析器（Lexer）就是其中一个重要的组成部分。它能够将输入的文本按照语法规则划分为单个的 Token，为后续的语法分析提供基础数据。
那么，在 Javascript 中如何编写一个简单的 Lexer 呢？首先，我们需要定义一些语法规则和相应的 Token 类型。假设我们要解析如下形式的简单表达式：
add(1, 2) * 3 - 4
我们可以将其分解为以下 Token 序列：
[ ID('add'), LPAR, NUM(1), COMMA, NUM(2), RPAR, MUL, NUM(3), SUB, NUM(4) ]其中，ID 表示标识符，LPAR 和 RPAR 分别表示左右括号，NUM 表示数字，COMMA 表示逗号，MUL 和 SUB 分别表示乘法和减法。
接着，我们可以定义一个 Lexer 类，用于实现词法分析：
-- -------------------- ---- -------
----- ----- -
------------------ -
---------- - -----
-------- - -
-
------ -
------ --------------------
-
--------- -
----------
-
------- -
------ -------- -- -----------------
-
---------- -
----- ------ - --
----- --------------- -
----- ---- - -----------
-- ----------------- -
-- ------
--------------
- ---- -- ----------------------- -
-- -----
--- ----- - --
----- --------------------------------- -
----- -- -----------
--------------
-
--------------- ----------- -------
- ---- -- ----------------- -
-- ----
--- ----- - --
----- ------------------------ -
----- -- -----------
--------------
-
--------------- ------------ ---------------
- ---- -- ----- --- ---- -
--------------- --------------
--------------
- ---- -- ----- --- ---- -
--------------- --------------
--------------
- ---- -- ----- --- ---- -
--------------- ---------------
--------------
- ---- -- ----- --- ---- -
--------------- -------------
--------------
- ---- -- ----- --- ---- -
--------------- -------------
--------------
- ---- -
----- --- ----------------- ----- ---------
-
-
------ ------
-
-在该实现中，我们使用了一些常见的 Lexer 技巧。例如，peek() 方法用于查看下一个字符而不移动指针，advance() 方法用于移动指针，isEOF() 方法用于检查是否已经读取完所有字符，以及一系列正则表达式用于匹配不同类型的 Token。
最后，我们可以使用该 Lexer 类对表达式进行词法分析：
const input = 'add(1, 2) * 3 - 4' const lexer = new Lexer(input) const tokens = lexer.tokenize() console.log(tokens)
输出结果如下：
-- -------------------- ---- ------- - ----- - ----- ----- ------ ----- -- ----- - ----- ------ -- ----- - ----- ------ ------ - -- ----- - ----- ------- -- ----- - ----- ------ ------ - -- ----- - ----- ------ -- ----- - ----- ----- -- ----- - ----- ------ ------ - -- ----- - ----- ----- -- ----- - ----- ------ ------ - - -
通过这个例子，我们可以看到如何在 Javascript 中编写一个简单的 Lexer。当然，在实际开发中，可能需要考虑更多复
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/31174