在前两篇文章中，我们了解了jQuery选择器中的基本概念和实现原理。在这篇文章中，我们将深入探讨选择器源码中的tokenize方法，它是选择器引擎解析选择器表达式的重要一步。
什么是Tokenize方法？
Tokenize方法是选择器引擎中解析选择器表达式的第一步，其作用是将选择器表达式分解为一个个标记（tokens），方便后续的解析工作。
在选择器表达式中，每个字符都有其特殊的含义，如".class"表示要匹配类名，"#"表示要匹配元素ID等等。Tokenize方法就是根据这些字符，将选择器表达式分解成一个个语义上独立的标记。
Tokenize方法的实现
下面是jQuery选取器源码中Tokenize方法的主要实现代码：
-------- --------- -------- - -
--- ------
------ - ---
----- - ---------
----- - ----- - -
-- ------
-- - -------- - -
------------ - ------ --------- ----- ---- - --
- ---- -- - -------- - -
------------ - ------ --------- ----- ---------------------- - --
- ---- -- - -------- - -
------------ - ------ --------- ----- ------- -------- - --------- --------- -------- - - --
- ---- -- - -------- - -
------------ - ------ --------- ----- -------- - --
- ---- -- - -------- - -
------------ - ------ ---- ----- --- - --
-
----- - ------------ --------------- --
-
------ -------
-Tokenize方法接收一个选择器表达式，然后通过while循环遍历表达式中的每个字符。在循环体内部，它使用正则表达式对字符进行匹配，并根据匹配结果生成相应的标记token。
具体来说，当匹配到ID选择器时，Tokenize方法将其转换为包含"value"和"type"属性的对象。其中"value"属性表示ID选择器的名称，"type"属性表示该标记的类型是ID。
同样，当匹配到元素类型选择器时，Tokenize方法也会将其转换为包含"value"和"type"属性的对象。不同之处在于，"type"属性以大写形式存储与之匹配的元素类型。
类选择器、属性选择器和伪类选择器都是按照这种方式处理的。如果没有匹配到任何选择器，则Tokenize方法将生成一个通配符标记。
Tokenize方法的学习意义
了解Tokenize方法背后的实现原理，可以帮助我们更好地理解jQuery选择器的工作方式，并且为我们编写自己的选择器提供参考。
此外，Tokenize方法还可以作为一个通用的字符串解析工具，应用于其他领域的开发中。因此，学习Tokenize方法不仅有深度和广度，同时也具有实际指导意义。
示例代码
下面是一个简单的例子，演示如何使用Tokenize方法将选择器表达式分解成一个个标记：
--- -------- - --------- -------- --------------- --- ------ - --------- -------- -- ------------ ------ --
输出结果如下：
-
- ------ ------ ----- ----- --
- ------ ------- ----- ---- --
- ------ ---- ----- ------------ --
- ------ ---------- ----- ------- --
- ------ - -- ----- ------------- --
- -----
---------------------------------------------------------- ----------
-------------------------------------------------------------------------------------