Redis SET 重要 Bug 分析及修复-JavaScript中文网-JavaScript教程资源分享门户

介绍

Redis 是一款高性能的键值存储数据库，它支持多种数据结构，其中 SET 是其中一种常用的数据结构。SET 类型是一个无序、不重复元素的集合，可以进行交集、并集、差集等操作，是实现一些计数器、唯一性判断等功能的重要工具。

然而，在 Redis 的 SET 实现中，存在一个重要的 Bug，可能会导致 SET 中的元素丢失。本文将详细介绍这个 Bug 的原因和修复方法，以及如何避免这个 Bug 对我们的业务造成影响。

Bug 的原因

Redis 的 SET 实现是基于哈希表的，每个 SET 对象实际上是一个哈希表，元素作为键，值为空。当我们向 SET 中添加元素时，实际上是将元素作为键插入到哈希表中，值为空。当我们从 SET 中删除元素时，实际上是将元素从哈希表中删除。

然而，Redis 的哈希表并不是一个真正的哈希表，而是一个叫做 ziplist 的数据结构。ziplist 是一种压缩列表，可以在占用较少空间的情况下存储一定数量的元素。当 SET 中的元素数量较少时，Redis 会使用 ziplist 存储 SET 对象。

在 SET 对象使用 ziplist 存储时，当我们从 SET 中删除元素时，实际上是将元素从 ziplist 中删除。然而，ziplist 的删除操作并不是真正的删除，而是将被删除元素的空间标记为可用。当我们向 SET 中添加元素时，如果这个元素的空间恰好在被删除元素的后面，那么 Redis 会将这个元素插入到被删除元素的位置，而不是在 ziplist 的末尾。

这个行为看起来很奇怪，但实际上是为了优化 ziplist 的空间使用。然而，这个行为也会导致 SET 中的元素丢失。具体来说，如果我们向 SET 中不断添加元素，然后不断删除元素，最终 SET 中的元素数量会变少，但是 SET 对象的 ziplist 的空间却不会变小。当 SET 中的元素数量变得很少时，ziplist 的空间可能会有很多被删除元素的空间，而新元素的空间恰好在这些被删除元素的后面。这样，新元素就会被插入到被删除元素的位置，而 SET 中原本存在的元素就会被覆盖掉，从而丢失。

Bug 的修复

为了修复这个 Bug，Redis 从 2.6.0 版本开始，对 SET 对象的实现做了改进。具体来说，Redis 增加了一个选项，可以控制 SET 对象使用 ziplist 的阈值。当 SET 中的元素数量超过这个阈值时，Redis 就会使用真正的哈希表存储 SET 对象，而不是使用 ziplist。

这个选项可以通过配置文件或者命令行参数来设置。在配置文件中，可以使用以下配置项：

set-max-intset-entries 512

这个配置项的值表示 SET 对象使用 ziplist 的最大元素数量。如果 SET 中的元素数量超过这个值，Redis 就会使用真正的哈希表存储 SET 对象。在命令行中，可以使用以下命令来设置：

redis-cli --bigkeys --size 1024

其中，--bigkeys 表示查询 SET 对象中的大键值，--size 表示 SET 对象使用 ziplist 的最大字节数。如果 SET 对象的字节数超过这个值，Redis 就会使用真正的哈希表存储 SET 对象。

避免 Bug 对业务造成影响

虽然 Redis 已经修复了这个 Bug，但是我们在使用 Redis 的 SET 对象时，仍然需要注意一些问题，以避免这个 Bug 对我们的业务造成影响。

首先，我们需要尽量避免在 SET 对象中频繁添加和删除元素。如果我们的业务需要频繁添加和删除元素，可以考虑使用其他数据结构，比如列表、有序集合等。这些数据结构的实现不会受到这个 Bug 的影响。

其次，我们需要根据 SET 对象中的元素数量来调整 SET 对象的存储方式。如果 SET 对象的元素数量较少，可以使用 ziplist 存储，以节省内存。如果 SET 对象的元素数量较多，应该使用真正的哈希表存储，以避免元素丢失。

最后，我们需要对 SET 对象进行定期清理。当 SET 对象使用 ziplist 存储时，被删除元素的空间不会被自动释放，会导致 SET 对象的空间浪费。因此，我们需要定期使用 SPOP 命令随机删除一些元素，以释放被删除元素的空间。

示例代码

下面是一个使用 SET 对象的示例代码，演示了如何避免这个 Bug 对业务造成影响。

const redis = require("redis");
const client = redis.createClient();

// 定义 SET 对象的阈值
const setMaxIntsetEntries = 512;

// 定义 SET 对象的键名
const setKey = "myset";

// 定义 SET 对象的元素数量
const setCount = 1000;

// 向 SET 对象中添加元素
for (let i = 0; i < setCount; i++) {
  client.sadd(setKey, i);
}

// 获取 SET 对象的元素数量
client.scard(setKey, (err, count) => {
  if (err) {
    console.error(err);
  } else {
    console.log(`SET count: ${count}`);
    // 如果 SET 对象的元素数量超过阈值，使用真正的哈希表存储
    if (count > setMaxIntsetEntries) {
      console.log("Using real hash table");
      client.sinter("set1", "set2", (err, result) => {
        if (err) {
          console.error(err);
        } else {
          console.log(result);
        }
      });
    } else {
      console.log("Using ziplist");
      client.smembers(setKey, (err, members) => {
        if (err) {
          console.error(err);
        } else {
          console.log(members);
        }
      });
    }
  }
});

// 定期清理 SET 对象
setInterval(() => {
  client.spop(setKey, Math.floor(setCount / 10), () => {});
}, 60 * 60 * 1000);

总结

Redis 的 SET 实现中存在一个重要的 Bug，可能会导致 SET 中的元素丢失。为了避免这个 Bug 对我们的业务造成影响，我们需要尽量避免在 SET 对象中频繁添加和删除元素，根据 SET 对象中的元素数量来调整 SET 对象的存储方式，以及定期清理 SET 对象。同时，我们也需要注意 Redis 的版本，尽量使用最新版本的 Redis，以避免已知的 Bug。

来源：JavaScript中文网，转载请注明来源本文地址：https://www.javascriptcn.com/post/658b855feb4cecbf2d0c4aed