使用 Docker 搭建 MongoDB 分片集群-JavaScript中文网-JavaScript教程资源分享门户

介绍

随着数据规模的不断增大，传统的单机 MongoDB 已经满足不了业务需求。为了更好地处理海量数据，我们可以使用分片集群来提升 MongoDB 的性能和可扩展性。

在这篇文章中，我们将介绍如何使用 Docker 快速搭建 MongoDB 分片集群，并对其中的操作进行详细的解释和指导。我们将从 Docker 的安装、MongoDB 的分片策略、集群拓扑、数据分片等多个方面进行讲解，希望能够帮助读者了解和实践 MongoDB 分片集群的搭建。

环境准备

为了跟随本文的步骤进行实践，需要先准备好以下环境：

一台装有 Docker 环境的 Linux 机器；
最新版 Docker 和 Docker-compose。

下面以 Ubuntu 系统为例，介绍 Docker 的安装方式。如果您已经安装好了 Docker，可以跳过这一步。

Ubuntu 环境中 Docker 安装

在 Ubuntu 的终端中，运行以下命令，安装 Docker 和 Docker-compose：

sudo apt-get update
sudo apt-get install -y docker.io
sudo usermod -aG docker $USER
sudo systemctl enable docker
sudo systemctl start docker
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

MongoDB 分片策略

MongoDB 通过数据分片的方式实现分布式存储。在 MongoDB 分片集群中，数据被分成多个 chunk（数据块），每个 chunk 都有一个主分片（Primary Shard）和多个次分片（Secondary Shard）。

MongoDB 的分片策略非常灵活，我们可以根据具体的业务需求来选择不同的分片策略和分片键。下面是 MongoDB 支持的分片策略：

Hashed Sharding（哈希分片）

所有的分片键会进行哈希，MongoDB 将哈希后的值作为均匀分布的 key 来选择分片，保证数据在集群中的平衡分布。
Range Sharding（范围分片）

将数据分片键的连续的范围分配到不同的分片中，同样是为了保证数据的均衡分布。需要注意的是，这种方式需要确保数据的分片键有一定的规则，比如日期、时间戳等。
Zone Sharding（区域分片）

将数据根据分片键所属的区域分配到不同的分片中，避免数据在一个区域中过度集中。

MongoDB 集群拓扑

在搭建 MongoDB 分片集群时，我们需要考虑集群的拓扑结构。MongoDB 的集群拓扑包括以下节点类型：

Config server（配置服务器）

配置服务器保存了整个集群的配置信息，每个分片都需要连接到配置服务器来获取该集群的配置。在部署时，我们需要尽量避免单点故障，通常会配置 3 个配置服务器，以保证高可用性。
Shard（分片节点）

分片节点是整个分片集群的关键节点，负责存储 MongoDB 分片数据。一个分片集群可以有多个分片节点，每个节点需要至少部署一个 Primary Shard 和多个 Secondary Shard。
Mongos（路由节点）

Mongos 负责将客户端请求路由到合适的分片，并将分片节点的返回结果聚合之后返回给客户端。

下图是一个典型的 MongoDB 分片集群拓扑结构：

搭建 MongoDB 分片集群

了解了 MongoDB 分片策略和集群拓扑之后，我们可以使用 Docker 来搭建一个本地 MongoDB 分片集群。在这个例子中，我们将采用简单的 Hashed Sharding 策略，将数据分片键进行哈希划分。整个 MongoDB 分片集群包括 3 个 Config server、3 个 Shard、1 个 Mongos，我们将它们定义在一个 Docker-compose 配置文件中：

version: "3.9"

services:
  configsvr1:
    image: mongo:5.0.2
    container_name: configsvr1
    command: mongod --configsvr --replSet configrs --dbpath /data/db --bind_ip_all
    ports:
      - "27019:27019"
    volumes:
      - ./data/configsvr1:/data/db

  configsvr2:
    image: mongo:5.0.2
    container_name: configsvr2
    command: mongod --configsvr --replSet configrs --dbpath /data/db --bind_ip_all
    ports:
      - "27020:27020"
    volumes:
      - ./data/configsvr2:/data/db

  configsvr3:
    image: mongo:5.0.2
    container_name: configsvr3
    command: mongod --configsvr --replSet configrs --dbpath /data/db --bind_ip_all
    ports:
      - "27021:27021"
    volumes:
      - ./data/configsvr3:/data/db

  shard1:
    image: mongo:5.0.2
    container_name: shard1
    command: mongod --shardsvr --replSet rs1 --dbpath /data/db --bind_ip_all
    ports:
      - "27017:27017"
    volumes:
      - ./data/shard1:/data/db

  shard2:
    image: mongo:5.0.2
    container_name: shard2
    command: mongod --shardsvr --replSet rs1 --dbpath /data/db --bind_ip_all
    ports:
      - "27018:27018"
    volumes:
      - ./data/shard2:/data/db

  shard3:
    image: mongo:5.0.2
    container_name: shard3
    command: mongod --shardsvr --replSet rs2 --dbpath /data/db --bind_ip_all
    ports:
      - "27016:27016"
    volumes:
      - ./data/shard3:/data/db

  mongos:
    image: mongo:5.0.2
    container_name: mongos
    command: mongos --configdb configrs/configsvr1:27019,configsvr2:27020,configsvr3:27021 --bind_ip_all
    ports:
      - "27015:27015"

上面的配置文件中，我们定义了 3 个 Config server（configsvr1，configsvr2 和 configsvr3）；3 个 Shard（shard1，shard2 和 shard3）；以及 1 个 Mongos（mongos）。各节点之间的通信将通过 Docker-compose 的网络进行。

首先在命令行中进入 docker-compose.yml 所在的目录，然后运行下面的命令，即可启动 MongoDB 分片集群：

docker-compose up -d

启动后，我们可以使用下面的命令来分别进入各个节点的 MongoDB shell：

docker exec -it configsvr1 mongo
docker exec -it shard1 mongo
docker exec -it mongos mongo

此时，我们需要进行 MongoDB 分片设置、添加用户、添加分片等等配置，来完成整个分片集群的搭建。以下是一些常用的 MongoDB 分片集群相关命令：

# 查看数据库信息
show databases;

# 查看用户列表
show users;

# 创建用户，这里的用户名和密码可以根据需要进行修改
use admin
db.createUser({
  user: "mongod-admin",
  pwd: "mongod-admin-password",
  roles: [{ role: "root", db: "admin" }]
});

# 安装分片，注意这里的 key 必须是你需要分片的字段
sh.enableSharding("test");
sh.shardCollection("test.test", {"key": "hashed"});

# 添加分片节点 1
rs.initiate( {
    _id : "rs1",
    members: [
        { _id: 0, host: "shard1:27017" },
        { _id: 1, host: "shard2:27018" }
    ]
});

# 添加分片节点 2
rs.initiate( {
    _id : "rs2",
    members: [
        { _id: 0, host: "shard3:27016" }
    ]
});

# 查看当前分片状态
sh.status();

# 添加 mongos 副本
rs.initiate( {
    _id : "mongos",
    members: [
        { _id: 0, host: "mongos:27015" }
    ]
});

总结

本文中，我们介绍了 MongoDB 分片集群的基本概念、分片策略和集群拓扑。使用 Docker 搭建 MongoDB 分片集群实际上非常简单，我们只需要按照配置文件中的定义，启动各个节点即可。需要注意的是，我们在启动时需要确保尽量避免单点故障，确保数据在集群中的正常分片。

MongoDB 分片集群的建立，可以大大提高 MongoDB 的性能和可扩展性，帮助我们处理大规模的数据。希望本文对您有所帮助，可以帮助您更好地实践 MongoDB 分片集群的搭建。

来源：JavaScript中文网，转载请注明来源本文地址：https://www.javascriptcn.com/post/65b5f574add4f0e0ffeaf490