Kafka 是一种分布式的流处理平台，可用于存储和处理大量的数据。使用 Docker 部署 Kafka 集群可以简化部署和维护工作，同时提供高可用性和可伸缩性的解决方案。
准备工作
在开始部署 Kafka 集群之前，您需要安装 Docker 和 Docker Compose。可以在官方网站上找到详细的安装步骤。
此外，您还需要下载 Kafka 相关的 Docker 镜像。可以使用以下命令：
docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka
部署单节点 Kafka
首先，我们将演示如何在单个 Docker 容器中运行 Kafka。
在命令行中创建一个文件夹，并将以下内容保存为 docker-compose.yml 文件：
-- -------------------- ---- -------
-------- ---
---------
----------
------ ----------------------
------
- -----------
------
------ ------------------
------
- -----------
------------
--------------------------- ---------
------------------------ --------------将命令行路径更改为包含 docker-compose.yml 文件的文件夹，并运行以下命令：
docker-compose up -d
该命令将启动 ZooKeeper 服务和 Kafka 服务。ZooKeeper 服务用于 Kafka 的协调和控制，而 Kafka 服务用于消息传递和处理。
现在可以使用以下命令将消息发送到 Kafka：
docker run --rm --interactive \
wurstmeister/kafka \
/opt/kafka/bin/kafka-console-producer.sh \
--broker-list localhost:9092 \
--topic test此命令将打开 Kafka 生产者，并允许您向指定的 test 主题发送消息。
您可以使用以下命令从 Kafka 中检索消息：
docker run --rm --interactive \
wurstmeister/kafka \
/opt/kafka/bin/kafka-console-consumer.sh \
--bootstrap-server localhost:9092 \
--topic test \
--from-beginning此命令将打开 Kafka 消费者，并开始从 test 主题检索消息。--from-beginning 参数将允许您检索所有先前发送的消息。
部署多节点 Kafka 集群
接下来，我们将演示如何在 Docker Compose 中部署多节点 Kafka 集群。
在命令行中创建一个文件夹，并将以下内容保存为 docker-compose.yml 文件：
-- -------------------- ---- -------
-------- ---
---------
----------
------ ----------------------
------
- -----------
------
------ ------------------
------
- ------
------------
--------------------------- ------
------------------------ --------------
---------------- -
--------------------------------------- -
--------------------------------- -
-------------------- ----------
------
- ---------
-----------
- ---------
-------
------ ------------------
------
- ------
------------
--------------------------- ------
------------------------ --------------
---------------- -
--------------------------------------- -
--------------------------------- -
-------------------- ----------
------
- ---------
-----------
- ---------
-------
------ ------------------
------
- ------
------------
--------------------------- ------
------------------------ --------------
---------------- -
--------------------------------------- -
--------------------------------- -
-------------------- ----------
------
- ---------
-----------
- ---------此 docker-compose.yml 文件定义了一个包含三个 Kafka 节点的集群。每个节点都在不同的端口上运行，同时使用 ZooKeeper 服务进行协调和控制。
在命令行中，将路径更改为包含 docker-compose.yml 文件的文件夹，并运行以下命令：
docker-compose up -d
该命令将启动 ZooKeeper 服务和三个 Kafka 服务，形成一个 Kafka 集群。由于 Kafka 集群中有三个节点，因此需要设置 KAFKA_CREATE_TOPICS 环境变量以确保 Kafka 主题的副本因子为 3。
现在可以使用以下命令将消息发送到 Kafka：
docker run --rm --interactive \
wurstmeister/kafka \
/opt/kafka/bin/kafka-console-producer.sh \
--broker-list kafka1:9092,kafka2:9093,kafka3:9094 \
--topic test此命令将打开 Kafka 生产者，并允许您向指定的 test 主题发送消息。请注意，此命令将指定 kafka1:9092,kafka2:9093,kafka3:9094 作为 Kafka 集群中的节点列表，并使用逗号分隔它们。
您可以使用以下命令从 Kafka 中检索消息：
docker run --rm --interactive \
wurstmeister/kafka \
/opt/kafka/bin/kafka-console-consumer.sh \
--bootstrap-server kafka1:9092,kafka2:9093,kafka3:9094 \
--topic test \
--from-beginning此命令将打开 Kafka 消费者，并开始从 test 主题检索消息。请注意，此命令将指定 kafka1:9092,kafka2:9093,kafka3:9094 作为 Kafka 集群中的节点列表，并使用逗号分隔它们。
结论
在本文中，我们展示了如何使用 Docker 和 Docker Compose 部署 Kafka 集群。首先，我们演示了如何在单个 Docker 容器中运行 Kafka。然后，我们演示了如何在 Docker Compose 中部署多节点 Kafka 集群。通过使用 Docker 部署 Kafka 集群，您可以快速、易于管理地构建高可用性和可伸缩性的系统。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/6700ea9a0bef792019adf924