Kubernetes 中使用 Elasticsearch 和 Kibana 收集日志-JavaScript中文网-JavaScript教程资源分享门户

前言

Kubernetes 是一款流行的容器编排工具，它能够帮助我们快速搭建和管理分布式应用。在 Kubernetes 中，容器是最小的部署单位，每个容器都有自己的日志输出。这些日志对于应用的运维和故障排查非常重要。本文将介绍如何使用 Elasticsearch 和 Kibana 收集 Kubernetes 中的日志，并通过可视化界面进行展示和分析。

Elasticsearch 和 Kibana 简介

Elasticsearch 是一款基于 Lucene 的搜索引擎，它提供了分布式、多租户、全文搜索等功能。Kibana 是一款基于 Elasticsearch 的数据可视化工具，它提供了丰富的图表和仪表盘，可以帮助用户更直观地了解数据。

在 Kubernetes 中，我们可以使用 Elasticsearch 和 Kibana 来收集和展示容器的日志。通过将日志输出到 Elasticsearch 中，我们可以对日志进行全文搜索和聚合，而 Kibana 则可以将这些数据可视化展示出来。

在 Kubernetes 中使用 Elasticsearch 和 Kibana 收集日志

部署 Elasticsearch 和 Kibana

首先，我们需要在 Kubernetes 中部署 Elasticsearch 和 Kibana。可以使用官方提供的 Helm Chart 来快速部署。具体步骤如下：

安装 Helm，可以参考官方文档。
添加 Elasticsearch 和 Kibana 的 Helm Chart 仓库：
```
helm repo add elastic https://helm.elastic.co
```
创建一个 Kubernetes 命名空间：
```
kubectl create namespace logging
```

安装 Elasticsearch：

helm install elasticsearch elastic/elasticsearch -n logging

安装 Kibana：

helm install kibana elastic/kibana -n logging

安装完成后，可以使用以下命令查看 Elasticsearch 和 Kibana 的状态：

kubectl get pods -n logging

如果一切正常，应该能够看到类似如下的输出：

NAME                             READY   STATUS    RESTARTS   AGE
elasticsearch-master-0          1/1     Running   0          2m
elasticsearch-master-1          1/1     Running   0          2m
elasticsearch-master-2          1/1     Running   0          2m
kibana-kibana-5dd9c5f5c5-6j4l6   1/1     Running   0          2m

配置 Fluentd 收集日志

接下来，我们需要配置 Kubernetes 中的 Fluentd，将容器的日志输出到 Elasticsearch 中。可以使用官方提供的 Fluentd Elasticsearch 插件来实现。具体步骤如下：

创建一个 Kubernetes ConfigMap，用于存放 Fluentd 的配置文件：
```
kubectl create configmap fluentd-config -n logging --from-file=fluent.conf=./fluentd/fluent.conf
```
其中，./fluentd/fluent.conf 是一个示例配置文件，可以根据实际情况进行修改。
部署 Fluentd：
```
kubectl apply -f fluentd/fluentd.yaml
```
其中，fluentd/fluentd.yaml 是一个示例部署文件，可以根据实际情况进行修改。

部署完成后，可以使用以下命令查看 Fluentd 的状态：

kubectl get pods -n logging

如果一切正常，应该能够看到类似如下的输出：

NAME                             READY   STATUS    RESTARTS   AGE
elasticsearch-master-0          1/1     Running   0          2m
elasticsearch-master-1          1/1     Running   0          2m
elasticsearch-master-2          1/1     Running   0          2m
fluentd-7bqgq                    1/1     Running   0          2m
kibana-kibana-5dd9c5f5c5-6j4l6   1/1     Running   0          2m

在 Kibana 中展示日志

最后，我们可以在 Kibana 中展示收集到的日志。可以使用以下步骤：

打开 Kibana 的 Web 界面，地址为 http://<kibana-ip>:5601，其中 <kibana-ip> 是 Kibana 所在的 Node 的 IP 地址。
在 Kibana 中创建一个索引模式，用于指定要展示的日志数据。具体步骤如下：
1. 点击左侧菜单栏中的 Management，进入管理页面。
2. 在页面上方选择 Index Patterns，然后点击 Create index pattern 按钮。
3. 在弹出的对话框中输入索引模式的名称，例如 logstash-*，然后点击 Next step 按钮。
4. 在下一步中选择 @timestamp 字段作为时间字段，然后点击 Create index pattern 按钮。
在 Kibana 中创建一个仪表盘，用于展示日志数据。具体步骤如下：
1. 点击左侧菜单栏中的 Dashboard，进入仪表盘页面。
2. 点击 Create dashboard 按钮，创建一个新的仪表盘。
3. 在页面上方选择 Add a panel，然后选择要展示的图表类型，例如 Vertical bar chart。
4. 在图表配置中选择要展示的索引模式和字段，例如选择 logstash-* 索引模式和 message 字段。
5. 点击 Save 按钮保存仪表盘。

至此，我们已经成功地将 Kubernetes 中的日志收集到 Elasticsearch 中，并通过 Kibana 进行展示和分析。

总结

本文介绍了如何在 Kubernetes 中使用 Elasticsearch 和 Kibana 收集和展示日志。通过这种方式，我们可以更方便地进行应用的运维和故障排查。希望本文能够对大家有所帮助。

示例代码

以下是本文中提到的示例代码：

./fluentd/fluent.conf：Fluentd 的示例配置文件。
fluentd/fluentd.yaml：Fluentd 的示例部署文件。

来源：JavaScript中文网，转载请注明来源本文地址：https://www.javascriptcn.com/post/65596837d2f5e1655d3d231d