在 Kubernetes 集群中，我们常常需要收集每个容器的日志以便问题排查和分析。本文将介绍 Kubernetes 中容器日志收集的最佳实践，包括 Fluentd 和 Elasticsearch 的使用。
Fluentd
Fluentd 是一种流式数据收集器和转发器，它能够从不同的数据源收集数据，并将数据有效地传输到目标数据存储。在 Kubernetes 中，通过安装 Fluentd 插件，我们可以非常方便地收集每个容器的日志数据。
安装插件
在 Kubernetes 集群上安装 fluentd 插件，并配置 Kubernetes API 服务器以便能够访问容器日志数据。首先创建一个 ConfigMap，其将会包含 Fluentd 安装所需的参数。
-- -------------------- ---- -------
----------- --
----- ---------
---------
----- --------------
---------- -----------
-----
------------ -
--------
---- ----
---- -------------------------
-------- -----------------------------------
--- ------------
-------------- ----
-------
----- ----
----------- ---------------------
-------- ----
--- ----
--------
---------
------ --------------
----- -------------
----- --------------------------------------------------------
---------- ------------------------
--------- -----------------------
--------------- ----
-------------- ---
----------------- ----
--------
在 ConfigMap 中，我们定义了一个源（source）和一个目标（match）。源定义了要从容器收集的日志数据。我们运用 tail 插件来“追踪”来自 /var/log/containers 目录中的所有文件，进而向外传输被指定为 kubernetes 的日志事件。在源中，我们还定义了 @type json，以便更方便地分析和处理数据。
输出到 Elasticsearch
我们将日志拆分成两部分，因为容器中的日志以 JSON 格式呈现，而 Elasticsearch 不支持直接存储 JSON 格式的数据。为了能够正常存储日志数据，我们在目标配置中选择在发送至 Elasticsearch 服务之前使用 Logstash 格式。
可以看到在输出到 Elasticsearch 远程服务器时，我们也定义了一些参数。这些参数是可选设置，可用于定义 Elasticsearch 的主机和端口，为日志添加标签，定义索引名称以及存储数据的类型。
安装 Fluentd 插件
最后，我们可以在 Kubernetes 集群上安装 Fluentd 插件。这可以通过运行以下命令完成：
$ kubectl create -f fluentd-config.yaml $ kubectl create -f fluentd-ds.yaml
此时，我们已经成功地安装了 Fluentd 插件，并配置了它以收集和转发每个容器的日志，以便进一步分析和处理。
Elasticsearch
Elasticsearch 是一个开源的分布式搜索和分析引擎，它能够轻松地处理大量数据、提供快速查询和聚合功能。在 Kubernetes 中，我们可以使用 Elasticsearch 来存储和分析容器日志数据。
安装 Elasticsearch
我们需要在 Kubernetes 集群中安装 Elasticsearch 的服务。可以根据需要配置参数，例如可伸缩性、数据持久性以及备份选项。这里是安装 Elasticsearch 服务的 YAML 文件示例：
-- -------------------- ---- -------
----------- --
----- -------
---------
----- ---------------------
---------- -----------
-------
---- -------------
-----
------
- ----- ----
----- ----
- ----- ----
----- ---------
---------- ----
---------
---- -------------
---
----------- -------
----- -----------
---------
----- -------------
---------- -----------
-------
---- -------------
-----
------------ ---------------------
--------- -
---------
------------
---- -------------
---------
---------
-------
---- -------------
-----
-----------
- ----- -------------
------ ----------------------------------------------------
------
- -------------- ----
----- ----
- -------------- ----
----- ---------
----
- ----- ----------------
------ -------------
----------
-------
---- -----
------- ---
---------
---- ----
------- ---
-------------
- ----- ----
---------- -----------------------------
---------------
- ----- -----
------ -------
-------- --------- ----- ------------ --------------------------------
-------------
- ----- ----
---------- -----------------------------
--------
- ----- ----
--------- --在 StatefulSet 中，我们定义了 Elasticsearch 的一些参数。replicas 定义了副本数；template 定义了该服务要使用的容器模板；在该模板中，我们定义了容器 elasticsearch 使用的资源限制、docker 镜像、容器端口，以及数据目录 data 要挂载到容器内等等。
创建索引
我们安装 Elasticsearch 完成后，就可以创建给定的索引来存储容器日志数据。一种简单的方法是使用 Elasticsearch 客户端的 API 进行基本探测，并使用指定的名称创建索引：
$ curl -XPUT http://localhost:9200/fluentd-kubernetes-index
在这个例子中，我们创建了一个名为 fluentd-kubernetes-index 的索引。
总结
本文介绍的 Kubernetes 中的容器日志收集最佳实践提供了一种方便、可伸缩的方式来收集和存储容器日志数据，并提供了 Elasticsearch 的使用说明。这是一个有效的方法，可以帮助我们快速定位和解决容器问题。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/6452e7c9968c7c53b075fba3