问题描述
在 Kubernetes 集群中部署 Fluentd 用于收集日志时，可能会遇到以下问题：
- Fluentd 无法连接到 Kubernetes API Server，导致无法获取 Pod 日志；
- Fluentd 收集到的日志不包含 Pod 的标签信息，无法进行日志过滤和分析；
- Fluentd 收集到的日志不包含容器的 stdout 和 stderr 输出，无法获取应用程序的详细日志信息。
本文将介绍如何解决以上问题，让 Fluentd 在 Kubernetes 集群中更好地收集日志。
解决方案
问题一：Fluentd 无法连接到 Kubernetes API Server
Fluentd 通过 Kubernetes API Server 获取 Pod 的日志信息，如果无法连接到 API Server，就无法获取日志。解决此问题需要确保 Fluentd 能够连接到 API Server。
方案一：使用 ServiceAccount
在 Kubernetes 中，可以通过 ServiceAccount 来授权 Pod 访问 API Server。我们可以为 Fluentd 创建一个 ServiceAccount，然后将其绑定到一个拥有访问 API Server 权限的 ClusterRole 上，最后将这个 ClusterRole 绑定到 Fluentd 所在的 Pod 上。
以下是示例代码：
-- -------------------- ---- -------
----------- --
----- --------------
---------
----- -------
---
----------- ----------------------------
----- -----------
---------
----- -------
------
- ----------
- --
----------
- ----------
- ----
------
- ---
- -----
- ----
- ----------
- -------
----------
- ----
------
- ---
- -----
- ----
---
----------- ----------------------------
----- ------------------
---------
----- -------
--------
--------- -------------------------
----- -----------
----- -------
---------
- ----- --------------
----- -------
---------- -------此示例代码创建了一个名为 fluentd 的 ServiceAccount，并将其绑定到一个名为 fluentd 的 ClusterRole 上。该 ClusterRole 具有访问 namespaces、pods 和 jobs 资源的权限。最后，将 fluentd ServiceAccount 绑定到该 ClusterRole 上，并将其限定在 default 命名空间中。
在 Fluentd 的配置文件中，需要使用该 ServiceAccount 来访问 API Server。以下是一个使用 ServiceAccount 访问 API Server 的 Fluentd 配置文件示例：
-- -------------------- ---- -------
--------
----- ----
---- -------------------------
-------- -----------------------------------
--- ------------
------ ----
----------- ---------------------
-------------- ----
-------
----- ----
--------
--------
--------------- ----
---------
------ ---------
------- --------------
----- -------------------
-------------- --------------------------------
------------------ ------------------------------------------------------
--------------------- -----------------------------------------------------
----- ----
----------- ----
-------------------- ----
---------
------- ---
----- ------
---------
------ ---
----- ----
--------
--------
---------在该配置文件中，我们使用了 kubernetes_metadata 过滤器来获取 Pod 的标签信息。该过滤器需要访问 API Server，因此我们需要传递 kubernetes_url、kubernetes_ca_file 和 kubernetes_token_file 参数来指定 API Server 的地址和证书信息，以及 ServiceAccount 的 Token。
方案二：使用 Fluentd Kubernetes 插件
Fluentd 提供了一个 Kubernetes 插件，可以自动从环境变量中获取 API Server 的地址和 ServiceAccount 的 Token，并使用它们来访问 API Server。
要使用该插件，只需在 Fluentd 的配置文件中添加以下内容：
-- -------------------- ---- -------
--------
----- ----
---- -------------------------
-------- -----------------------------------
--- ------------
------ ----
----------- ---------------------
-------------- ----
-------
----- ----
--------
--------
--------------- ----
---------
------ ---------
------- --------------
----- -------------------
-------------------- ----
---------
------- ---
----- ------
---------
------ ---
----- ----
--------
--------
---------在该配置文件中，我们只需要指定 kubernetes_metadata 过滤器的 include_namespace_id 参数即可获取 Pod 的标签信息。Fluentd Kubernetes 插件会自动从环境变量中获取 API Server 的地址和 ServiceAccount 的 Token。
问题二：Fluentd 收集到的日志不包含 Pod 的标签信息
如上所述，要获取 Pod 的标签信息，可以使用 kubernetes_metadata 过滤器，并传递 kubernetes_url、kubernetes_ca_file 和 kubernetes_token_file 参数。除此之外，还可以使用 Fluentd Kubernetes 插件来自动获取这些参数。
另外，还需要在 Fluentd 的配置文件中设置 include_namespace_id 参数，以便获取 Pod 所在的命名空间。
以下是一个包含标签信息的 Fluentd 配置文件示例：
-- -------------------- ---- -------
--------
----- ----
---- -------------------------
-------- -----------------------------------
--- ------------
------ ----
----------- ---------------------
-------------- ----
-------
----- ----
--------
--------
--------------- ----
---------
------ ---------
------- --------------
----- -------------------
-------------- --------------------------------
------------------ ------------------------------------------------------
--------------------- -----------------------------------------------------
----- ----
----------- ----
-------------------- ----
---------
------- ---
----- ------
---------
------ ---
----- ----
--------
--------
---------问题三：Fluentd 收集到的日志不包含容器的 stdout 和 stderr 输出
默认情况下，Fluentd 只会收集容器的日志文件，而不会收集容器的 stdout 和 stderr 输出。要收集容器的 stdout 和 stderr 输出，可以使用 Kubernetes 提供的 fluentd-elasticsearch 镜像，该镜像将 Fluentd 和 Elasticsearch 结合在一起，可以方便地收集容器的所有输出。
以下是一个使用 fluentd-elasticsearch 镜像的 Fluentd 配置文件示例：
-- -------------------- ---- -------
--------
----- ----
---- -------------------------
-------- -----------------------------------
--- ------------
------ ----
----------- ---------------------
-------------- ----
-------
----- ----
--------
--------
--------------- ----
---------
------ ---------
------- --------------
----- -------------------
-------------- --------------------------------
------------------ ------------------------------------------------------
--------------------- -----------------------------------------------------
----- ----
----------- ----
-------------------- ----
---------
------- ---
----- ------
---------
------- ---
----- ----------
---------------------------------------- ------
--------------------- ---------------------
----------------- -----------------
---------
------ ---
----- -------------
---- ------------------------------
--------------- ----
--------------- ----------
--------------- ----
------- ---------
-------------- --
--------
--------
---------在该配置文件中，我们使用了 kubernetes 过滤器来获取容器的 stdout 和 stderr 输出。此外，我们还使用了 Elasticsearch 输出插件来将日志写入 Elasticsearch 中。
结论
在 Kubernetes 集群中部署 Fluentd 收集日志时，可能会遇到连接 API Server、获取标签信息和收集容器输出等问题。本文介绍了如何使用 ServiceAccount、Fluentd Kubernetes 插件和 fluentd-elasticsearch 镜像来解决这些问题，并提供了详细的示例代码。希望本文能够对大家在 Kubernetes 中部署 Fluentd 收集日志有所帮助。
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/675bbc23a4d13391d8f788dd