Kubernetes 集群中 Pod 日志的收集方案-JavaScript中文网-JavaScript教程资源分享门户

在 Kubernetes 集群中，每个 Pod 都是一个独立的容器环境，我们需要对每个 Pod 的日志进行收集和存储，以便于后续的故障排查和性能优化。本文将介绍 Kubernetes 集群中 Pod 日志的收集方案，包括如何使用 Fluentd 和 Elasticsearch 进行日志收集和存储。

Fluentd 和 Elasticsearch

Fluentd 是一款开源的日志收集工具，它可以收集各种类型的日志数据，并将其转换为统一的格式进行存储和分析。Elasticsearch 是一款开源的搜索引擎，它可以存储和索引各种类型的数据，并提供强大的搜索和聚合功能。Fluentd 和 Elasticsearch 可以很好地配合使用，实现高效的日志收集和存储。

配置 Fluentd

在 Kubernetes 集群中，我们可以使用 DaemonSet 来部署 Fluentd，DaemonSet 会在每个节点上运行一个 Fluentd 容器，收集该节点上所有 Pod 的日志数据。

// javascriptcn.com 代码示例
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
spec:
  selector:
    matchLabels:
      app: fluentd
  template:
    metadata:
      labels:
        app: fluentd
    spec:
      containers:
        - name: fluentd
          image: fluent/fluentd:v1.12-debian-1
          resources:
            limits:
              memory: 200Mi
          volumeMounts:
            - name: varlog
              mountPath: /var/log
            - name: fluentd-config
              mountPath: /fluentd/etc/fluent.conf
              subPath: fluent.conf
          ports:
            - containerPort: 24224
              name: fluentd
              protocol: TCP
          livenessProbe:
            tcpSocket:
              port: fluentd
            initialDelaySeconds: 30
            periodSeconds: 10
          readinessProbe:
            tcpSocket:
              port: fluentd
            initialDelaySeconds: 30
            periodSeconds: 10
      tolerations:
        - key: node-role.kubernetes.io/master
          effect: NoSchedule
      volumes:
        - name: varlog
          hostPath:
            path: /var/log
        - name: fluentd-config
          configMap:
            name: fluentd-config

上面的配置文件定义了一个名为 fluentd 的 DaemonSet，使用 fluent/fluentd:v1.12-debian-1 镜像运行一个名为 fluentd 的容器，该容器会在每个节点上运行。容器会挂载节点上的 /var/log 目录作为日志输出目录，并挂载一个名为 fluentd-config 的 ConfigMap，包含 Fluentd 的配置文件。容器会监听 24224 端口，等待日志数据的输入。

配置 Elasticsearch

我们可以使用 Elasticsearch 和 Kibana 来存储和分析日志数据。在 Kubernetes 集群中，我们可以使用 StatefulSet 来部署 Elasticsearch，StatefulSet 可以保证每个 Pod 在集群中具有唯一的名称和持久化存储。

// javascriptcn.com 代码示例
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: elasticsearch
spec:
  selector:
    matchLabels:
      app: elasticsearch
  serviceName: elasticsearch
  replicas: 3
  updateStrategy:
    type: RollingUpdate
  template:
    metadata:
      labels:
        app: elasticsearch
    spec:
      containers:
        - name: elasticsearch
          image: docker.elastic.co/elasticsearch/elasticsearch:7.12.0
          resources:
            limits:
              cpu: 1
              memory: 2Gi
          env:
            - name: cluster.name
              value: my-cluster
            - name: node.name
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
            - name: discovery.seed_hosts
              value: "elasticsearch-0.elasticsearch,elasticsearch-1.elasticsearch,elasticsearch-2.elasticsearch"
            - name: cluster.initial_master_nodes
              value: "elasticsearch-0,elasticsearch-1,elasticsearch-2"
            - name: ES_JAVA_OPTS
              value: "-Xms1g -Xmx1g"
          ports:
            - containerPort: 9200
              name: http
              protocol: TCP
            - containerPort: 9300
              name: transport
              protocol: TCP
          volumeMounts:
            - name: elasticsearch-data
              mountPath: /usr/share/elasticsearch/data
      initContainers:
        - name: init-chown
          image: busybox
          command: ["sh", "-c", "chown -R 1000:1000 /usr/share/elasticsearch/data"]
          volumeMounts:
            - name: elasticsearch-data
              mountPath: /usr/share/elasticsearch/data
      volumes:
        - name: elasticsearch-data
          persistentVolumeClaim:
            claimName: elasticsearch-data

上面的配置文件定义了一个名为 elasticsearch 的 StatefulSet，使用 docker.elastic.co/elasticsearch/elasticsearch:7.12.0 镜像运行一个名为 elasticsearch 的容器，该容器会在每个节点上运行。容器会监听 9200 和 9300 端口，提供 HTTP 和 Transport 协议的访问。容器会挂载一个名为 elasticsearch-data 的 PersistentVolumeClaim，用于持久化存储数据。

配置 Fluentd 和 Elasticsearch 的连接

为了将 Fluentd 收集到的日志数据存储到 Elasticsearch 中，我们需要配置 Fluentd 和 Elasticsearch 的连接。在 Fluentd 的配置文件中，我们可以使用 elasticsearch 插件来配置 Elasticsearch 的连接。

// javascriptcn.com 代码示例
<match *.**>
  @type elasticsearch
  host elasticsearch-elasticsearch-client.elasticsearch
  port 9200
  index_name fluentd
  type_name fluentd
  logstash_format true
  flush_interval 10s
</match>

上面的配置文件定义了一个名为 elasticsearch 的 match，使用 elasticsearch 插件将数据发送到 Elasticsearch 中。插件会将数据写入名为 fluentd 的索引中，每 10 秒钟刷新一次。

部署 Fluentd 和 Elasticsearch

在 Kubernetes 集群中，我们可以使用 kubectl 命令行工具来部署 Fluentd 和 Elasticsearch。

首先，我们需要创建一个名为 fluentd-config 的 ConfigMap，包含 Fluentd 的配置文件。

$ kubectl create configmap fluentd-config --from-file=fluent.conf

然后，我们可以使用 kubectl apply 命令来部署 Fluentd 和 Elasticsearch。

$ kubectl apply -f fluentd.yaml
$ kubectl apply -f elasticsearch.yaml

总结

本文介绍了 Kubernetes 集群中 Pod 日志的收集方案，包括如何使用 Fluentd 和 Elasticsearch 进行日志收集和存储。我们可以使用 DaemonSet 部署 Fluentd，使用 StatefulSet 部署 Elasticsearch，然后通过 elasticsearch 插件将 Fluentd 收集的日志数据存储到 Elasticsearch 中。这个方案可以很好地满足日志收集和存储的需求，方便后续的故障排查和性能优化。

来源：JavaScript中文网，转载请注明来源本文地址：https://www.javascriptcn.com/post/65562b43d2f5e1655d0ae9f3