在 Docker 中使用 ELK 堆栈进行日志记录-JavaScript中文网-JavaScript教程资源分享门户

在现代的应用程序中，日志记录是十分关键的。通过记录和分析日志，开发人员可以更好的理解应用程序的运行情况，以及用户的行为。而使用 ELK 堆栈则可以更好的管理、分析和可视化日志信息。本文将介绍在 Docker 中使用 ELK 堆栈进行日志记录的方法。

ELK 堆栈概述

ELK 堆栈是由 Elasticsearch、Logstash 和 Kibana 组成的一套日志管理、分析和可视化工具。其中：

Elasticsearch 是一个分布式的全文搜索和分析引擎，具备高可靠性和可扩展性。
Logstash 是一款开源的日志数据收集工具，可以收集、处理和转发各种类型的日志数据。
Kibana 则是一个可以可视化和分析 Elasticsearch 数据的工具，可以帮助使用者更好的发现数据和洞察数据的变化。

ELK 堆栈的主要功能是收集和存储大量的日志数据，并提供一系列可视化和分析工具，帮助使用者更好的理解数据。在日志分析领域，ELK 堆栈已经成为业内的标准工具。

在 Docker 中使用 ELK 堆栈

在 Docker 中使用 ELK 堆栈可以帮助我们更方便的部署和管理 ELK 服务。其中，Elasticsearch 和 Kibana 同时可以在 Docker 中进行部署。而 Logstash 则可以在 Docker 中作为容器来运行。

部署 Elasticsearch

首先，我们需要在 Docker 中部署 Elasticsearch。我们可以使用 Docker Compose 来进行部署。在主目录下创建一个 docker-compose.yml 文件，输入以下内容：

// javascriptcn.com 代码示例
version: '3.3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.1
    container_name: elasticsearch
    environment:
      - node.name=elasticsearch
      - cluster.name=docker-cluster
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata1:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elk

volumes:
  esdata1:
    driver: local

networks:
  elk:
    driver: bridge

执行以下命令来启动 Elasticsearch：

docker-compose up -d

等待 Elasticsearch 容器启动成功之后，可以通过浏览器访问 http://localhost:9200 来访问 Elasticsearch 服务。

部署 Kibana

接下来，我们需要在 Docker 中部署 Kibana。同样的，在主目录下创建 docker-compose.yml 文件，输入以下内容：

// javascriptcn.com 代码示例
version: '3.3'
services:
  kibana:
    image: docker.elastic.co/kibana/kibana:7.10.1
    container_name: kibana
    ports:
      - 5601:5601
    environment:
      SERVER_NAME: kibana.example.org
      ELASTICSEARCH_HOSTS: http://elasticsearch:9200
    networks:
      - elk
    depends_on:
      - elasticsearch

networks:
  elk:
    driver: bridge

在上述配置中，我们指定了 Kibana 的镜像和别名。并且指定了 Elasticsearch 的访问地址。最后，利用 depends_on 来确保等待 Elasticsearch 启动之后再启动 Kibana 容器。执行以下命令：

docker-compose up -d

等待 Kibana 容器启动成功之后，可以通过浏览器访问 http://localhost:5601 来访问 Kibana 服务。

使用 Logstash 进行日志收集

在 ELK 堆栈中，Logstash 负责收集、处理和转发各种类型的日志数据。我们可以通过 Logstash 容器来收集和发送日志数据。

编写 Logstash 配置文件

首先，我们需要创建一个 Logstash 的配置文件，该文件负责收集和处理日志数据。在主目录下创建一个 logstash.conf 文件，并输入以下内容：

// javascriptcn.com 代码示例
input {
  file {
    path => "/app/logs/*.log"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
  }
}

在上述配置文件中，我们指定了一个输入渠道：通过 Logstash 收集 /app/logs/*.log 目录下的所有日志文件，并从头开始处理未处理的部分。同时，我们又定义了一个输出渠道，指定了 Elasticsearch 的访问地址和索引。在输出的时候，我们还利用了 Logstash 中的元数据，来自动生成索引名称。

编写 Dockerfile

接下来，我们需要创建 Logstash 的 Docker 镜像，并将 Logstash 配置文件添加到镜像中。在主目录下创建一个 Dockerfile 文件，并输入以下内容：

FROM docker.elastic.co/logstash/logstash:7.10.1
ADD logstash.conf /usr/share/logstash/pipeline/logstash.conf

在上述 Dockerfile 中，我们首先指定了我们使用的 Logstash 镜像，并指定添加配置文件到镜像中。

构建和运行 Logstash 镜像

在完成上述步骤之后，我们执行以下命令，来构建和运行 Logstash 容器：

docker build -t my-logstash .
docker run --name my-logstash --rm --link elasticsearch:elasticsearch -d my-logstash

在上述命令中，我们首先构建了一个名为 my-logstash 的镜像，并且利用 --link 来将容器和 Elasticsearch 链接起来。然后，我们利用 docker run 命令来启动 my-logstash 容器。

在 Kibana 中查看日志

在执行了以上所有命令之后，我们已经成功在 Docker 中搭建了 ELK 日志堆栈，并且启动了用于收集日志的 Logstash 容器。现在，我们就可以在 Kibana 中查看并分析我们收集的日志数据。

首先，在 Kibana 面板上选择 Discover，然后选择你想要查看的日志源（通常是 logstash-*）。现在，你已经可以在 Kibana 面板中查看到收集到的日志数据。

接下来，我们可以在 Kibana 中选择各种数据可视化方法，比如柱状图、折线图、地图等等。这些工具可以帮助我们更好的理解和分析日志数据。

总结

本文介绍了在 Docker 中使用 ELK 堆栈进行日志记录的方法，并提供了详细和深入的指导和学习方法。我们首先部署 Elasticsearch 和 Kibana 服务，然后使用 Logstash 容器来收集并发送日志数据。最后，我们可以在 Kibana 中查看和分析日志数据，并利用 Kibana 中的各种数据可视化工具来帮助我们更好的理解数据。希望本文可以帮助读者更好的理解如何使用 ELK 堆栈来记录日志信息。

来源：JavaScript中文网，转载请注明来源本文地址：https://www.javascriptcn.com/post/65489ac77d4982a6eb2df0ee