在 Kubernetes 中，了解和监控应用程序、容器和集群是非常重要的。Prometheus 和 Alertmanager 是两个非常强大和流行的开源项目，它们为 Kubernetes 提供了灵活和可扩展的监控和警报解决方案。本文将介绍 Prometheus 与 Alertmanager 的基本概念、如何在 Kubernetes 中使用它们来监控应用程序和集群，以及如何定制警报策略。
Prometheus 简介
Prometheus 是一个可扩展的监控系统，它最初是由 SoundCloud 开发并开源的。它采用多维度数据模型和支持时序数据的存储方式，可以对复杂的系统和应用程序进行实时监控和统计信息的收集。它主要包括以下三个组件：
- Prometheus server：核心组件，负责从目标中收集指标，并进行存储和查询。
- Prometheus client libraries：支持多种语言的客户端库，用于将应用程序或服务的指标暴露给 Prometheus server。
- Prometheus Query Language (PromQL)：用于查询和分析指标数据的查询语言。
在 Kubernetes 中，Prometheus 可以通过两种方式来收集应用程序和集群的指标：
- 使用 Prometheus Operator 操作符，它能够自动安装、配置和管理 Prometheus server 和 Grafana 等组件。
- 手动部署 Prometheus，通过 Kubernetes 的 Service Discovery 和 Endpoints 管理器来发现和收集目标。
Alertmanager 简介
Alertmanager 是一个用于处理和路由警报的工具，它可以从 Prometheus server 收集警报和通知，并根据不同的策略和规则进行过滤、聚合和路由。Alertmanager 主要有以下组件：
- Alertmanager server：负责接收和处理从 Prometheus server 发送的警报。
- Receivers：用于定义一组通知接收者，例如电子邮件、Slack、Webhook 等。
- Routes：用于定义警报路由规则和策略，以决定哪些警报需发送到哪些接收者。
在 Kubernetes 中，Alertmanager 可以使用 Prometheus Operator 或手动部署，并与 Prometheus server 配合使用以实现完整的监控和警报功能。
在 Kubernetes 中使用 Prometheus 和 Alertmanager
为了在 Kubernetes 中使用 Prometheus 和 Alertmanager，需要完成以下步骤：
步骤1：部署 Prometheus
在部署 Prometheus 之前，需要先安装 Prometheus Operator 操作符。Prometheus Operator 可以通过 Custom Resource Definition (CRD) 来管理 Prometheus server 和 Alertmanager server，简化了 Prometheus 和 Alertmanager 的部署和管理。
以下是一些示例 YAML 文件，可用于在 Kubernetes 中部署 Prometheus，并将其暴露为 Kubernetes Service：
-- -------------------- ---- -------
- -------------------
----------- ----------------------------
----- ------------------------
---------
----- ----------------------------------
-----
------ ---------------------
------
----- ----------
------- ------------
--------- ----------
------ ----------
-------------
------- --
-------- --------
---
----------- ----------------------------
----- ------------------------
---------
----- -------------------------------------
-----
------ ---------------------
------
----- --------------
------- ---------------
--------- --------------
------ ----------
-------------
------- --
-------- --------
---
----------- ----------------------------
----- ------------------------
---------
----- -------------------------------------
-----
------ ---------------------
------
----- --------------
------- ---------------
--------- --------------
------ ----------
-------------
------- --
-------- --------
- ---------------
----------- ------------------------------
----- ----------
---------
----- ----------
-------
---- ----------
-----
--------- -
------------------- ----------
-------------------------------- --
-----------------------
------------
---- ----------
-------------
------------
---- ----------
---------
--------------
- ---------- -------
----- ------------
----- ---
----------
---------
---- ----
------- -----
--------
--------------------
---------
----- ----------
-----
------------
- -------------
----------
---------
-------- ----
- -----------------------
----------- --
----- -------
---------
----- ----------
-------
---- ----------
-----
---------
---- ----------
----- --------
------
- ----- ---
----- ----
----------- ---
将 YAML 文件应用到 Kubernetes 中：
kubectl apply -f prometheus-crd.yaml kubectl apply -f prometheus.yaml kubectl apply -f prometheus-service.yaml
步骤2：部署 Alertmanager
与 Prometheus 一样，可以使用 Prometheus Operator 来部署 Alertmanager。以下是一些示例 YAML 文件可用于在 Kubernetes 中部署 Alertmanager：
-- -------------------- ---- -------
- ---------------------
----------- ----------------------------
----- ------------------------
---------
----- -----------------------------------
-----
------ ---------------------
------
----- ------------
------- -------------
--------- ------------
------ ----------
-------------
------- --
-------- --------
- -----------------
----------- ------------------------------
----- ------------
---------
----- ------------
-------
---- ------------
-----
--------- -
------------------- ------------
----------
---------
---- ----
------- -----
-------
-------
---------------- --
-------------- -----------------------------------------------------------------------
------
--------- -----
-------
- ------
---------- -----------------------
--------- ------------
----------
- ----- -----
--------------
- -------- ---------
-------------- ----
----- ------- ---------------- - --------- ----- -------------- ---- ----------------- ------ --- ---- ----- -------------- ---- -------------------- ------ --- ---
- ----- ------------
--------------
- --- ---------------------------
-------- ----------- ------ --------
----- -
-- ----- ------- --
-- -------------------- --
-- --- --
- -------------------------
----------- --
----- -------
---------
----- ------------
-------
---- ------------
-----
---------
---- ------------
----- --------
------
- ----- ---
----- ----
----------- ---
将 YAML 文件应用到 Kubernetes 中：
kubectl apply -f alertmanager-crd.yaml kubectl apply -f alertmanager.yaml kubectl apply -f alertmanager-service.yaml
步骤3：暴露可监控的目标
所谓目标，是指要被 Prometheus 监控的应用程序或集群组件。在 Kubernetes 中，可以使用 ServiceMonitor 来定义需要被 Prometheus 监控的目标。以下是一个示例 YAML 文件，其中定义了一个名为 nginx 的 Service 和相应的 ServiceMonitor，以便让 Prometheus 可以监控和收集关于这些目标的指标：
-- -------------------- ---- -------
- ------------------
----------- --
----- -------
---------
----- -----
-----
---------
---- -----
------
- ----- ----
----- --
----------- --
- --------------------------
----------- ------------------------------
----- --------------
---------
----- -----
-------
-------- -----
-----
---------
------------
---- -----
----------
- ----- ----
--------- ---
-------------- ---将 YAML 文件应用到 Kubernetes 中：
kubectl apply -f nginx-service.yaml kubectl apply -f nginx-service-monitor.yaml
步骤4：配置警报规则和策略
在 Prometheus 中，可以通过规则来定义需要监控的指标，以及如何检测并处理异常情况。Prometheus 支持将这些规则定义为 YAML 文件，并将它们与 Prometheus 关联起来。以下是一个示例 YAML 文件，其中包含了一个名为 "HighRequestRate" 的警报规则，用于检测 nginx 服务是否有过高的请求数。当符合条件时，它将发送通知给 Alertmanager，并将警报路由到相应的通知接收者：
-- -------------------- ---- -------
- ----------------------
----------- --
----- ---------
---------
----- -----------------
-------
---- ----------
-----
------------ -
-------
- ----- -----------
------
- ------ ---------------
----- ----------------------------------- - ----
---- --
-------
--------- -------
------------
-------- ---- ------- ---- -----
------------ ------ -------- --- - ---- ------- -----
---
----------- ------------------------------
----- --------------
---------
----- -----------------
-------
-------- ----------
-----
-------
- ----- -----------
--------- --
------
- ------ ---------------
----- ----------------------------------- - ----
---- --
-------
--------- -------
------------
-------- ---- ------- ---- -----
------------ ------ -------- --- - ---- ------- -----将 YAML 文件应用到 Kubernetes 中：
kubectl apply -f nginx-alert-rules.yaml
步骤5：查看和定制监控和警报
在 Prometheus 中，可以使用 PromQL 查询语言来查询和分析监控的指标。使用 Prometheus Web UI 或 Grafana 等仪表板工具，可以可视化和分析指标并将其与其他应用程序或服务的指标进行比较。
要定制警报策略或路由规则，可以修改 Alertmanager 的配置文件或警报规则文件，以添加或删除通知接收者、自定义通知内容或添加新的警报类型。
总结
本文介绍了 Prometheus 与 Alertmanager 在 Kubernetes 中的基本概念和用法，包括如何部署和配置这些组件、如何定义和管理监控目标、如何定义警报规则和策略。了解和掌握这些概念和技能，可以帮助开发人员和管理员更好地监控和管理其应用程序和服务，并具备及时响应和处理问题的能力。
参考资料
- Prometheus
- Alertmanager
- Prometheus Operator
- Prometheus Kubernetes Integration
- Prometheus Query Language (PromQL)
- ServiceMonitor
- Prometheus Web UI
- Custom Alertmanager Configurations
来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/64ca1cfc5ad90b6d0419a0c1