MongoDB 数据库的运维监控方案

随着数据量的增长和访问量的提高,数据库的运维监控变得越来越重要。MongoDB 作为一款流行的 NoSQL 数据库,在数据存储方面提供了很大的便利,但也需要完善的运维监控方案,以保证数据库的可靠性、高可用性和性能。

监控需求

MongoDB 数据库的运维监控需要满足以下需求:

  1. 实时监控数据库性能,包括 CPU、内存、磁盘和网络流量等。
  2. 实时监控数据库操作,包括查询、写入、更新和删除等操作的次数和耗时。
  3. 实时监控数据库复制集群的状态和主节点切换情况。
  4. 实时监控数据库异常情况,包括故障、连接异常、延迟和死锁等。
  5. 可以进行历史数据查询和分析,以便查找问题和优化性能。

一些可用的解决方案

MongoDB 官方提供了一些监控工具,如 MongoDB Management Service(MMS)、MongoDB Ops Manager 和 MongoDB Cloud Manager 等,这里介绍其中的 MongoDB MMS。

MongoDB MMS

MongoDB MMS 是一个基于云服务的 MongoDB 监控系统,提供了实时性能监控、警报、统计和智能分析等功能。它可以监控单节点和复制集群的状态,支持自定义报警阈值和警报通知方式,还提供了历史数据查询和聚合分析功能。

MongoDB MMS 监控 MongoDB 的方式是在每台 MongoDB 服务器上安装一个 MMS agent,通过 agent 采集指标数据并传输到 MMS 的服务器,使用者可以通过 web 界面查看监控数据。

安装方法

MongoDB MMS 的安装分为两个部分:安装 MMS agent 和创建 MMS group。

安装 MMS agent

在 MongoDB 服务器上执行以下命令:

- ---- --------------------------------------------------------------------------------------------------------------
- ---- --- -- ------------------------------------------------------------
创建 MMS group

登陆 https://mms.mongodb.com/,创建一个 MMS group,然后添加 MongoDB 服务器。注意,需要在 MongoDB 服务器上开放 443 端口。

监控界面

MongoDB MMS 的监控界面非常直观,可以看到 CPU、内存、磁盘、网络流量、操作等的实时监控情况。还可以查看历史数据和聚合数据,并设置警报阈值。

MongoDB Ops Manager

MongoDB Ops Manager 是一个 MongoDB 生产环境的综合性运维管理和监控解决方案,提供了集群配置管理、数据库备份和恢复、性能监控、警报和自动化操作等功能。

与 MongoDB MMS 不同的是,MongoDB Ops Manager 不需要对数据库服务器进行任何自定义安装,而是直接作为一个系统服务部署在一个独立的服务器上。

安装方法

在 MongoDB Ops Manager 服务器上执行以下命令:

- ---- -----------------------------------------------------------------------------------------------------
- --- ---- -------------------------------------------------------

然后根据官方的安装文档进行配置和启动服务。

监控界面

MongoDB Ops Manager 的监控界面集成了 MongoDB MMS 的所有功能,同时提供了更加高级的功能,如自动化备份和自动化恢复功能、集群自动发现和节点自动补充功能等。

常见用法示例

创建 MMS API Key

登录 MongoDB MMS 后,创建 API Key:

安装 mms-agent

CentOS

新建 /etc/yum.repos.d/mongodb-mms.repo,内容如下:

-------------
------------ --- ----------
---------------------------------------------------------
---------
----------
--------------------------------------------------------------------------------------------

Ubuntu

下载公钥:

- ---- ------- --- ----------- ----------------------------- ------ --------

将以下行添加到 /etc/apt/sources.list

--- ---------------------------------- ----------------------------- ----------

安装:

- ---- ------- ------
- ---- ------- ------- -----------------

启动 mms-agent

- ---- ----------------------------- -----

mongostat

mongostat 是 MongoDB 自带的一个命令行工具,可以实时监控 MongoDB 数据库的状态。

- --------- -- -

其中 -n 5 表示显示 5 组数据。

输出如下:

------ ----- ------ ------ ------- ------- - ----- - ---- ------- -----   ---  ----- ----- ----- ------ ----          ----
-       -      -       -       -        ------- ---      ----   -       ----   ----  ---   ---  -     -     -     --------------------
-       -      -       -       -        ------- ---      ----   -       ----   ----  ---   ---  -     -     -     --------------------
-       -      -       -       -        ------- ---      ----   -       ----   ----  ---   ---  -     -     -     --------------------
-       -      -       -       -        ------- ---      ----   -       ----   ----  ---   ---  -     -     -     --------------------
-       -      -       -       -        ------- ---      ----   -       ----   ----  ---   ---  -     -     -     --------------------

其中 % dirty 表示当前未持久化到磁盘的数据所占的百分比,% used 表示当前数据库空间使用量的百分比,vsize 表示 MongoDB 进程的虚拟内存大小,res 表示 MongoDB 进程使用的实际物理内存大小。

mongotop

mongotop 也是 MongoDB 自带的一个命令行工具,可以实时监控 MongoDB 数据库的操作情况。

- -------- -- -

其中 -n 5 表示显示 5 组数据。

输出如下:

--   -----    ---- -----  --------------------
-----------   --       -   --
----------------------   -       -    -

其中 ns 表示命名空间,total 表示操作总次数,read 表示读操作次数,write 表示写操作次数。

MongoDB MMS API

MongoDB MMS 提供了丰富的 RESTful API,可以实现自动化运维和集成到第三方工具中。

下面是一个简单的 Python 脚本,使用 MongoDB MMS API 获取 MongoDB 进程的 CPU 使用率。

------ --------

--- - ---------------------------------------------------------------------------------------

-------- - ----------------- ---------------- --------------
--------- - ---------------

--- - ----
--- ---- -- --------------------------
    -- ------------ -- ------
        --- ----- -- -------------
            -- ------------- -- -------------
                --- - ----------------

---------- ------ ------------------

其中 xxx 和 yyy 分别是 MongoDB MMS group 和 MongoDB host 的 ID,api_key 和 api_secret 是 MMS API 的认证信息。

结论

MongoDB 的运维监控方案具有很高的灵活性和可扩展性,可以根据需求选择最适合的监控工具或自行开发监控解决方案。使用 MongoDB MMS、MongoDB Ops Manager 或者原生的监控工具可以极大地提高数据库的可靠性、高可用性和性能。

来源:JavaScript中文网 ,转载请注明来源 本文地址:https://www.javascriptcn.com/post/6715e1b7ad1e889fe2194a7c