随着数据量的增长和访问量的提高,数据库的运维监控变得越来越重要。MongoDB 作为一款流行的 NoSQL 数据库,在数据存储方面提供了很大的便利,但也需要完善的运维监控方案,以保证数据库的可靠性、高可用性和性能。
监控需求
MongoDB 数据库的运维监控需要满足以下需求:
- 实时监控数据库性能,包括 CPU、内存、磁盘和网络流量等。
- 实时监控数据库操作,包括查询、写入、更新和删除等操作的次数和耗时。
- 实时监控数据库复制集群的状态和主节点切换情况。
- 实时监控数据库异常情况,包括故障、连接异常、延迟和死锁等。
- 可以进行历史数据查询和分析,以便查找问题和优化性能。
一些可用的解决方案
MongoDB 官方提供了一些监控工具,如 MongoDB Management Service(MMS)、MongoDB Ops Manager 和 MongoDB Cloud Manager 等,这里介绍其中的 MongoDB MMS。
MongoDB MMS
MongoDB MMS 是一个基于云服务的 MongoDB 监控系统,提供了实时性能监控、警报、统计和智能分析等功能。它可以监控单节点和复制集群的状态,支持自定义报警阈值和警报通知方式,还提供了历史数据查询和聚合分析功能。
MongoDB MMS 监控 MongoDB 的方式是在每台 MongoDB 服务器上安装一个 MMS agent,通过 agent 采集指标数据并传输到 MMS 的服务器,使用者可以通过 web 界面查看监控数据。
安装方法
MongoDB MMS 的安装分为两个部分:安装 MMS agent 和创建 MMS group。
安装 MMS agent
在 MongoDB 服务器上执行以下命令:
$ wget https://mms.mongodb.com/download/agent/automation/mongodb-mms-automation-agent-manager-latest.x86_64.rhel7.rpm $ sudo rpm -U mongodb-mms-automation-agent-manager-latest.x86_64.rhel7.rpm
创建 MMS group
登陆 https://mms.mongodb.com/,创建一个 MMS group,然后添加 MongoDB 服务器。注意,需要在 MongoDB 服务器上开放 443 端口。
监控界面
MongoDB MMS 的监控界面非常直观,可以看到 CPU、内存、磁盘、网络流量、操作等的实时监控情况。还可以查看历史数据和聚合数据,并设置警报阈值。
MongoDB Ops Manager
MongoDB Ops Manager 是一个 MongoDB 生产环境的综合性运维管理和监控解决方案,提供了集群配置管理、数据库备份和恢复、性能监控、警报和自动化操作等功能。
与 MongoDB MMS 不同的是,MongoDB Ops Manager 不需要对数据库服务器进行任何自定义安装,而是直接作为一个系统服务部署在一个独立的服务器上。
安装方法
在 MongoDB Ops Manager 服务器上执行以下命令:
$ wget https://downloads.mongodb.com/on-prem-mms/rpm/mongodb-mms-4.4.8.100.20210922T2109Z-1.x86_64.rhel7.rpm $ rpm -ivh mongodb-mms-4.4.8.100.20210922T2109Z-1.x86_64.rhel7.rpm
然后根据官方的安装文档进行配置和启动服务。
监控界面
MongoDB Ops Manager 的监控界面集成了 MongoDB MMS 的所有功能,同时提供了更加高级的功能,如自动化备份和自动化恢复功能、集群自动发现和节点自动补充功能等。
常见用法示例
创建 MMS API Key
登录 MongoDB MMS 后,创建 API Key:
安装 mms-agent
CentOS
新建 /etc/yum.repos.d/mongodb-mms.repo
,内容如下:
[mongodb-mms] name=MongoDB MMS Repository baseurl=https://mms.mongodb.com/download/agent/automation enabled=1 gpgcheck=1 gpgkey=https://mms.mongodb.com/static/keys/mongodb-mms-automation-agent-0C49F786AA46B1B0.asc
Ubuntu
下载公钥:
$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10
将以下行添加到 /etc/apt/sources.list
:
deb http://repo.mongodb.com/apt/ubuntu trusty/mongodb-enterprise/3.0 multiverse
安装:
$ sudo apt-get update $ sudo apt-get install mongodb-mms-agent
启动 mms-agent
$ sudo /etc/init.d/mongodb-mms-agent start
mongostat
mongostat 是 MongoDB 自带的一个命令行工具,可以实时监控 MongoDB 数据库的状态。
$ mongostat -n 5
其中 -n 5
表示显示 5 组数据。
输出如下:
insert query update delete getmore command % dirty % used flushes vsize res qr|qw ar|aw netIn netOut conn time 0 2 0 0 0 7.0|0.0 0.1 60.1 0 1.4G 307M 0|0 0|0 0 0 2 2020-02-27T03:43:23Z 0 2 0 0 0 7.0|0.0 0.1 60.1 0 1.4G 307M 0|0 0|0 0 0 2 2020-02-27T03:43:23Z 0 2 0 0 0 7.0|0.0 0.1 60.1 0 1.4G 307M 0|0 0|0 0 0 2 2020-02-27T03:43:24Z 0 2 0 0 0 7.0|0.0 0.1 60.1 0 1.4G 307M 0|0 0|0 0 0 2 2020-02-27T03:43:24Z 0 2 0 0 0 7.0|0.0 0.1 60.1 0 1.4G 307M 0|0 0|0 0 0 2 2020-02-27T03:43:25Z
其中 % dirty
表示当前未持久化到磁盘的数据所占的百分比,% used
表示当前数据库空间使用量的百分比,vsize
表示 MongoDB 进程的虚拟内存大小,res
表示 MongoDB 进程使用的实际物理内存大小。
mongotop
mongotop 也是 MongoDB 自带的一个命令行工具,可以实时监控 MongoDB 数据库的操作情况。
$ mongotop -n 5
其中 -n 5
表示显示 5 组数据。
输出如下:
ns total read write 2020-02-27T03:43:50Z test.counts 10 0 10 config.system.sessions 1 1 0
其中 ns
表示命名空间,total
表示操作总次数,read
表示读操作次数,write
表示写操作次数。
MongoDB MMS API
MongoDB MMS 提供了丰富的 RESTful API,可以实现自动化运维和集成到第三方工具中。
下面是一个简单的 Python 脚本,使用 MongoDB MMS API 获取 MongoDB 进程的 CPU 使用率。
-- -------------------- ---- ------- ------ -------- --- - --------------------------------------------------------------------------------------- -------- - ----------------- ---------------- -------------- --------- - --------------- --- - ---- --- ---- -- -------------------------- -- ------------ -- ------ --- ----- -- ------------- -- ------------- -- ------------- --- - ---------------- ---------- ------ ------------------
其中 xxx 和 yyy 分别是 MongoDB MMS group 和 MongoDB host 的 ID,api_key 和 api_secret 是 MMS API 的认证信息。
结论
MongoDB 的运维监控方案具有很高的灵活性和可扩展性,可以根据需求选择最适合的监控工具或自行开发监控解决方案。使用 MongoDB MMS、MongoDB Ops Manager 或者原生的监控工具可以极大地提高数据库的可靠性、高可用性和性能。
来源:JavaScript中文网 ,转载请注明来源 https://www.javascriptcn.com/post/6715e1b7ad1e889fe2194a7c