广告
返回顶部
首页 > 资讯 > 数据库 >使用Mtools分析MongoDB日志文件
  • 184
分享到

使用Mtools分析MongoDB日志文件

mongodbmtoolsols 2022-10-18 09:10:13 184人浏览 安东尼
摘要

一 Mtools介绍  mtools是一组用来解析和过滤mongoDB日志文件的脚本。mtools包括以下几个工具:  mlogfilter    可以根据时间切割日

一 Mtools介绍

  mtools是一组用来解析和过滤mongoDB日志文件的脚本。mtools包括以下几个工具

  mlogfilter    可以根据时间切割日志文件,过滤慢查询等

  mloginfo      返回日志文件信息,比如开始和结束时间等

  mplotqueries   对日志文件进行视图展现

  mlogvis      创建一个自定义html文件交互式展现

  mlaunch      快速搭建本地测试环境,包括复制集合分片系统


  mtools是用python写的,需要Python2.6或者python2.7,目前不兼容python3

二 Mtools使用


1.安装mtools

 可以使用pip直接安装mtools


 yum install python-devel

 pip install numpy

 pip install python-matplotlib

 pip install mtools

或者直接下载安装

 

wget https://pypi.python.org/packages/25/fe/c9375c462c9f0592407695bb5ce784866ce7b5336b8d66141e1f3250cf1f/mtools-1.2.2.tar.gz
tar zxvf mtools-1.2.2.tar.gz
python setup.py install

2.mlogfilter

mlogfilter用于解析日志,如果有多个日志文件,mlogfilter按照时间戳合并

mlogfilter monGod.log --slow --JSON | mongoimport -d test -c mycoll


分析慢查询并以json格式导出并导入到test库的mycoll集合中


mlogfilter /opt/logs/mongodb/*.log --slow  --json


查看某个库的某个集合的慢查询, --slow可以指定慢查询时间为多少毫秒

mlogfilter mongod.log --namespace admin.\$cmd --slow 1000



查看某一个操作类型的慢查询,一次只能指定一个操作类型,可以是query,insert,update,delete,command,getmore

mlogfilter /opt/logs/mongodb/*.log --slow  1000  --namespace order.bill   --operation query



根据某一个线程的查看慢查询

mlogfilter /opt/logs/mongodb/*.log --slow  1000  --namespace order.bill   --operation query  --thread conn1317475



--parttern P  根据匹配条件查询日志

mlogfilter mongod.log --pattern '{"_id": 1, "host": 1, "ns": 1}


这里需要注意的是,字段名称必须用双引号包围




根据关键字过滤日志

mlogfilter mongod.log --Word assert warning error



根据时间范围进行日志搜索


返回所有9月份的日志

mlogfilter mongod.log --from Sep


返回5分钟之前的日志

mlogfilter mongod.log --from "now -5min"


返回当天00:00:00 到当天02:00:00 的日志

mlogfilter mongod.log --from today --to +2hours


返回当天从9:30开始的日志

mlogfilter mongod.log --from today 9:30


3.mloginfo

mloginfo可以包括日志文件的相关信息


显示日志的查询统计信息

mloginfo mongod.log --queries


对结果进行排序

mloginfo mongod.log --queries --sort count
mloginfo mongod.log --queries --sort sum



显示重启信息

mloginfo mongod.log --restarts


分类显示日志消息

mloginfo mongod.log --distinct



显示连接信息

mloginfo mongod.log --connections


显示复制集信息

mloginfo mongod.log --rsstate




4.mplotqueries

mplotqueries是一个可以可视化MongoDB日志文件中的操作的工具。



-- group GROUP

group参数指定数据根据什么分组然后每组一个种颜色绘制成各种图表,默认是散点分布图


GROUP可以的值有

namespace  

filename

operation

thread

log2code

pattern


mplotqueries mongod.log --group operation

创建一个散点分布图

使用Mtools分析MongoDB日志文件



mlogfilter mongod.log --operation update --namespace test.users |
  mplotqueries --type histogram --group "_id: ObjectId\('([^']+)'\)"


mlogfilter先过滤所有test.users的update操作,然后根据_id分组绘制直方图


如果groups的数量太大,可以使用 --group-limit 限制前几个分组




使用Mtools分析MongoDB日志文件




mplotqueries mongod.log --type range --group log2code --group-limit 10



使用Mtools分析MongoDB日志文件




--type scatter(default)































参考文档:

Https://GitHub.com/rueckstiess/mtools


您可能感兴趣的文档:

--结束END--

本文标题: 使用Mtools分析MongoDB日志文件

本文链接: https://www.lsjlt.com/news/45420.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 使用Mtools分析MongoDB日志文件
    一 Mtools介绍  mtools是一组用来解析和过滤MongoDB日志文件的脚本。mtools包括以下几个工具:  mlogfilter    可以根据时间切割日...
    99+
    2022-10-18
    mongodb mtools ols
  • MongoDB 日志分析工具 mtools
    ...
    99+
    2022-10-18
    mongodb mtools 分析
  • mongodb中如何使用mtools日志分析工具
    这篇文章将为大家详细讲解有关mongodb中如何使用mtools日志分析工具,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。安装过程<pip 安装>...
    99+
    2022-10-18
    mongodb mtools
  • 使用PowerShell调用MTools分析MongoDB性能并发送邮件
    使用PowerShell调用MTools分析MongoDB性能并发送邮件问题描述:在MongoDB日常运维中,经常需要查看连接数的趋势图、慢查询、Overflow语句、连接来源。解决方案:1. 将Windo...
    99+
    2022-10-18
    powershell mongodb mtools
  • ELK 5.0.1+Filebeat5.0.1实时监控MongoDB日志并使用正则解析mongodb日志的示例分析
    ELK 5.0.1+Filebeat5.0.1实时监控MongoDB日志并使用正则解析mongodb日志的示例分析,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴...
    99+
    2022-10-18
    filebeat mongodb elk
  • 如何分析Linux系统日志文件
    这篇文章的内容主要围绕如何分析Linux系统日志文件进行讲述,文章内容清晰易懂,条理清晰,非常适合新手学习,值得大家去阅读。感兴趣的朋友可以跟随小编一起阅读吧。希望大家通过这篇文章有所收获!在Linux系统中日志是一个非常重要的文件,日志文...
    99+
    2023-06-28
  • MongoDB数据库的日志文件有什么用
    这篇文章主要介绍MongoDB数据库的日志文件有什么用,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!日志信息的格式<日志时间> <严重级别> <信息所属...
    99+
    2022-10-18
    mongodb 数据库
  • 怎么使用Python工具分析Web服务器日志文件
    这篇文章主要讲解了“怎么使用Python工具分析Web服务器日志文件”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么使用Python工具分析Web服务器日志文件”吧!Lars 是 ...
    99+
    2023-06-16
  • 使用spark分析mysql慢日志
    熟悉oracle的童鞋都知道,在oracle中,有很多视图记录着sql执行的各项指标,我们可以根据自己的需求编写相应脚本,从oracle中获取sql的性能开销。作为开源数据库,mysql不比oracle,分...
    99+
    2022-10-18
    spark mysql slow.log
  • 使用log miner 分析oracle日志
    当我们不小心误操作致使数据库数据丢失、改变时, 需要对数据库对象做基于时间点的恢复,找到我们需要的数据,这个时间点不能认为精确确定,我们可以通过对oracle日志进行分析,而获得无操作的精确时间点。orac...
    99+
    2022-10-18
    log miner mi
  • centos中日志式文件系统的示例分析
    这篇文章主要介绍了centos中日志式文件系统的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。日志式文件系统通常在系统运行中写入文件内容的同时,并没有写入文件的元数据...
    99+
    2023-06-10
  • tomcat logs目录下各日志文件实例分析
    这篇文章主要介绍“tomcat logs目录下各日志文件实例分析”,在日常操作中,相信很多人在tomcat logs目录下各日志文件实例分析问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”t...
    99+
    2023-06-22
  • 如何使用goaccess分析nginx日志
    这篇文章主要介绍了如何使用goaccess分析nginx日志,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。最近想用goaccess来分析下nginx日志,但是苦于nginx日...
    99+
    2023-06-20
  • 网站运维工具如何使用iis日志分析工具分析iis日志
    本篇文章给大家分享的是有关网站运维工具如何使用iis日志分析工具分析iis日志,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。对于一个需要长期维护的网站来说,如何让网站长久稳定运...
    99+
    2023-06-14
  • 怎么使用pt-query-digest分析日志
    这篇文章给大家分享的是有关怎么使用pt-query-digest分析日志的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。 1、工具介绍pt-query-...
    99+
    2022-10-18
    pt-query-digest
  • mysql中二进制日志文件报错的示例分析
    这篇文章给大家分享的是有关mysql中二进制日志文件报错的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。1、可以通过如下设置,自动删除日志文件,需要重启mysqlvim /etc/my.cnf&...
    99+
    2023-06-15
  • 如何使用sql server分析系统日志
    本篇内容介绍了“如何使用sql server分析系统日志”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!.分...
    99+
    2022-10-18
    sql server
  • logBack配置日志文件及编码配置的示例分析
    这篇文章主要介绍了logBack配置日志文件及编码配置的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。logback输出到文件文件大小设置问题目前网上能搜到的关于输出...
    99+
    2023-06-20
  • 基于python实现cdn日志文件导入mysql进行分析
    目录一、本文需求背景二、需求落地如下三、自定义查询一、本文需求背景 周六日出现CDN大量请求,现需要分析其请求频次与来源,查询是否存在被攻击问题。 本文以阿里云CDN日志作为辅助查询...
    99+
    2022-11-11
    cdn日志文件导入mysql python实现cdn日志文件导入
  • 如何使用 Python 轻松处理分布式日志文件?
    随着互联网技术的发展和应用的广泛,日志文件已经成为了企业和组织中重要的数据来源。在分布式系统中,日志文件的数量会变得非常庞大,如何高效地处理这些日志数据是一个非常值得关注的问题。本文将介绍如何使用 Python 轻松处理分布式日志文件。 一...
    99+
    2023-09-07
    文件 分布式 日志
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作