jmeter3.0生成html报告

    xiaoxiao2021-03-25  141

    JMeter性能测试3.0时代之-多维度的图形化HTML报告

    在上一篇博客JMeter性能测试3.0时代之-全新JMeter插件管理中我说会写真正的JMeter 3.0新特性,时隔两周,总算在这个周末,暂停其他安排,来继续这个未完成的系列。 本文主要介绍JMeter3.0引入的新特性:Dashboard Report,图形化的HTML格式多维度测试报告。借助这个特性,可以很大程度上降低我们搭建基于JMeter的性能测试平台时,在结果展示上的难度,将更多的经历放在后端的平台功能而不是去临时学习前端图表库。

    一.为什么谈这个新特性

    在JMeter3.0之前,官方只提供在工具的UI上对测试结果部分维度的图形化展示,这对我带来了两方面的困扰:

    在实际使用中,在平台中集成JMeter后需要页面展示TPS曲线,平均响应时间曲线等图表时,需要我们手动操刀摆弄如Hightcharts/Echarts等前端图表库。要查看历史的测试结果,需要启动JMeter的图形化界面,导入保存的CSV结果,过程繁琐,并且当结果集较大时,JMeter需要耗费相当多的时间在界面上展示图形化报告。

    本文讨论的新特性为这两个问题带来了较好的解决办法:

    新特性良好的实现了结果数据可视化,生成的报告是HTML页面形式,并且包含大多数实际测试中关心的度量维度的,可以便捷地嵌入到平台,从浏览器来查看每次测试运行的。只要保留生成的HTML页面,后期要查看该次测试的结果,只需要在浏览器打开即可,方便快捷。

    二.新特性简介

    JMeter3.0提供一个用于生成HTML页面格式图形化报告的扩展模块。该模块支持通过两种方式生成多维度图形化测试报告:

    在JMeter性能测试结束时,自动生成本次测试的HTML图形化报告使用一个已有的结果文件(如CSV文件)来生成该次结果的HTML图形化报告

    其默认提供的度量维度包括:

    APDEX(Application Performance Index)指数聚合报告 类似于UI上的Aggregate Report Errors报告 展示不同错误类型的数量以及百分比 响应时间变化曲线 展示平均响应时间随时间变化情况类似于JMeter Plugins在UI上的jp@gc - Response Times Over Time 数据吞吐量时间曲线 展示每秒数据吞吐量随时间变化的情况类似于JMeter Plugins在UI上的jp@gc - Bytes Throughput Over Time Latency time变化曲线 展示Latency time随时间变化的情况类似于JMeter Plugins在UI上的jp@gc - Response Latencies Over Time 每秒点击数曲线 类似于JMeter Plugins在UI上的jp@gc - Hits per Second HTTP状态码时间分布曲线 展示响应状态码随时间的分布情况类似于JMeter Plugins在UI上的jp@gc - Response Codes per Second 事务吞吐量时间曲线(TPS) 展示每秒处理的事务数随时间变化情况类似于JMeter Plugins在UI上的jp@gc - Transactions per Second 平均响应时间与每秒请求数的关系图 展示平均响应时间与每秒请求数(可以理解为QPS)的关系 Latency time与每秒请求数的关系图 展示Latency time与每秒请求数的关系 响应时间百分位图 响应时间的百分位分布图 活动线程数变化曲线 展示测试过程中活动线程数随时间变化情况 平均响应时间与线程数的关系图 展示平均响应时间与线程数的关系类似于JMeter Plugins在UI上的jp@gc - Response Times vs Threads 柱状响应时间分布图 展示落在各个平均响应时间区间的请求数情况

    注1:Latency time没有翻译成中文,这里对其计算方式做注解:

    - Latency time = 接收到响应的第一个字节的时间点 - 请求开始发送的时间点

    from just before sending the request to just after the first response has been received -- Apache JMeter Glossary

    - 响应时间(JMeter术语中的Elapsed time) = 接收完所有响应内容的时间点 - 请求开始发送的时间点

    from just before sending the request to just after the last response has been received -- Apache JMeter Glossary

    注2:Apdex 标准从用户的角度出发,将对应用响应时间的表现,转为用户对于应用性能的可量化为范围为 0-1 的满意度评价。。

    Apdex (Application Performance Index) is an open standard developed by an alliance of companies. It defines a standard method for reporting and comparing the performance of software applications in computing. -- wikipedia

    三.快速入门

    1.确认基本配置

    在jmeter.properties或者user.properties确认如下配置项: jmeter.save.saveservice.bytes = true jmeter.save.saveservice.label = true jmeter.save.saveservice.latency = true jmeter.save.saveservice.response_code = true jmeter.save.saveservice.response_message = true jmeter.save.saveservice.successful = true jmeter.save.saveservice.thread_counts = true jmeter.save.saveservice.thread_name = true jmeter.save.saveservice.time = true # the timestamp format must include the time and should include the date. # For example the default, which is milliseconds since the epoch: jmeter.save.saveservice.timestamp_format = ms # Or the following would also be suitable jmeter.save.saveservice.timestamp_format = yyyy/MM/dd HH:mm:ss 如果希望在Errors报告中展示更详细数据,需要确保如下配置 jmeter.save.saveservice.assertion_results_failure_message = true如果使用了事务控制器(Transaction Controller),确认Generate parent sample为未勾选状态

    2.生成报告

    a. 在压力测试结束时报告

    基本命令格式: jmeter -n -t <test JMX file> -l <test log file> -e -o <Path to output folder>样例: jmeter -n -t F:\PerformanceTest\TestCase\script\getToken.jmx -l testLogFile -e -o ./output

    b. 使用已有的压力测试CSV日志文件生成报告

    基本命令格式: jmeter -g <log file> -o <Path to output folder>样例: jmeter -g D:\apache-jmeter-3.0\bin\testLogFile -o ./output

    两个样例都会在\apache-jmeter-3.0\bin\output目录下产生如下文件(夹):

    用浏览器打开index.html文件,即可查看各种图形化报告:

    注:在3.0版本,由于源码中字符编码的问题,可能会遇到生成的报告中,中文标签展示为乱码的问题,因篇幅限制,解决办法请戳这里看我另一篇文章。

    四.自定义配置

    JMeter3.0在bin目录新增了reportgenerator.properties文件保存了所有关于图形化HTML报告生成模块的默认配置,要变更配置,建议不要直接编辑该文件,而是推荐在user.properties中去配置和覆盖。

    1.总体配置

    总体配置都是以jmeter.reportgenerator.为前缀,如:jmeter.reportgenerator.overall_granularity=60000

    overall_granularity:定义采样点粒度,默认为60000ms,通常在稳定性以外的测试中,我们可能需要定义更细的粒度,比如1000ms,我们可以在user.properties文件末尾添加如下配置: # Change this parameter if you want to change the granularity of over time graphs. jmeter.reportgenerator.overall_granularity=6000 report_title:定义报告的标题,我们可能需要将标题定义为实际测试项名称apdex_satisfied_threshold:定义Apdex评估中满意的阈值(单位ms)apdex_tolerated_threshold: 定义Apdex评估中可容忍的阈值 Apdext = (Satisfied Count + Tolerating Count / 2) / Total Samples

    另外,在jmeter.properties中,有关于集合报告中的三个百分位的默认值:

    aggregate_rpt_pct1 : Defaults to 90 aggregate_rpt_pct2 : Defaults to 95 aggregate_rpt_pct3 : Defaults to 99

    可以在user.properties中对其进行覆盖,如:aggregate_rpt_pct1 = 70,效果如下:

    2.图表配置

    每个图表配置都是以jmeter.reportgenerator.graph.<图表名称>.为前缀。

    classname 图表的实现类,如果有自己定制的实现,将该配置的值写为自定义实现类的类名title 图标标题,比如要汉化的时候,在这里配置中文标题property.set_granularity 设置图标的采样点粒度,不配置时默认使用总体配置中的粒度设置

    3.输出配置

    输出配置都以jmeter.reportgenerator.exporter为前缀。

    property.output_dir 配置默认的报告输出路径。在命令行可以用-o选项来设置特定的路径覆盖该配置。html.series_filter 用于过滤展示内容。如在user.properties添加如下配置: jmeter.reportgenerator.exporter.html.series_filter=(^Login)(-success|-failure)? 则最后的报告只展示名为Login这个取样器的数据。该配置包含两部分,(-success|-failure)?是Transactions per second图表所依赖的配置。前面部分接受一个正则表达式用来过滤。

    五.总结

    本次介绍的Dashboard Report特性本质上是Apache JMeter对于测试结果数据可视化方式的顺应时代的更新,虽然算是姗姗来迟,虽然并不酷炫,但至少,对于要需要基于它来执行性能测试的人来说,仍然是一个福音。最后,感谢Apache JMeter项目的各位贡献者对它的持续更新。

    References

    Apache JMeter Dashboard ReportApache JMeter Glossary 阿羅

    写了 15410 字,被 76 人关注,获得了 78 个喜欢

    Java,后端服务,数据处理,测试,拥抱全栈http://www.aloo.me

    如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

    后发表评论
    2楼 · 2016.09.20 17:00

    An error occurred: Error while processing samples:Consumer failed with message :Consumer failed with message :Consumer failed with message :No column <threadName> found in sample metadata <timeStamp,elapsed,label,responseCode,responseMessage,dataType,success,failureMessage,bytes,grpThreads,allThreads,Latency,IdleTime>, check #jmeter.save.saveservice.* properties to add the missing column 楼主你好,按照你的配置最后报了这个错。。求解决~

    3楼 · 2016.09.21 00:10

    看报错关键信息:No column <threadName> found in sample metadata 解决方案:确认./bin/jmeter.properties文件中有如下配置:jmeter.save.saveservice.thread_name = true。也可以在界面上你的listener的configure选项里面勾选“save thread name”

    赞 回复

    11a80f8fc74f: @阿羅 确认都设置了还是这个问题,用什么监听器有关系吗??

    2016.09.21 14:57 回复

    11a80f8fc74f: @阿羅 An error occurred: Data exporter "html" is unable to export data. 重新运行了下出现了这个错 是不是哪里设置有问题呢?

    2016.09.21 15:21 回复

    11a80f8fc74f: @阿羅 最新进展运行可以了但是目录下为空。。。实在没招了,求帮助~~

    2016.09.21 16:19 回复 妞妞儿们 4楼 · 2016.10.18 16:02

    jmeter -n -t <test JMX file> -l <test log file> -e -o <Path to output folder> 这个命令,放在哪里执行阿?

    赞 回复

    阿羅: @妞妞儿们 windows下在命令行执行

    5楼 · 2016.11.06 12:56

    请教下,为什么我生成报告就报这个错误,报告文件夹生成了但是没有 index.html Tidying up ... @ Sun Nov 06 12:09:41 CST 2016 (1478405381170) The JVM should have exitted but did not. The following non-daemon threads are still running (DestroyJavaVM is OK): Thread[StandardJMeterEngine,5,main], stackTrace:sun.nio.fs.WindowsNativeDispatch er#CopyFileEx0 sun.nio.fs.WindowsNativeDispatcher#CopyFileEx sun.nio.fs.WindowsFileCopy#copy sun.nio.fs.WindowsFileSystemProvider#copy java.nio.file.Files#copy org.apache.jmeter.report.dashboard.TemplateVisitor#visitFile at line:126 org.apache.jmeter.report.dashboard.TemplateVisitor#visitFile at line:48 java.nio.file.Files#walkFileTree java.nio.file.Files#walkFileTree org.apache.jmeter.report.dashboard.HtmlTemplateExporter#export at line:487 org.apache.jmeter.report.dashboard.ReportGenerator#exportData at line:348 org.apache.jmeter.report.dashboard.ReportGenerator#generate at line:256 org.apache.jmeter.JMeter$ListenToTest#generateReport at line:1144 org.apache.jmeter.JMeter$ListenToTest#testEnded at line:1089 org.apache.jmeter.engine.StandardJMeterEngine#notifyTestListenersOfEnd at line:2 15 org.apache.jmeter.engine.StandardJMeterEngine#run at line:436 java.lang.Thread#run Thread[DestroyJavaVM,5,main], stackTrace: ... end of run

    赞 回复

    阿羅: @b064472f6728 如果这个问题是必现或者高概率重现的情况,可以尝试将jmeter.propreties的 jmeterengine.force.system.exit属性设置为true,效果是当JMeter运行于NON-GUI下,当测试结束后,强制退出

    转载请注明原文地址: https://ju.6miu.com/read-9663.html

    最新回复(0)