公司
研究管理部文档中心
产品版本
产品名称:测试用例执行管理工具
密级
共13页
IPD-PTM 测试用例执行管理工具使用说明书
拟制: 审核: 批准:
日期: 日期: 日期:
精品文档
精品文档
修订记录
日期 修订版本 1.00 描述 初稿完成
作者 精品文档
精品文档
目 录
1 2
背景 .............................................................................................................................................................. 5 工具功能介绍 .............................................................................................................................................. 5 2.1 2.2 1.1 2
测试任务的计划和执行情况跟踪 ............................................................................................... 5 用例的累计执行数据统计情况 ................................................................................................... 6 版本间测试用例的分配 ............................................................................................................... 7
使用指南 ...................................................................................................................................................... 7 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8
备份和预分配测试用例 ............................................................................................................... 8 添加补充修改用例 ....................................................................................................................... 9 分配用例 .................................................................................................................................... 10 执行计划制定............................................................................................................................. 10 填写每日测试记录 ..................................................................................................................... 10 显示测试进度............................................................................................................................. 11 度量分析 .................................................................................................................................... 11 统计分析 .................................................................................................................................... 12
1 附件 ............................................................................................................................................................ 13
精品文档
精品文档
测试用例执行管理工具使用说明
关键词: 用例管理 度量
摘 要:固网测试质量组新开发的基于123表格的测试用例执行管理工具,可以实现用例预分配、用
例执行跟踪与度量等功能,本文简单地描述了该工具的使用方法和操作步骤。
缩略语清单:
无
参考资料清单:
参考资料清单 名称 作者 编号 发布日期 出版单位(若查阅地点或渠道 不为本公司发 布的文献,请填写此列) 测试用例度量 工具组 测试用例度量模板 工具组 测试执行监控模板(项目经理用)
工具组 精品文档
精品文档
1 背景
目前测试组的用例执行进度按单个版本来跟踪,粒度较大,测试团队不易觉察到每周、甚至每天的“小”进度偏移。
在测试度量表中需要得到用例的累计执行数据,实际上目前测试组能提供的主要是一个日期版本的测试用例执行数据,这样会影响到对整个R版本或Build版本测试用例执行情况的判断。
日期版本间的测试用例分配策略不明显,也缺乏类似工具的支持,这样可能会出现版本间用例分配遗漏的情况。
针对以上三种情况,固网测试质量组在相关工具的基础上开发了测试用例执行管理工具,用例的管理可以满足以上需求。
2 工具功能简介
2.1 单特性测试用例执行进度跟踪
如下图所示,通过本工具可以实时得到单个特性的用例执行情况,包括用例计划执行数、用例实际执行数以及各种用例执行结果的曲线。
R003B02D001 远程维护特性测试用例按天计划和执行S曲线807060测试用例数5040302010010-1110-0210-0310-0410-0510-0610-0710-0810-0910-1010-1210-1310-1410-1510-1610-1710-1810-1910-2010-2110-2210-2310-2410-25PLANRUNOKPOKNGNT 图1 单特性测试用例按工作日计划和执行S曲线示例
精品文档
精品文档
图2 单特性测试用例按周计划和执行S曲线示例
2.2 测试用例累计执行数据统计
在“统计信息”表单中可以查看累计测试用例执行的统计结果:
累计测试用例执行情况 用例总数 测试结果 执行结果 OK 执行结果 POK 执行结果 NG 执行结果 NT 未测 78 100.00% 数量 百分比 65 7 6 0 0 83.33% 8.97% 7.69% 0.00% 0.00% 1 累计测试用例执行情况表示例
精品文档
精品文档
累计测试用例执行情况执行结果 NG执行结果 POK9.0%7.7%执行结果 OK83.3%
Figure 3 累计测试用例执行情况图示例
1.1 版本间测试用例的分配
在一轮日期版本测试结束,新的日期版本测试开始时,通过本工具具有的用例自动分配功能可以将累计测试结果为非OK的用例在新版本中直接做上分配的标记,并可以根据用例执行的需要进行增删,测试执行时只执行已分配的用例。详细的用例分配用法参见第三节的使用指南。
2 使用指南
本工具分特性来使用,一个特性一个123文件。 本工具中的表格颜色遵循以下规则: 用于内容变化很小的区域如标题,用例描述等 包含计算公式的区域,不能随意更改,如一些统计字段
需要测试人员手工填写的区域 对于测试用例状态的约定: OK:该用例执行通过; POK:该用例执行部分通过; NG:该用例执行不通过;
NT:该用例由于条件限制不能完成执行,阻塞;
精品文档
精品文档
NULL:该用例处于已分配待执行状态。
使用指南根据一个特性的测试用例在两个版本执行的操作来编写。操作步骤一般如下: ①备份和预分配测试用例 ②添加补充修改用例 ③分配用例 ④执行计划制定 ⑤填写每日测试记录 ⑥显示测试进度 ⑦度量分析 ⑧统计分析
其中①对于版本第一次使用可略,⑥⑦⑧步项目经理可以按周进行跟踪,对于偏差较大的情况进行分析关注。
1.1 备份和预分配测试用例
备份和预分配测试用例操作基于已经完成上轮测试的结果。
操作:点击特性测试列表表单中“备份版本用例和分配新版本用例”按钮 ;该表格中数据将全部备份到一张新表格中,清空表格中原来手工填写的数据,把原来“累计执行结果”列数据拷贝到“上轮测试结果”列中,并对“累计执行结果”列数据中不为OK的测试项目在“本次测试结果”列标记为“NULL”,代表本轮分配。由于用例的详细分配在步骤3.3中执行,这里的分配仅仅是预分配--标记累计结果为非OK的测试用例。
注意:如果备份前“本轮尚未完成测试用例数”大于0,会弹出对话框提示要在全部测试完成后才能继续。
精品文档
精品文档
1.2 添加补充修改用例
(1)在测试执行前一般要准备好应当测试的用例项目,这里可能包含了新增优化的测试用例。
(2)对于空白的用例清单,可以从已有的123用例表格中拷贝如下三项:用例编号,用例
描述,用例优先级。
(3)对于在一轮测试完成后有用例的优化操作,可以按以下步骤: a、多余的用例:可以直接删除该用例所在行;
b、新增用例:先选择插入行,为了避免公式的丢失,还要把上一行的样式拷贝到新增行; 在本轮新增的用例,要求在“是否新增 用例”列标记为“Y” c、用例的修改可以直接操作。
(4)一般在使用时会修改用例表单的名称,目前默认为“特性1测试用例”,可以修改为类似“远程维护特性测试用例”,如果此处修改,在“每日测试情况汇总”表中的第一行第一列内容要和表单名称保持一致。如下图所示。
精品文档
精品文档
1.3 分配用例
(1)用例的分配一般由项目经理和测试人员共同制定。用例的分配要考虑到该特性的目前稳定程度,工作量安排,用例的优先级别,用例的累计测试结果(充分性)等等。本工具提供简单的分配功能(可以参见3.1),用例在测试前要分配完成,在一轮测试中,不要随意变动。
(2)对于确认要分配的测试项目,请在本次测试结果中标注为“NULL”。
1.4 执行计划制定
(1)用例的执行计划在用例分配完成后启动,以测试人员填写为主,项目经理定期监控跟踪。
(2)用例执行计划填写在“每日测试情况汇总”表单中。
(3)执行计划可以在测试前直接制定出版本测试周期内每天的计划进度,然后按周进行计划的更新。测试人员需要填写测试日期和计划每日执行用例数。在该表单有一列“计划百分比”显示到当前的累计计划用例占已分配用例的百分比情况,可以根据这一列的数据来做好用例执行计划。
1.5 填写每日测试记录
测试执行开始后,测试人员要每天填写用例的执行记录。
精品文档
精品文档
请正确填写以下信息,以下数据是统计度量的基础。 (1)“测试人员”:该特性测试执行人员名字。
(2)“本次测试结果”:只能填写“OK”“POK”“NG”“NT”“NULL”字样。要注意用大写。其中“OK”“POK”“NG”和原有的含义相同。“NT”代表已分配了,由于条件限制无法正常完成测试的用例,是阻塞状态。“NULL”是用例分配标记。
(3)“测试日期”:填写该用例测试执行时间,注意除了“NULL”外,都要填写测试时间。包含“NT”结果在内。
(4)“缺陷数”:是指通过执行该用例发现的缺陷数。 (5)“备注”:可以填写一些其他信息如问题单号等等。
(6)“工作量”:当天测试执行的工作量在“每日测试情况汇总”表格中及时填写。
1.6 显示测试进度
在测试执行过程中,可以随时在“每日测试情况汇总”表中显示测试进度。
单击“更新进度”按钮将根据当前测试执行结果对进度进行更新。包括每日执行数,OK数,POK数,NG数,NT数,未测项以及未测项占已分配的百分比
1.7 度量分析
精品文档
精品文档
度量分析可以在测试执行过程中进行。
如下图,单击“开始分析/刷新”,图表自动生成。
该操作生成两个图:见2.1节中的Figure1,2
Figure2以天为周期反映了累计计划测试用例和实际执行用例的偏差(直方图),当偏差比较大(大于15%),可能要考虑采取相应的对策措施。在该图中同时可以看到累计已执行测试用例实际的测试结果的分布趋势(折线图)。
Figure3功能基本和Figure1相似,不过其统计周期可以调整。周期修改在本表的第一行“周期”列。当该列为空时,默认周期为7。
1.8 统计分析
统计分析一般在本轮测试结束后填写查看。在“统计信息”表单,提供本轮测试用例的一些执行统计数据。如累计执行测试用例结果,本轮新执行用例情况,发现的缺陷情况等等。除了实际发现的各级别缺陷数需要填写外,其他的由公式自动实现。本表可以提供用于度量表中的用例执行数据。详细的情况可以参考示例和模板。 测试用例总数 78 本轮分配测试用61 例数 新执行测试用例 21 本轮分配测试用78.21% 例比例 新执行测试用例34.43% 比例 新增测试用例数 0 新增测试用例比0.00% 例 精品文档
精品文档
1 附件
精品文档
用例发现缺陷数 4 总执行工作量112 (人时) 实际发现缺陷数 8 用例发现缺陷百0.00% 分比 致命问题 2 缺陷生产率(个/0.1875 人时) 严重问题 2 用例执行生产率0.5267857142857(个/人时) 14 一般问题 1 提示问题 3
模板和样例
因篇幅问题不能全部显示,请点此查看更多更全内容