李 昊， 柳 溪

(南京电子技术研究所，江苏 南京 210039)

对雷达软件测试历史记录进行整理，可以构建雷达软件测试用例复用库。软件测试人员使用雷达软件用例复用库进行测试用例辅助设计，能够有效提高雷达软件的测试质量、节约软件测试设计时间成本并改善测试人员专业背景经验不足的情况。对于新的待测雷达软件，通过将其软件需求与复用库中类似项目的软件需求进行匹配筛选，检索建立原始复用测试用例集，再经适用性修改完善后即可快速生成该软件的测试用例集，从而大幅提高雷达软件测试人员用例设计和开发的效率。测试用例复用研究的重点是用例的匹配检索。传统的复用用例检索大多采用描述语句信息匹配的方法，文献[1]根据测试用例本体属性描述的特点给出了一种基于用户复用行为的匹配度计算方法，并使用该方法进行用例检索。文献[2]以改进的K最近邻算法为基础设计了测试用例检索算法，提出了一种基于测试用例推理的测试用例复用方法。文献[3]提出了一种基于本体的构件检索算法。该匹配算法实现了与布尔无关的执行过程，使算法复杂度由原来的指数级降低到多项式级。文献[4]通过构建测试用例索引树开展测试用例的检索，并在测试用例索引树和树匹配模型思想的基础上，提出了面向不同数据模式的测试用例检索方法。虽然这些研究通过构建测试用例本体等方法改进了复用用例的检索算法，但大都仅从用例自身复用检索角度进行设计，没有充分考虑专业领域用例本体与其他知识本体的关系，降低了对具体项目的针对性和适用性，影响了在工程实际应用中的效果。同时，由于传统的软件测试用例复用库大多采用关系型数据库作为底层数据存储，当被测软件项目数量快速增加时，使用传统的复用库设计架构已逐渐无法满足清晰描述这些不同项目间知识关联关系的要求。此外，快捷高效地从其他类似产品获得软件测试知识资产复用的能力也是卓越型测试团队建设的一项重要内容。这就涉及到更加复杂的测试知识关系查询需求，因此对整个软件测试资产库的数据检索效率提出了更高的要求。

知识图谱(Knowledge Graph)[5]相关技术已被广泛应用于各专业领域，其在软件工程领域的典型应用包括构建领域知识库管理系统、设计和开发软件工程项目库，以及软件构建检索等。为了弥补传统雷达软件测试知识管理工具的不足，进一步优化雷达软件测试用例复用检索，提高测试用例复用设计质量，本文在软件测试用例复用设计中引入了知识图谱相关技术。根据构建的雷达软件测试本体关系模型，依托现有的雷达软件测试管理系统软硬件平台，快速构建雷达软件测试知识图谱，设计了一种以实体特征属性文本和关联节点快速相似度计算为基础的软件测试知识匹配方法，并利用知识检索和协同过滤推荐等技术手段开展基于知识图谱的雷达软件测试用例复用应用。该方法充分发挥了图形数据库在关系检索性能上的优势，能够有效降低测试知识库的更新复杂度，将测评项目的软件需求、测试用例和软件缺陷等知识和它们之间的关联关系，以及相关人员的测试工作档案以图谱形式直观展示，从而为雷达软件测试用例复用应用的进一步研究提供了新的解决思路。

1 雷达软件测试知识图谱

1.1 雷达软件测试知识图谱概述

本文构建的雷达软件测试知识图谱属于领域知识图谱(Domain-Specific Knowledge Graph)，其以测试用例复用为业务核心，采用属性图模型[6]构建，其本体关系模型如图1所示。

图1 雷达软件测试本体关系模型

图谱根据雷达设备的应用领域将产品软件分为国土防空、机载火控、精密测控、舰载预警等多个子图谱，覆盖了雷达软件配置项测试和系统测试中的功能、人机交互界面、性能、安全性、强度等多个动态测试类型，并将每个雷达软件需求分解为若干测试项，同时使用等价类、边界值和因果图等测试用例设计方法设计具体的雷达软件测试用例。图谱将各种雷达软件历史缺陷知识与其对应的执行用例建立属性关联，通过研究这些雷达缺陷的激励条件以及其在输出故障时的表现形式，得到相对独立于被测雷达软件项目的缺陷失效行为模式数据。此外，每个软件涉及软件编码人员、测试用例设计人员、缺陷检测人员和缺陷的修复人员等多个角色，这些角色在不同项目中可能会由相同人员交叉担任。

雷达软件测试知识图谱将雷达软件测试资产库中所有历史测试用例及其关联知识通过图形数据库，以复杂的语义网络图形式重新进行存储，方便软件测试人员从“关系”可视化的角度去访问雷达软件测试知识。

1.2 雷达软件测试知识图谱框架

与一般的知识图谱构建流程类似[7-9]，本文构建的雷达软件测试知识图谱的基本技术框架主要包括原始数据、知识抽取、知识融合、知识加工和知识应用五层结构，如图2所示。

图2 雷达软件测试知识图谱框架

本文使用现有雷达软件测试管理系统数据库中存储的历史用例及其关联数据作为知识图谱原始数据的主要来源。各种雷达测试实体、属性和关系数据经知识抽取模块提取后，提交知识融合层采用基于加权的语义相似度计算模型进行实体消歧和共指消解处理用以建立雷达软件测试知识图谱语义网络。知识加工模块动态更新软件测试知识图谱内容，持续评估并不断完善已有测试知识的质量和应用效果。知识应用层利用图形化的人机交互界面提供各种雷达软件测试知识检索和质量数据统计分析的应用实现。

1.3 雷达软件测试知识图谱构建

本文选择Neo4j[10]图形数据库存储雷达软件测试知识图谱，通过Cypher数据查询语言进行数据访问。知识图谱的应用系统设计为B/S架构并使用Python语言编程实现，其后端的Web服务采用Flask框架构建，前端利用ECharts和HTML5相关技术进行可视化展示[11-12]，其显示效果如图3所示。

图3 雷达软件测试知识图谱展示

1.3.1 构建本体和知识抽取

借助雷达软件测试领域专家的经验构建知识图谱标识模型并采用“由上至下”的模式开展概念图谱的层级体系分析设计。充分考虑软件质量管控工作和测试用例复用设计的实际应用需求[13]，以雷达软件测试用例为中心组织实体、属性素材和定义关系路径，完成雷达软件测试知识图谱核心模式(本体)层定义和构建。利用现有测试管理平台提供的OTA(Open Test Architecture)开放接口，根据构建的雷达软件测试本体模型建立软件测试用例相关知识映射,实现基础数据集的原始知识数据查询和转换，完成包括实体、关系和属性等候选知识单元的自动抽取。本文对现有测试管理系统中的400余个历史测试项目记录数据进行知识抽取，建立的雷达软件测试知识图谱覆盖了28万余个知识实体。

1.3.2 知识融合

新的知识加入雷达软件测试知识图谱前，需要进行知识图谱的实体匹配(Entity Matching)，完成对相同语义实体的共指消解和消歧。

知识图谱的匹配方法一般分为基于快速相似度计算、基于规则和基于分治3种方法[14]。考虑到现有雷达软件测试知识图谱的规模和特点，本文在实体属性类型分块的基础上选择了一种基于加权的实体特征属性文本的CBOW(Continuous Bag-of-Words)模型自然语言处理(Natural Language Processing，NLP)算法[15-18]，快速开展各种软件测试知识实体匹配。

CBOW模型经过充分训练后，能够以指定的当前词及其上下文为输入，预测该词出现的概率。本文在利用Python进行算法编程实现时，选用了Gensim库提供的Word2Vec工具包。其结构网络示意图如图4所示。

图4 Word2Vec的CBOW模型网络结构示意图

图4中Word2Vec的CBOW模型网络包括输入层、投影层和输出层(Softmax层)。其对神经概率模型中存在的大规模矩阵运算和Softmax归一运算进行了优化，采用对所有输入词向量简单求和的方法替代了传统神经网络的线性变换加激活函数的复杂实现，同时采用霍夫曼树实现从神经网络词向量语言模型的投射层到输出Softmax层的映射。对于输入的词ω，定义

(1)

其输出对数似然函数为

(2)

式中,C为语料库中所有词汇的集合;Context(ω)为与词ω前后紧邻的相关词；P(ω|Context(ω))为ω的条件概率。

在正式使用CBOW模型前，需要对其进行训练。本文使用的训练输入语料为累计万页规模的历史项目中的雷达软件需求和设计文档。在训练之前，需要借助停用词词典和雷达软件测试知识切词字典对语料文本进行停用词去除和低频词删除处理，删除没有意义的特征词，提取语义关键词。利用“雷达专业术语词典”对英文缩略语关键词进行翻译，实现训练语料优化。通过训练，实现语料库中每个词语的目标输出词的Softmax概率最大化。

对于输入语义文本，经语义关键词提取和英文缩略语翻译后，得到该语句的中文关键词序列S={ω1,ω2,…,ωn}，利用CBOW模型的训练输出文件可以获得每个关键词的词向量值，再将句子中的所有词向量求均值后即得到该属性文本的句子向量vec(S)。

给定两个待匹配的实体u和v，两者具有相同的文本属性集合A={A1,A2,…,An}，通过计算u,v共同属性Aj(1≤j≤n)描述文本的句子向量Su,j和Sv,j间的余弦值(式(4))，得到实体u和v在该属性Aj上的相似度simattr(uj,vj)：

(3)

式(3)只适用于字符串型属性值的相似度计算，对于枚举型特征属性的相似度可以直接通过内容相同比较进行布尔值判断。考虑到不同实体特征属性值对相似度计算结果的影响程度不同，为每个特征属性的匹配计算结果设置不同的影响因子Dj并进行综合加权修正后求平均，最终得到实体u和v的属性综合相似度。

(4)

1.3.3 知识加工和应用

知识加工主要完成新雷达测试知识的添加和原有知识的更新。对其可信度进行量化分析和动态评估，并根据分析评估结果依据“自动为主、人工辅助”的原则对较低置信度测试知识进行修改和完善。主要内容包括使用基于知识表达的关系推荐技术完成历史测试项目残缺知识的发现和推理，对语言描述质量不高的实体特征属性文本进行修订，以及修正原有知识图谱中的错误测试知识实体相似度关系匹配等。

雷达软件测评部门利用构建的雷达软件测试知识图谱可以方便地搭建适合自身专业特点的软件测试设计和质量综合管理平台，有效融合各领域产品的软件测试关联信息，开展雷达软件测试知识智能检索、缺陷预测和产品软件质量评估等更多扩展研究，为软件质量管理的决策分析提供可解释依据，并为雷达产品软件质量管控和软件研制过程改进提供重要的基础数据支撑，其知识查询应用界面如图5所示。

图5 雷达软件测试知识检索界面

2 雷达软件测试用例复用

2.1 雷达软件测试用例复用设计

雷达软件的测试复用包括各种软、硬件雷达软件测试资源和测试环境的复用、测试执行策略和雷达软件测试流程的复用、雷达软件测试用例方法复用、测试用例的复用等多项内容。其中，测试用例复用是指通过对雷达软件测试历史用例进行直接调用或进行适用性修改后，将其重新应用于该软件新的测试阶段或其他雷达软件的测试活动中。高质量的雷达软件测试复用用例至少应具有通用性、有效性、独立性、规范性和易用性等：通用性要求设计的雷达软件测试用例不过分依赖被测软件的周境，对测试用例不经修改或稍加修改后，就可以在相同或相似雷达产品的软件测试活动中广泛使用；有效性要求复用的测试用例能够被测试人员顺利、可靠且高效地执行，并能发现被测软件中的软件缺陷；独立性要求复用测试用例能够在被测雷达软件活动中独立运行，测试用例彼此之间不存在依赖关系，并且用例的运行环境与其他测试用例的执行状态也没有关联；规范性要求用例描述格式或结构的标准化和属性要素内容应完整；易用性要求设计的用例易于理解，可以灵活检索和获取，方便软件测试人员使用。

本文挖掘雷达软件测试知识图谱中已有历史项目软件测试知识信息，利用知识检索和知识推荐等相关技术，有效实现了软件测试复用用例的各项特性需求。为了保证用例的通用性，在新建测试用例知识时，通过规定在用例描述和测试步骤等文本属性键值中统一使用“最大值”“最小值”“典型值”“输入参数值N”“输出值N”等通用的抽象概念词汇代替具体的参数值。而这些参数数据的实例化则是通过另外定义的测试剖面属性键来赋值，从而有效实现了用例被复用的修改最小化。由于图谱中的所有知识来源为历史雷达软件测试项目，复用用例的有效性和可执行性已经过实际测试执行验证，因此能够更加可靠和高效地被执行。本文通过制定雷达测试用例属性文本描述编写规范对知识测试用例描述格式进行结构化约束，并建立雷达软件用例描述标签词典，充分满足了测试用例描述格式或结构的标准化需求。同时，利用雷达知识图谱的强大知识关系检索能力，可以灵活获取用例及其关联知识，更加易于理解和方便使用。此外，考虑到雷达软件作为高度复杂的嵌入式软件，普遍具有较高的安全性需求，因此在利用测试知识图谱构建雷达用例复用策略时，不仅能从文档化的软件需求覆盖性角度提供用例设计检索覆盖，而且能从故障模式的安全性角度进行复用用例设计补充推荐。

2.2 基于知识匹配的雷达软件测试用例复用

复用用例的匹配检索和智能推荐是测试用例复用研究的重点和难点。不同于传统的用例搜索方式，采用用例推荐技术可以辅助用户找寻感兴趣的用例信息，并自动将期望展现的关联知识实体更加精准地推送给用户。常用的个性化推荐方法包括：内容推荐、协同过滤推荐、基于知识推荐、基于关联规则推荐和组合推荐等[19]。实际应用中由于考虑到这些推荐方法各有优缺点，通常会综合使用多种推荐方法开展测试用例推荐应用。本文利用测试用例本体构建和知识图谱实体匹配相关技术，结合已构建的雷达测试用例知识图谱，将软件、需求、缺陷、角色等关联知识的影响也考虑进相似度计算过程，在集体实体对齐算法[20]基础上，设计了一种基于知识匹配的雷达软件测试用例复用(Knowledge Matching-Test Case Reusing，KM-TCR)推荐模型，利用实体匹配和知识推荐等技术开展测试用例复用优化设计，并在工程中进行了较好的应用。

根据不同应用场景，KM-TCR推荐模型分为基于需求知识集体匹配的复用用例推荐和基于缺陷知识检索的复用用例推荐两部分。前者以需求覆盖为导向，适用于常规软件测评项目的测试用例复用设计。而后者以问题发现为导向，更加适用于敏捷测试项目的复用用例设计。

2.2.1 基于需求知识集体匹配的复用用例推荐

通常，软件测试人员利用测试用例与雷达软件需求之间紧密的覆盖和追溯关系，通过检索与历史项目相似软件需求的关联用例，可以实现测试用例的复用。但当知识库中同时存在大量相似的雷达软件需求知识时，需要进行更多择优处理。本文充分发挥知识图谱在关系网络解析上的优势，采用知识实体集体对齐的算法实现了这一过程的自动化。其以软件需求知识为核心，构建包括待测软件需求及其关联实体的知识子图谱，并与雷达软件测试知识图谱网络中的各相似子图谱进行集体匹配，从而获得了更优的检索输出结果。基于需求知识匹配的复用用例检索如图6所示。

图6 基于需求知识匹配的复用用例检索

具体算法如下。

输入：待测项目的软件需求实体r和与它相关的被测软件、雷达分系统和软件开发人员等知识实体集合形成软件需求知识子图谱G。

输出：复用测试用例集索引列表。

① 根据r的“领域”和“分系统”属性键值，对软件测试知识图谱进行快速分区，提取待匹配计算知识子图谱G′。

(5)

⑥ 对输出的测试用例经实例化修改后，得到该项目的复用测试用例。

2.2.2 基于缺陷知识检索的复用用例推荐

(1) 雷达软件缺陷知识检索和失效模式本体构建。

知识图谱中的缺陷知识可以通过采用需求知识集体匹配的方法检索关联缺陷间接获取，或直接利用知识图谱客户端的缺陷知识检索功能得到。主动复用与历史缺陷相关联的测试用例，开展软件缺陷预防检测，能够有效避免类似软件问题重复发生，并为软件缺陷问题技术归零中开展“举一反三”工作提供技术参考。

为了更好地利用雷达软件缺陷知识IPO(Input-Processing-Output)的失效传递机理对软件缺陷进行数据分析，方便软件测试人员从用户输入行为模式的角度开展软件缺陷分类检索，本文在知识图谱中构建了雷达软件失效模式本体，并与缺陷知识建立关联，如表1所示。

表1 雷达软件失效模式本体属性描述

图谱中的每个缺陷对应一个失效模式，每个失效模式知识实体是一组相似缺陷记录的集合。对现有雷达软件测试知识图谱中的9000余条缺陷记录进行知识整理，累计提取出1451条雷达软件缺陷失效模式知识实体，并以此为基础进一步开展缺陷预测和产品软件质量评价等扩展工作，为软件质量管理的决策分析提供输入。

(2) 基于用户的协同过滤推荐。

软件开发人员的思维定式和代码的大量复用会导致类似的缺陷在不同产品中重复发生，即开发人员与缺陷产生之间存在着一定的“喜好”关联。考虑到当前软件测试知识图谱缺陷的实体规模以及基于记忆的协同过滤算法具有简单、合理、高效和稳定等特点，在实际应用中选用了基于用户的协同过滤推荐(User-Based Collaborative Filtering，UserCF)算法[21]，其核心思想是：以知识图谱中各缺陷关联的软件开发人员为推荐系统的“用户”，各种已发生的历史软件缺陷失效模式知识实体作为待推荐的“物品”，统计“用户”与该失效模式“物品”的关联缺陷数(缺陷出现的频次)作为该“用户”对该“物品”的评分，从而建立雷达软件开发人员与历史缺陷失效模式间的“用户-物品”评分行为矩阵。通过寻找与目标用户有类似关联软件失效模式行为的相似用户，利用相似用户对某特定缺陷失效模式的评分预测目标用户对该特定失效模式的评分，以此获得与相似用户已建立关联，但与该目标用户尚未有关联关系的缺陷失效模式数据推荐。使用失效模式知识实体代替直接使用软件缺陷作为推荐物品的好处是可以大幅改善评分行为矩阵的稀疏度，降低“空推荐”发生概率。其具体算法设计如下。

定义：知识图谱中所有缺陷产生人员组成“用户”集合U={u1,u2,…,un}，ui∈U(1≤i≤n) 为缺陷产生人员；所有软件失效模式组成“物品”集合I={i1,i2,…,im}，ik∈I(1≤k≤m) 为软件失效模式；以与ui关联且失效模式为ik的缺陷数量ri,k作为评分，建立U和I的关系评分矩阵R，设定用户相似度判定门限阈值为τ。

输入：“人员-软件失效模式”评分行为矩阵R。

输出：推荐的测试复用用例集索引列表。

(6)

设定判定阈值τ，选择相似度值高于该值的用户，得到ui最近邻缺陷产生人员集合KNN(ui)。

② 定义rj,k为用户uj对物品Ik的评分，根据式(7)：

(7)

③ 检索预测评分最高前N个缺陷失效模式，生成Top-N预测失效模式推荐集，并按照评分大小进行排序。

④ 检索知识图谱中与预测失效模式相关联的软件需求知识并与待测软件需求进行知识匹配筛选，提取关联复用用例作为最后的推荐结果输出。

(3)改进探索性测试会话生成。

文献[22]在雷达软件测试中使用探索性测试(Exploratory Testing)方法,通过建立脚本会话模型改善了由于软件需求文档质量不高对软件测试质量的影响，但由于选择初始会话脚本具有一定的随机性，从而可能导致测试执行效率的降低。

以UserCF为基础，改进了雷达软件探索性测试中的脚本会话模型，利用已建立的雷达软件测试知识图谱，提出了一种基于缺陷失效模式知识的协同推荐的脚本会话模型。该模型利用项目间缺陷失效模式产生人员行为习惯间的相似性，预测待测软件可能存在的其他未发现缺陷，并复用这些缺陷的关联测试用例建立探索性测试的初始脚本会话，从而启动探索性测试活动执行，如图7所示。

图7 基于缺陷失效模式知识的协同推荐的会话模型

图7中，在每一轮软件探索性测试执行前，测试人员首先依据项目背景知识采用基于用户的协同过滤推荐方法获得项目可能存在的尚未被检出的缺陷失效模式及其关联软件缺陷的推荐列表，建立预测缺陷子图谱，再结合被测项目的软件需求输入文档，经适用性筛选后得到测试复用用例推荐清单。测试执行人员根据该清单建立起探索性测试初始会话开展探索性测试执行。测试中新发现的软件缺陷知识被用于更新测试知识图谱，同时更新“缺陷产生人员-缺陷失效模式”评分矩阵，作为下一轮的测试用例协同推荐输入，并利用推荐输出结果建立新的初始会话。

利用雷达软件测试知识图谱开展的UserCF测试用例推荐复用，能够方便地获得类似项目的软件缺陷及其关联知识，改善了由于被测项目先验知识不足对测试设计产生的影响，因此可以更好地在敏捷测试中进行应用。

3 实例分析

3.1 语义相似度算法比较

本文选取了10个典型雷达软件配置项测试数据作为实验输入，评估CBOW模型在知识图谱实体匹配算法检索中的应用性能，同时选用了编辑距离(Levenshtein Distance)计算、Jaccad系数计算、TF和TF-IDF[23-24]等几种相似度计算常用算法进行效果比对。这些项目覆盖了雷达显控、数据处理、信号处理等多个分系统,各测试项目主要实体数量和知识图谱查询时间数据如表2所示。

表2 项目验证数据

根据式(4)将表2中各项目的所有实体与知识图谱中其他项目的同类知识进行属性相似度匹配，并由雷达领域专家进行匹配结果人工确认，计算平均精确率P和平均召回率R，并对计算结果进行统计。

(8)

(9)

式中，NTP为系统成功匹配的软件测试知识点对数；NFP为系统错误匹配的软件测试知识点对数；NFN为系统未查找出来的软件测试知识点对数。统计结果如图8所示。

图8 不同算法软件测试实体相似度匹配性能

图8表明，本文选用的CBOW综合加权算法在提高匹配精度的同时，也获得了较好的召回率，且无论是精确率还是召回率都要优于其他几种算法，能够较好地满足工程应用需求。

3.2 实体集体相似度计算

以表2中的需求知识实体集合为输入，分别选择知识属性相似度计算和知识集体相似度计算两种算法进行实验，其精确率和召回率如图9所示。

图9 不同θr值对应的需求相似度匹配性能

由数据分析可见，随着判断门限θr的增加，两者的精确率和召回率变化趋势一致，相比仅使用知识属性文本进行相似度计算，采用知识集体相似度计算可以获得更高的精确率和召回率。

3.3 用户协同推荐结果统计

本文使用传统的用户协同过滤算法作为核心推荐算法。从雷达软件测试知识图谱中提取“人员-软件失效模式”关系数据进行用户协同推荐算法效果验证实验，实验数据集包括651个失效模式实体和77个缺陷产生人员信息。同时，选取美国明尼苏达大学Group Lens 项目研究组公布的经典的MovieLens 1M数据集做比对参考，该数据集包含有943个用户对1682部电影的10万多条评分。

实验时，将两个数据集分别按照4∶1的比例分为训练集和测试集两部分，利用训练集输出推荐结果，并使用测试集对实验结果进行验证。使用式(10)计算平均绝对误差(MAE)，对推荐结果进行性能统计。

(10)

式中，ri,k为用户ui对物品ik的真实评分；τ为推荐的物品。统计结果如图10所示。

图10 协同推荐性能评估

图10中的横坐标为最近邻缺陷产生人员个数，随着其值的增加，MAE值呈下降趋势。与MovieLens 1M数据集相比，其对缺陷失效模式的推荐性能有所下降，这主要是由两个数据源的稀疏度差异造成的。

4 结束语

本文设计了一种基于知识图谱的雷达软件测试用例复用方法，利用原有雷达软件测试管理系统中的大量历史测试数据建立雷达软件测试知识图谱。通过知识图谱语义网络的知识实体匹配技术实现了对雷达软件测试复用用例的高效检索，不仅提高了一般雷达软件测试活动的开发效率，也可以应用在雷达软件探索性测试中，更好地发挥出敏捷测试的优势。通过对所在单位近期使用基于雷达软件测试知识图谱开展用例复用设计的67个测试项目进行复用情况统计，平均用例复用率达到了81%，累计节约测试用例设计开销时间约为63%。

由于本文用于构建知识图谱的大量基础数据在测试管理平台中已进行了结构化存储，因此知识的抽取工作相对简化，实际中还有大量来源于测试设计文档和缺陷报告等半结构化和非结构化数据可被利用，对这些数据的知识抽取和加工需要进一步研究。此外，如何利用雷达软件测试知识图谱开展更多扩展应用，以及对测试用例协同推荐算法的优化改进仍有较多工作需要继续进行研究。