APP下载

基于深度排序学习的脚本录制动作参数获取方法

2025-08-06王鹏宇钱巨

计算技术与自动化 2025年2期
关键词:计算机视觉深度学习

摘 要:在GUI可视化测试脚本中一般将目标控件图像作为点击动作的参数。在单个摄像机录制环境下构建GUI可视化测试脚本时,存在点击动作的目标控件图像获取准确率低的问题。为此,提出了一种基于深度排序学习的点击动作参数获取方法。在本方法中,利用计算机视觉技术来提取视频中指尖移动和屏幕变化等特征以获取更准确的用户与设备交互的触控区域,将该区域内包含的控件作为排序对象,使用深度排序学习算法对这些候选控件进行评分和排序,确保最符合预期的控件被选中作为点击目标控件。实验结果表明,使用该方法在单摄视频中获取点击动作参数具有较高的准确率。

关键词:GUI测试;可视化脚本;目标控件定位;计算机视觉;深度学习;排序学习

中图分类号:TP311文献标识码:A

Script Recording Method for Action Parameter Acquisition

Based on Deep Learning and Learning to Rank

WANG Pengyu, QIAN Ju

(College of Computer Science and Technology, Nanjing University of Aeronautics

and Astronautics, Nanjing, Jiangsu 210016, China)

Abstract:In GUI visualization test scripts, the target control image is typically used as a parameter for the click action. When creating GUI visualization test scripts in a single camera recording environment, there is a challenge in achieving high accuracy when capturing target control images for click actions. A method for acquiring click action parameters based on deep learning and learning to rank algorithms is proposed to address the aforementioned issues. This method utilizes computer vision technology to extract features such as fingertip movement and screen changes in videos, enabling more accurate determination of touch areas for user device interaction. The controls in this area are used for sorting objects, and deep learning and learning to rank algorithms are employed to score and arrange these candidate controls to ensure that the most relevant control is selected as the target for clicking. The experimental results demonstrate that utilizing this method to acquire click action parameters in single shot videos yields high accuracy.

Key words:GUI testing;visual script; target control location; computer vision; deep learning; learning to rank

GUI测试[1]对于确保软件界面的正确性、功能的可靠性以及用户体验的良好性起着关键作用。自动化的GUI测试可以显著提高测试效率,同时减少人力资源和时间投入,使得软件测试过程更加高效和可靠。

脚本自动录制是实现自动化GUI测试[2]的关键步骤。在这个过程中,自动化测试工具可以将人工测试视频转化为可视化测试脚本,这些脚本与视频中的操作一一对应。然后,可以根据这些脚本按照指令顺序执行,模拟人类进行测试的过程。如果脚本录制时出现错误,就会直接影响测试结果的准确性。在脚本录制过程中,获取点击动作的参数是其中一个较为困难的方面,尤其是在基于摄像头的非侵入式脚本录制中,如RoScript[4]方法和RoScript3D[5]方法。……

登录APP查看全文

猜你喜欢

计算机视觉深度学习
基于图像识别的吸烟行为检测研究综述
基于改进残差网络的驾驶员异常情绪识别方法
有体验的学习才是有意义的学习
电子商务中基于深度学习的虚假交易识别研究
MOOC与翻转课堂融合的深度学习场域建构
大数据技术在反恐怖主义中的应用展望
深度学习算法应用于岩石图像处理的可行性研究
基于深度卷积网络的人脸年龄分析算法与实现