张中洋

(四川大学计算机学院，成都 610065)

0 引言

计算机技术的发展极大地改变了人类的工作生活方式，随着人们对于各类软件产品的需求日益增长，围绕各类应用程序的GUI(图形用户界面)开发工作变得越来越繁琐、具有挑战性。目前流行的面向应用程序GUI开发的首要步骤是起草和设计原型图，设计团队通过高保真像素图或低保真的手绘稿向开发人员表达GUI的内容和样式，开发人员不但需要准确掌握GUI界面中的各个组件的位置和大小，而且必须充分理解该组件在GUI界面中的设计意图。在识别GUI组件的过程中，产品原型需要经历的多次迭代[1]极大地增加了设计人员与开发人员的劳动成本和沟通成本，费时费力，且设计人员与开发人员普遍存在的源于各自背景领域知识带来的认知鸿沟，开发人员难免出现对界面组件错误识别的情况，从而导致在开发阶段的设计违规[2]，最后实现结果与设计预期不符，白白浪费了人力物力。

另外，在应用程序正式发布并投入使用之前，我们需要从相应的GUI界面为起点，对GUI中的关键组件的样式和功能进行充分测试。由于GUI组件视觉样式和风格的快速迭代变化，且对应的测试规则和交互方式也可能有多种组合[3]，以往通过人工检查或手动编写测试规则去定位并识别关键组件的方式受到人力、时间等资源问题的限制，传统的人工识别GUI组件方法难以支持有效的测试。

目前，针对传统方法的问题和局限，不少研究人员和相关从业者开始研究如何通过自动化的方法准确地识别GUI中的组件。……