范益

（四川大学计算机学院，成都610065）

0 引言

现在大多数的软件开发都是以GUI 设计为中心，通过优美的界面设计和容易理解的用户体验来吸引用户，保证产品竞争力。现在已经有许多研究来帮助设计师和开发人员快速简单地完成GUI 设计，如GUI 自动测试[1-2]、GUI 检索[3-4]、代码生成[5-6]，而识别出GUI 元素组件是这些工程任务重要的一步。识别GUI 元素可以通过检测工具或者是基于像素的方法。基于工具的方法需要搭建运行环境并获得应用软件API 的访问权限，是侵入性的和受限的。而基于像素的方法具有跨平台的特性，可以广泛地使用在各个新应用软件中。因此，本文只调研了基于像素的方法，现有的方法主要通过传统的计算机视觉和深度学习的方法来识别和定位GUI 组件。随着深度学习发展，目标检测技术在自然图像中已经取得了重大的成功，目标检测技术在GUI 识别任务中极具潜力，因此本文在此方面着力进行了归纳和整理，说明了现有方法取得的成功和不足。另外，介绍了常用数据集，讨论了GUI 识别与自然图像识别的不同以及现有方法存在的问题，并在此基础上对未来的研究方向提出了建议和展望。

1 研究现状

1.1 数据集

（1）Rico 数据集

Rico[3]数据集包含了来自27 个类别的超过9.3 万个Android 应用程序的设计数据。它公开了超过66k个不重复UI 屏幕截图，以及其对应的视觉的、文本的、结构的和交互设计属性。Rico 数据集创建用于支持五类数据驱动应用：设计搜索、UI 布局生成、UI 代码生成、用户交互建模和用户感知预测。……