徐守坤,吉晨晨,倪楚涵,李 宁

(常州大学 信息科学与工程学院 数理学院,江苏 常州 213164)

0 概述

图像描述生成是图像理解领域的研究热点,而对图像场景空间关系的准确描述在图像理解中至关重要。化工厂、建筑工地等施工场景环境多变,存在多种不安全因素,其中人和危险物的空间关系是一个重要方面,例如人站在脚手架上或塔吊机的机臂下方时就存在安全隐患。对图像施工场景中空间关系的准确描述可为施工管理提供理论指导和技术支持,也有助于提高施工现场安全管理水平,防范和降低安全隐患,保证现场的安全性。因此,研究施工场景中空间关系的图像描述具有重要意义。目前,关于建筑施工的研究主要侧重于对不安全行为的潜因分析和施工现场的安全行为检测,关于建筑施工场景图像描述的研究较少。

本文提出一种基于施工场景的图像描述生成模型。针对施工场景需要检测施工人员的安全状态、人员与危险物的空间位置关系,以及最终生成描述语句的特殊性,进行目标检测与关系检测,基于模板和规则相结合的方法构建针对施工场景的图像描述模型,重点研究对象之间的空间关系,并融合目标检测、空间关系语义建模、基于规则和模板的文本生成技术对多个场景进行实验验证。

1 相关工作

传统目标检测方法大部分基于低层图像特征,如图像对比度[1-2]、颜色[3-4]和纹理[5-7]等。近年来,基于深度学习的目标检测方法,特别是基于卷积神经网络(CNNs)的目标检测方法,较传统目标检测方法取得更优异的效果。……