李志欣 魏海洋 张灿龙 马慧芳 史忠植

1(广西多源信息挖掘与安全重点实验室(广西师范大学) 广西桂林 541004) 2(西北师范大学计算机科学与工程学院 兰州 730070) 3(中国科学院智能信息处理重点实验室(中国科学院计算技术研究所) 北京 100190)

随着互联网与信息技术的发展，多媒体数据呈现爆炸性增长的趋势，从各种信息源(如网络、新闻、相机等)上可获得的图像数据越来越多.由于图像数据具有海量特性和非结构化特性，如何快速有效地组织、存储和检索图像，成为重要的研究课题，而完备的图像语义理解则是其中的关键问题[1].尽管从信息源上获取的大多数图像并没有对应的语义描述，但人类仍然能够在很大程度上理解它们.也就是说，人类很容易就能完成涉及复杂视觉识别以及场景理解的各种任务、涉及自然语言交流的各种任务以及2种模态之间的转换任务.例如，只需快速浏览图像就足以让人指出并描述关于视觉场景的大量细节，而这对于机器来说目前仍然是难以完成的任务.为了实现图像数据的结构化和半结构化，从语义上更完备地理解图像数据，从而进一步研究更符合人类感知的视觉智能，迫切需要机器能够为给定图像自动地生成自然语言描述.

计算机视觉研究如何理解图像和视频，而自然语言处理研究如何分析和生成文本.尽管这2个领域的研究都采用类似的人工智能和机器学习方法，但在很长一段时间里……