云南大学信息学院

“视觉媒体与文化计算学科平台”是定位在计算机图形学、图像处理、计算机视觉、机器学习等基础应用学科的理论方法研究之上，深度上向学科新（兴）、经（典）、交（叉）的问题领域深入探索，夯实学科基础、提升学科地位；广度上突显云南地域特点，推动图形图像、虚拟现实、视觉媒体技术等向民族文化、数字媒体、智慧城镇、科学计算及可视化等应用领域扩展、形成有特色、有影响、有效益的学科增长点。

平台在基础理论和技术研究方面，覆盖3D扫描和建模、基于图像的建模和绘制、非真实绘制；图像分析与理解、图像融合和修复；视觉计算、情感分析；基于机器学习和深度学习的分类识别、风格迁移和图形图像生成等学科方向的研究。历经20年的积累和拓展，有良好的基础架构和学术储备，团队不断地向更高的学术目标迈进。平台在社会服务与产学研用方面，主要面向文化资源的数字保护和利用开发、民族文化数字合成、VR&AR漫游、大规模3D扫描与3D动作捕获，以及天文、医学、交通等交叉学科的视觉计算与可视化应用。平台定位符合国家和云南省的战略发展规划。

在师资队伍/专业建设、人才培养方面，平台努力培养和打造云南省乃至国内 “视觉媒体与文化计算”领域一流的师资队伍和科研团队。通过多年来实践 “图形图像课程群” 的本科培养模式，以及“项目为依托、问题为导向”的研究生培养模式，向浙大、复旦、川大、东南大学、香港中文大学、澳门科技大学等著名高校，以及百度、腾讯、华为、阿里等著名企业输送许多优秀的本领域人才。本平台已为云南省培养了中青年学术带头人4人、云南省高层次人才培养支持计划“云岭学者”1人、“青年拔尖人才”5人以及各高校青年学术骨干若干人。

平台努力提升云南大学信息学科在国际国内的影响力，推进云南大学“计算机科学与技术”和“信息与通信工程”两个一级学科博士点的整体水平，促进云南大学“双一流 ”建设。同时，平台建设促进不同领域学科的协同创新与纵深发展，研究成果的应用将促进旅游、文化、服务、网络等商业的发展，有利于将云南省建设成为旅游大省、生态大省、文明大省，有利于弘扬云南少数民族文化，宣传民族文化优秀成果，增强民族凝聚力和文化认同感，有利于维系边疆稳定、促进民族团结。

主要研究方向及简介

1 民族文化数字化

开创性地对云南民族风格视觉艺术的数字合成方法进行探索研究，构建了云南重彩画图形元素库、云南绝版套色木刻刻痕库、云南蜡染图形元素库；收集整理了云南少数民族绘画、中西方绘画作品；建立了东巴画图案素材库、图像美感品质评价等多个数据集，提出一系列关键技术和算法，实现了云南重彩画绘制系统、云南绝版套色木刻版画的数字模拟合成系统、云南烙画艺术仿真系统、云南蜡染数字合成系统，东巴画图案白描系统，刺绣艺术风格模拟合成系统，对民族文化的数字保护和传承起到重要作用。

代表性成果如下：

① 木刻版画风格转换的深度学习算法，计算机辅助设计与图形学学报, 2020 , 32 ( 11 ): 1804-1812.

② 蜡染冰纹生成与染色模拟，中国科学:信息科学, 2019, 49(02):45-57.

③ 重要度引导的抽象艺术风格绘制, 计算机辅助设计与图形学学报, Vol.27(5), 2015.5 pp:915-923.

④ CNN Based Embroidery Style Rendering, International Journal of Pattern Recognition and Artificial Intelligence, 2020, 34(14).

⑤ Aesthetic Art Simulation for Embroidery Style, Multimedia Tools Application, 2019, 78(1): 995-1016.

2 图像情感分析与美感评价

提出了基于深度度量学习的图像情感分析方法，充分考虑情感类别之间的关系，使模型学习到更加具有鉴别能力的深度嵌入特征。通过域自适应方法，建立一致性约束，实现对目标域情感数据集的分类。提出了基于共享参数和循环注意力多层次特征融合的多模态情感分析框架；构建了包含图像美感分值与情感分布的数据集Flickr_EA，设计了基于图像全局、分类和情感美感分层特征融合的美感识别算法网络框架。通过大量的实验证明了所提情感分析框架在多模态情感识别上的有效性；验证了情感辅助图像美感识别的可行性。

代表性成果如下：

① 基于深度学习的少数民族绘画情感分析方法[J]. 中国科学:信息科学, 2019, 49(02):90-101.

② 基于多特征描述的双模式学习图像情感识别. CAD&CG,2019.

③ Image emotion analysis based on category distance relation via deep metric learning. Computer Graphics International 2021.

④ Weakly Supervised Learning of Image Emotion Analysis Based on Cross-spatial Pooling. Biometric Recognition. Lecture Notes in Computer Science, 2019, 11818: 116-125.

⑤ Multi-Feature Fusion for Multimodal Attentive Sentiment Analysis[C]// MMAsia '19: ACM Multimedia Asia. ACM, 2019.

3 计算机视觉与图像融合

对生成对抗网络以及其变体进行了结构上的改进，提出了一个内容-风格自适应规范化函数。将改进的结构应用在肖像风格化绘制、妆容迁移、图像上色、图像翻译、字体风格迁移和虚拟试衣等研究领域。通过对不同视觉成像设备机理分析，研究不同视觉效果下的高效目标表征方法，提出了基于显著性目标检测的图像增强模型及基于视觉贡献度估计的多源图像融合模型，为进一步的图像视觉任务提供依据。

代表性成果如下：

① Virtual Try-on Network with Attribute Transformation and Local Rendering," in IEEE Transactions on Multimedia, 2021.

②基于多特征融合的多尺度服装图像精准化检索, 计算机学报, 2020, 43(4): 740-754.

③ Regions Preserving Edge Enhancement for Multisensor-Based Medical Image Fusion. IEEE Transactions on Instrumentation and Measurement, vol.70, pp.1-13, 2021.

④ Non-Local Texture Optimization With Wasserstein Regularization Under Convolutional Neural Network, IEEE Transactions on Multimedia, vol. 21, no. 6, pp. 1437-1449, June 2019.

⑤ FuseGAN: Learning to Fuse Multi-Focus Image via Conditional Generative Adversarial Network. IEEE Transactions on Multimedia, vol.21, pp.1982-1996. 2019.

4 图像的修复和复原

针对图像修复易受纹理信息影响的问题，提出基于图像结构成分计算样本块优先级的图像修复方法，以及基于多损失函数训练的深度学习图像修复方法，这些工作不仅提高了被修复图像的视觉质量，也为解决小样本下壁画的虚拟修复、超分辨率以及图像复原等问题提供了新的思路。

代表性成果如下：

① 利用图像结构成分的优先块匹配图像修复方法，计算机辅助设计与图形学学报，2019 ,31 (5 ):821-830.

② 联合语义边缘与有向全变分的纹理-结构分解, 计算机辅助设计与图形学学报, 2019, 31(10): 1786-1794.

③ Covariance-based total variation optimization for structure-texture decomposition, Multimedia tools and applications, 2018，77(13): pp 16985-17005.

④ A Single Historical Painting Super-Resolution via Reference-based Zero-Shot Network, International Journal of Computational Intelligence Systems, 2021.

⑤ Adaptive color restoration and detail retention for image enhancement， IET Image Process. 2021:1-13.