周 亮，袁 哲

(南京邮电大学 通信与信息工程学院，江苏 南京 210003)

近年来随着无线通信和多媒体技术的快速发展，现有的多媒体服务如4k超高清视频、沉浸式音频等已经基本满足了用户的视听需求，越来越多的用户希望获得视听以外的感观体验，如触觉等。显然，同时传输视频、音频和触觉信号的跨模态应用能够通过触感的互动给用户提供更加沉浸式的体验［1-3］。因此可以预见，跨模态服务会成为未来的多媒体业务的主流［4］。许多多媒体业务离不开音视触信号的联合传输，比如目前日益兴起的VR电影、游戏，远程医疗、教育等。然而，增加了触觉这一模态后，新型多媒体服务无论是所需处理的数据量还是业务需求都给现有的多媒体系统提出了巨大的挑战［5］。因此，迫切需要设计一种针对多模态码流的编码方案以支持跨模态通信。

跨模态编码其本质是利用多模态码流间的语义相关性进行的联合编码，是实现跨模态通信的关键技术之一。这种融合了信息压缩和语义分析的信息处理技术，其原理表现为同一对象不同模态信号本质上具有深层次的语义关联性、一致性［6］，这些深层次的语义信息可以提供丰富的辅助信息用于提高数据压缩的性能［7］。换句话说，如果可以充分利用这些固有语义，则可以将从其他模态获得本模态的数据信息用于重构信号。因此，跨模态编码的提出为研究多媒体通信编码指出了一个新的方向，使原先独立的多媒体码流得到了有机的统一。……