APP下载

基于深度学习的视频图像实时背景替换方法

2021-12-08李志远雷为民谢天植

小型微型计算机系统 2021年12期
关键词:前景背景区域

李志远,雷为民,张 伟,谢天植

(东北大学 计算机科学与工程学院,沈阳 110169) E-mail:leiweimin@ise.neu.edu.cn

1 引 言

随着网络传输技术的发展,尤其是5G技术的商用,实时视频会话成为了个人交际和企业沟通的重要手段.而在视频会议及其他视频会话场景下,为了不泄露用户的隐私,特别是用户不想暴露的位置或环境细节信息,背景替换技术显得尤为重要.背景替换问题的实质是语义分割的重要应用方向之一——人像分割.人像分割与像素级别分类的语义分割不同,人像分割只需将图像像素分割为两个类别,即前景和背景,称之为掩码图像(前景用白色表示,背景用黑色表示),与将人像从图片中提取出来的抠图方法基本相似,如泊松抠图[1]、贝叶斯抠图[2]和GrabCut抠图[3]等.由于实时视频会话的背景替换问题对精度和速度都有较高的要求,而传统的抠图方法虽然获取的前景精度较高,但是这种方法主要依赖于额外三分图的输入,且需要人工干预,不能实现“无监督”式的自动化抠图,因此不能满足实时视频会话类业务的要求.

目前大部分的语义分割网络在具有较高平均交并比(Mean Intersection over Union,MIoU)的同时,难以达到实时处理的速度要求.现有的一些语义分割网络为了提升精度往往增加层数,降低了图像的分割速度;另外一些网络采用轻量级网络或降低输入图片分辨率等方式以提高处理速度,然而却降低了分割的精度.实时视频会话场景下,为了给用户提供较好的体验质量(Quality of Experience,QoE),背景替换……

登录APP查看全文

猜你喜欢

前景背景区域
“新四化”背景下汽车NVH的发展趋势
我国旅游房地产开发前景的探讨
法德轴心的重启及前景
《论持久战》的写作背景
离岸央票:需求与前景
晚清外语翻译人才培养的背景
量子纠缠的来历及应用前景
关于四色猜想
分区域
基于严重区域的多PCC点暂降频次估计