姜 珊，胡贵军，王海燕，李 莉

（吉林大学通信工程学院，吉林长春130012）

基于彩色二维条码流的Display-to-Camera通信系统

姜 珊，胡贵军，王海燕，李 莉

（吉林大学通信工程学院，吉林长春130012）

为了满足人们的多元化通信需求，构建可靠的低成本通信链路，本文利用日常生活中的屏幕显示设备和照相摄像设备，构建了新型Display-to-Camera通信系统.描述了系统基本链路并建立系统模型，阐述了收发机实现框架和关键技术；搭建实验系统，设计了符合显示屏显示特性的新型彩色条码流，用以承载信息；接收端利用计算机图像处理技术，匹配、跟踪识别信号区域，过滤系统背景噪声；利用帧分类和颜色增强技术抑制了系统符号间干扰，保证了彩色条码的正确识别.实验系统实现了速率287kbit/s的数据传输，解码正确率99.8%.

可见光通信；Display-to-Camera通信；系统设计；图像处理

1 引言

近几年来，随着人们对获取信息的即时性和多元化需求日益增加，移动网络应用的广度和深度正以人们预想不到的速度迅猛发展.人们对移动通信的方便性和灵活性不断提出更高要求.特别在固定设备与移动通信网络相连接、近距离移动设备的低功耗通信等方面，现有的技术很难真正满足人们的需求.如何有效地扩充现有移动通信范畴，也成为一项新颖的课题，吸引了国内外学者的目光［1～5］.

与此同时，随着经济和科技的发展，屏幕显示设备和照相摄像设备成为我们生活中触手可及的日常用品.电子广告牌、电脑显示器、信息亭、移动显示屏等发光设备随处可见［6］.手机、笔记本电脑、电子书、音乐播放器和手持游戏机等产品也普遍集成了摄像功能.这些显示设备和摄像机，可以提供安全、直观、易于实现的通信接口［7］，构成一种新型的低成本可见光通信链路.由于可见光具有短波频谱的高度定向特性，所以该通信链路具有很强的抗干扰能力，在密集的高争用场景下可以建立多条并行链路，显著提高通信能力［8］.另一方面，采用照相摄像机作为接收设备，接收信号的有效面积以数量级的形式提高［9］，大大降低了原有可见光通信的设备对准难度，使可见光通信具备了更加广阔的移动应用前景.同时，相比于传统的射频及可见光通信器件，显示屏对摄像机的通信链路小巧且易于控制，可以在一定程度上满足安全通信的需求［10］.

本文提出了一种基于彩色二维条码流的Displayto-Camera通信系统，用显示屏部分区域的阵列发光像素点作为光发射机，摄像机的图像传感器的多个像素点作为光接收机，构建一个阵列式的可见光通信系统.本文论述了系统实现的关键技术及解决方案，成功地利用该通信系统实现了 66.1KB Word文件的有效传输，系统传输速率为287kbit/s，解码正确率99.8%.

2 Display-to-Camera通信系统概述

Display-to-Camera通信系统的基本链路如图1所示.系统使用显示屏作为发送设备：首先将所传输的信号调制、编码，转化为Display-to-Camera通信链路可以承载的多像素二维彩色图像格式；然后将信息图像分组打包，组成视频流；最后由显示屏中的发光阵列像素点发送可见光信号.在接收端，系统采用摄像机作为接收设备：由摄像头拍摄包含信息区域的图像，其广角视野突破了过去可见光移动通信系统的技术瓶颈，也大大扩展了系统有效通道数目；随后使用图像处理算法实现接收端的信号检测与估计，这种传输模式，是计算机图像处理技术与可见光通信领域交叉研究的一次成功的尝试.

要完成信息传输，涉及发送端信号条码流生成，接收端信号区域的匹配识别和跟踪提取，以及接收信号模糊估计和颜色增强等技术.基于彩色二维条码流的Display-to-Camera通信系统的具体结构如图2所示.其中，发送端的信息发送过程分为条码生成和条码流生成模块.系统接收端也可分为图像预处理模块和条码识别模块.

在发送端，由条码生成模块对源信号进行冗余校验编码；再根据显示设备的颜色显示特性，对信号进行颜色编码，将通信控制字段和信息数据填充至相应阵列位置空间中，形成彩色二维可见条码.随后在条码流生成模块中，插入含有必要系统及信道信息的训练序列帧，与多个彩色条码数据帧共同组成条码视频流，由显示屏设备发送.

在接收端，摄像机拍摄的视频拆分为图像帧后，使用计算机图像处理中的特征匹配［11］算法，计算图像特征向量，匹配识别训练序列帧图像，定位信号区域；并在随后各帧中采用光流法［12］估计信号区域运动趋势，实现信号区域的快速分割提取，达到抑制带外噪声的目的；通过图像的匹配和跟踪识别参数，计算通信系统的仿射变换参数［13］，恢复图像在接收端成像时的投影失真；同时，对于图像模糊引起的信号码间干扰和符号间干扰，使用一种简单易行的模糊评估函数进行帧分类［14］，计算判决阈值，增强接收端彩色图像对比度.然后，再利用条码识别技术，对信号区域进行线性扫描和角点检测［15］，从信号区域的图像中，检测、提取信号并解调解码，恢复为原始信号.

3 Display-to-Camera通信系统的关键技术

3.1信号编码与条码流形成技术

相比于传统可见光发送设备，显示屏易于获取，驱动简单，可以利用显卡以图像的形式快速显示数据码字阵列.事实上，由显示屏显示二维码传递URL链接或少量文字信息的技术已经广泛应用到我们的生活中.但是二维码传递信息的容量一般在几百bit，要想真正实现通信，发送端还需探索新的技术.

对于显示屏设备的发送容量限制问题，有两个扩展方案：一是使用颜色编码扩展系统容量，利用可见光的多个颜色频谱传递更多的信息；二是使用视频形式传递的多帧条码流代替原有的固定条码，在时域扩展系统容量，只要有足够的帧数，条码流可以传递无限制容量的信息.在这两个方案的基础上，形成了本系统传递信息所使用的彩色条码流.

该条码流由串行输出的彩色条码组成，单帧彩色条码生成时存储的数据格式则是经过颜色编码的二进制数.扩展的颜色编码技术考虑到一般发送设备显示屏是RGB三色光源发光、点阵显示的设备，将码字按表1映射为不同颜色的显示信号单元.不同颜色的信号单元密集排列，将形成彩色棋盘格状的图像.

彩色条码的封装参考QR码国际标准，在指定数据位插入图像控制字段后，形成方形的彩色条码，其结构如图3所示.其中图像控制字段在形成条码时聚合而成的特定图形统称为功能图形，利用这些功能图形，可以快速建立二维码的识别网格，精确定位每一个小的信号单元.

表1　数据码字的颜色映射表

将源信号封装为多个彩色条码图像后，利用编程语言中的创建视频句柄，将多帧彩色条码编辑为一个可播放的彩色条码流视频.每一帧数据即为条码流中的一个时间片，每一个条码流可以视为一个多帧串行的数据包.包头帧的数据部分主要为接收端已知的训练序列，以保证接收端可以识别包头的基本图像特征，同时可添加少量握手信息、数据编号及确认等信息.

3.2信号区域的匹配识别技术

摄像机作为系统接收设备，内部感光元件阵列分布，其总的接收范围远大于原有的光电转换设备，使得可见光通信的移动化成为了可能.但是，系统的移动使得信号在接收端成像时信号区域产生尺度大小改变、旋转、仿射形变、背景噪声等问题，增大了信号识别的难度.同时，摄像机视野内情况较为复杂，拍摄到的图像除传输信号外还有大量无关对象的影像，如何去除与信号无关的背景噪声，对投影图像中的信号区域进行正确的识别分割，是Display-to-Camera通信系统的关键技术之一.

本论文中，条码流的包头即第1帧为接收端已知的训练序列帧，将其与摄像机捕捉到的图像进行匹配识别，可以确定接收信号条码流的第1帧，初步判定并校正信号区域.具体识别采用尺度不变特征变换匹配（Scale Invariant Feature Transform，SIFT）算法，其基本思想是寻找图像中对亮度变化、尺度缩放、旋转保持不变的特征点；为每个特征点构建唯一的描述参数.再将训练序列图像和第1帧接收信号图像中参数一致的特征点一一对应，即可确定信号区域，完成信号区域的匹配识别.

特征点对亮度变化保持不变，即对图像平均阈值具有最大对比度，因此可选取图像中的局部最大值作为候选特征点.同时，由于信号的归一化高斯微分具有尺度不变性，如特征点在源信号图像尺度空间中为局部最大值，在接收信号图像尺度空间中也为最大值.所以SIFT算法采用高斯核函数建立如式（1）的尺度空间L，筛选出高斯差分图像中的极值点作为对亮度变化和尺度变化不敏感的特征点，并确定了特征点的位置和所处尺度空间.

其中x，y为像素位置参数，I（x，y）为待处理图像像素强度矩阵，σ为尺度参数.

计算尺度空间中每一个特征点的梯度模值和梯度方向向量：

以模值最大的梯度方向作为SIFT特征点的主方向，可以保证信号区域匹配的旋转不变性.至此，每个SIFT特征点可以由位置、所处尺度空间和方向三个参数唯一确认.利用这些特征点进行信号区域匹配识别的结果和分割出的信号区域如图4所示.

对于信号区域的形变问题，从图像匹配原理及图4的结果可以看出，已知训练序列条码图像的特征点和接收图像的特征点是一一对应的，它们之间的匹配关系可以由式（4）表示：

其中（x，y）为发送端训练序列条码图像中某点坐标，（x′，y′）为该点在接收端图像中相对应的SIFT特征点.为线性变换参数，为平移参数，为透视变换参数，w为缩放参数.

3.3信号区域的跟踪提取技术

在移动系统的通信过程中，图像投影区域是不断变化的，在接收端体现为连贯运动的图像流，而受到算法运行时间和训练序列代价等条件的制约，SIFT算法只能匹配识别出第1帧接收图像的信号区域，如图5 （a）中，白色边框为由SIFT算法确定信号区域边缘，该边缘与第20帧接收图像的实际信号区域并不吻合（如图5（b））.只使用SIFT算法匹配的信号区域边缘信息进行图像分割，将导致如图5（c）所示的信号损伤.因此，为了保证信号区域的正确提取，在信号传输过程中，对信号区域的变化情况进行实时跟踪提取也是系统的一项关键技术.

变化的信号投影区域在接收端连贯运动的速度场称为光流场，光流场计算的约束条件为：对于t时刻位于（x，y）处的运动的点，其灰度值在很短时间间隔内不变，即：

u和v为t时刻点（x，y）沿x和y方向的速度分量，即光流.式（5）泰勒级数展开可得光流约束方程：

式（6）为二元方程，无法同时求解u和v两个分量，本文采用Lucas-Kanade提出的（LK）光流算法对信号区域进行运动估计，在空间最小邻域内，采用加权最小二乘法进行估计.

LK稀疏光流法只需选取图像中的有限几个像素点，得出其运动的光流场估计，就可以反应图像内特定对象的运动情况，大大提高了算法运算速度.在本系统中，每隔五帧利用LK光流法对信号区域进行一次跟踪运算，可以进一步减少系统运算量.

计算第15帧到第20帧图像内信号投影区域变化得出的光流场，即在这五帧图像传输时间内信号区域四个角点运动的平均速度大小如图6（a）所示.由此，确定了实际信号区域边缘如图6（b）.从图6（c）可以看出，原本错误分割的第20帧信号（如图5（c））得到校正，整体数据条码流的信号区域均能正确提取.

3.4帧分类技术

根据奈奎斯特定理，为了确保屏幕上所显示的彩色条码能被采样信号唯一表示，从样值序列中无失真的恢复出原始信号，摄像机的捕捉帧频率至少应该为屏幕刷新频率的二倍.即发送端发送编号为N的图像时，接收端同时接收到两帧编号为2N-1和2N的图像.因此，在理想状况下，编号1，3，…，2N-1和2，4，…，2N的两组接收图像都可以分别恢复出完整的源信号，我们分别称之为奇数组和偶数组.

但是在实际系统中，发送端与接收端存在时延，如图7所示.对于上述的两组图像帧，其中一组将恰好是发送端屏幕刷新时刻的图像，该组中每一帧图像都是刷新前后两帧源信号图像的叠加，存在符号间干扰.换言之，对于所有接收到的图像帧，虽然奇数组和偶数组对应同一信息，但图像的模糊度不同.如图8（a）所示，一帧彩色条码，接收设备将得到图8（b）（c）两帧图像，其中一帧由于符号间干扰导致了比较明显的模糊.

模糊度较高的图像增加了系统图像处理技术的开销、复杂度和系统误码率.因此，在预处理中，如何对接收信号进行分类，无损的恢复出源信号，也是一个关键问题.

本系统利用信号的分布状态对接收帧进行分类.由于本文所使用的信号传输格式为RGB彩色条码，在理想状态下，不考虑显示屏显色误差，图像RGB是取值为（0，255）的二值变量.而图像模糊部分RGB值是两帧源信号图像的平均，取值为0～255范围内的某一中间值，因此，我们可以利用图像像素的RGB颜色偏移度作为该像素点的模糊度评估函数：

在整张图像中，可以以一定的抽样比抽取像素点，计算模糊度评估函数，求平均值得到该图像的模糊度.

传输一个Word文件作为测试文件，对奇数组和偶数组图像以1/8的抽样比抽取像素点求模糊度，作出如图9所示的模糊度分布函数，判断两个分布函数中心，将分布中心较小的组保留，另一组记做丢弃组.

对两组图像分别解码后的数据显示，由保留组所携带的信息仍可正确显示，而丢弃组所携带的信息显示为乱码，如图10所示.

3.5颜色增强技术

在实际系统中，由于显示屏和摄像头之间存在的色差缺憾，背景光的干扰，以及图像投影过程中的对比度变化，帧分类中保留组图像的RGB颜色取值也存在衰减和偏移情况（如图11），按照表1的映射关系解码会出现颜色的错误映射.因此，需要对接收端图像进行RGB预判决，增强图像颜色亮度和对比度，保证彩色条码的正确解码.

由于RGB三个颜色分量的衰减和偏移情况不同，可以根据上文的模糊度评估函数的平均值分别选取RGB判决阈值TB：

其中模糊度评估函数B的下标为像素标记，在式（7）中，min（|255-i（x，y）|，i（x，y））取值为i（x，y）的像素标记为｛0｝，剩余像素标记为｛255｝.

这种求判决阈值的优点是在帧分类算法的基础上，无需多余的计算，即可获得比较有针对性的全局阈值，但是也有可能导致部分对象像素或者背景像素丢失.因此，在传输过程中，每间隔一段时间可以提取一帧图像，做如图11所示的颜色直方图，取直方图两个最高峰中间的峰谷最低处对应值作为判决阈值TH，再利用近似一维平均法求出全图判决阈值T：

对RGB色彩分量进行预判决前后信号区域如图12所示，可以明显看出图像颜色亮度的和对比度的增强.

在颜色增强前后，对保留组和丢弃组所携带的信息分别进行解码，可以得出解码准确率数字如下表2.

表2　不同条件下系统解码准确率

4 实验结果与性能分析

采用方正液晶显示屏作为发送设备，三星galaxy S4手机摄像头为接收装置建立实验系统.显示屏刷新频率60Hz，点距0.311mm，分辨率1440×900，发送端每帧条码图像所使用的显示屏液晶单元数目为291×291像素.每帧图像的信息容量是19.1kbit，发送频率15fps，系统传输速率287kbit/s.摄像头拍摄视频格式为MP4格式，摄像捕捉频率30fps.分辨率1280×720.

发送端条码生成模块对待传输的66.1KB的Word测试文件进行编码和颜色映射，绘制彩色条码图像.再加入训练序列图像，生成条码流，结果如图13所示.

接收端图像预处理模块首先对接收设备拍摄的视频进行帧拆分，获取各帧图像；对拆分后的第一帧训练序列图像做SIFT算法匹配，过滤图像中的背景噪声，确定信号区域位置；在后续各帧中，利用LK稀疏光流法对信号区域进行跟踪，分割提取后续各帧的信号区域，去除各帧中的背景噪声干扰；提取出信号区域后，根据图像模糊度评估函数的分布，进行帧分类，选取出模糊度较低的图像；并对信号RGB彩色分量分别做颜色增强，保证彩色编码的正确解映射.

完成信号图像的所有预处理工作后得到的彩色条码如图14所示.

据表一对这些彩色条码流做颜色解映射，再依据条码设计规范，进行条码识别，将二维条码恢复为原始信号.由条码中所携带的文件说明信息，重组原始信号，恢复为测试文件.

如图15所示对比可知，文件内容基本一致，本文所建立的Display-to-Camera通信系统可靠而有效.

5 结束语

本文建立了一个新型Display-to-Camera通信系统，设计了符合显示屏显示特性的新型彩色条码流承载信息，以视频的方式发送信号.利用计算机图像处理技术进行接收端数字信号处理：包括采用SIFT算法匹配识别信号区域、LK稀疏光流法实时跟踪信号区域；同时基于图像模糊度对接收到的信号进行分组过滤和颜色增强；最后对彩色条码解映射解码恢复原始信号.本文使用66.1KB的Word测试文件进行数据传输实验，实验结果表明，该通信系统实现了速率287kbit/s，解码正确率99.8%的数据传输，可以建立起一个可靠而有效的Display-to-Camera通信链路.

［1］Perli S D，Ahmed N，Katabi D.Pixnet：Interference-free wireless links using lcd-camera pairs［A］.Proceedings of the Sixteenth Annual International Conference on Mobile Computing and Networking［C］.USA：ACM，2010.137 -148.

［2］Ashok A，Gruteser M，Mandayam N，et al.Characterizing multiplexing and diversity in visual MIMO［A］.Proceedings of the 45th Annual Conference on Information Sciences and Systems（CISS）［C］.USA：IEEE，2011.1-6.

［3］Yuan W，Dana K，Varga M，et al.Computer vision methods for visual MIMO optical system［A］.Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）［C］.USA：IEEE，2011.37-43.

［4］Ashok A，Gruteser M，Mandayam N，et al.Rate adaptation in visual MIMO［A］.Proceedings of the 8th Annual IEEE Communications Society Conference on Sensor，Mesh and Ad Hoc Communications and Networks（SECON）［C］. USA：IEEE，2011.583-591.

［5］杨明.基于二维条码和图像处理的单向信息传输系统［D］.上海：上海交通大学，2013. YANG Ming.Unidirectional Information Transmission System Based on Two-Dimensional Bar Code and Image Processing［D］.Shanghai：Shanghai Jiaotong University，2013. （in Chinese）

［6］Yuan W，Howard R E，Dana K J，et al.Phase messaging method for time-of-flight cameras［A］.Proceedings of IEEE International Conference on Computational Photography（ICCP）［C］.USA：IEEE，2014.1-8.

［7］Yuan W，Dana K，Ashok A，et al.Dynamic and invisible messaging for visual MIMO［A］.Proceedings of IEEE Workshop on Applications of Computer Vision（WACV）［C］.USA：IEEE，2012.345-352.

［8］李亮亮.可见光并行通信系统方案及关键技术研究［D］.南京：南京邮电大学，2011. LI Liangliang.Research on Visible Light Parallel Communication System’s Scheme and Key Technology［D］.Nanjing：Nanjing University of Posts and Telecommunications，2011.（in Chinese）

［9］Ashok A，Gruteser M，Mandayam N，et al.Challenge：Mobile optical networks through visual MIMO［A］.Proceedings of the Sixteenth Annual International Conference on Mobile Computing and Networking［C］.USA：ACM，2010.105-112.

［10］Zhang B，Ren K，Xing G，et al.SBVLC：Secure barcodebased visible light communication for smartphones［A］. Proceedings of IEEE INFOCOM［C］.USA：IEEE，2014. 2661-2669.

［11］Lowe D G.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60（2）：91-110.

［12］Lucas B D，Kanade T.An iterative image registration technique with an application to stereo vision［A］.Proceedings of the 7th International Joint Conference on Artificial Intelligence［C］.San Francisco，CA，USA：Morgan Kaufmann Publishers Inc，1981.674-679.

［13］蔡红苹，雷琳，陈涛，等.一种通用的仿射不变特征区域提取方法［J］.电子学报，2008，36（4）：672-678. CAI Hongping，LEI Lin，CHEN Tao，et al.A general approach for extracting affine invariant regions［J］.Acta Electronica Sinica，2008，36（4）：672-678.（in Chinese）

［14］HAO T，ZHOU R，XING G.COBRA：Color barcode streaming for smartphone systems［A］.Proceedings of the 10th International Conference on Mobile Systems，Applications，And Services［C］.USA：ACM，2012.85 -98.

［15］刘宁钟，苏军，孙涵.工业控制环境中QR Code的检测和识别算法［J］.电子学报，2011，39（10）：2459-2463. LIU Ningzhong，SU Jun，SUN Han.QR code detection and recognition algorithm for industrial control［J］.Acta Electronica Sinica，2011，39（10）：2459-2463.（in Chinese）

［16］杨建伟，蓝如师.仿射不变的中心投影［J］.电子学报，2012，40（11）：2315-2319. YANG Jianwei，LAN Rushi.Affine invariance of central projection transformation［J］.Acta Electronica Sinica，2012，40（11）：2315-2319.（in Chinese）

姜 珊 女，1989年11月出生，黑龙江七台河人.吉林大学通信工程学院在读硕士生，主要从事可见光通信方面的相关研究.

E-mail：coral-cat@sina.cn

胡贵军（通信作者） 男，1970年3月出生，辽宁绥中人.博士，吉林大学教授、博士生导师，主要从事光通信技术与器件方面的研究工作.

E-mail：hugj@jlu.edu.cn

Colorful 2D Code Streaming for Display-to-Camera Communication System

JIANG Shan，HU Gui-jun，WANG Hai-yan，LI Li

（College of Communication Engineering，Jilin University，Changchun，Jilin 130012，China）

In order to meet diversified communication needs of the people and build a reliable low-cost communication link，we establish a novel display-to-camera communication system using display screen and photographic equipments in daily life.We build the system model and expound the transceiver’s implementation framework，then design a colorful 2D code streaming consistent with the display screen properties for carrying information.Employ computer image processing technology to match，recognize and track the signal area，filter the background noise.Utilize frame classification and color enhancement technology to suppress the inter symbol interference.The system’s data transfer rate is 287kbit/s and the decoding accuracy rate is 99.8%.

visible light communication；display-to-camera communication；system design；image processing

TN929.1

A

0372-2112（2016）04-0767-08

电子学报URL：http：//www.ejournal.org.cn 10.3969/j.issn.0372-2112.2016.04.003

2014-11-20；

2015-03-16；责任编辑：孙瑶

国家自然科学基金（No.61177066）；教育部留学回国科研启动基金；吉林省科技发展计划（No.20140203009GX）