【作 者】解程程，陆燕玉，古陨，王静，柴新禹

上海交通大学生物医学工程学院，上海市，200240

视觉为人类认识世界提供了80%以上的外界信息，因此失明与视力损伤将严重影响人类的生存质量。近年来，开展了药物、基因和干细胞移植等防盲治盲疗法的研究，但目前还尚无突破性进展，特别是对视网膜色素变性（Retinitis Pigmentosa, RP）、老年黄斑变性（Age-related Macular Degeneration,AMD）等主要致盲疾病还缺乏有效治疗措施。这两种退行性疾病主要损伤视网膜中的光感受器细胞（photoreceptors）导致失明，而视网膜的其它部分及视觉通路相对完好[1]。视觉假体是当今国际上对RP和AMD 失明患者进行视觉功能修复的研究热点，它主要由外置微摄像机采集外界图像信息，通过信息处理器把图像转换为对应的电刺激模式，再由植入体内的微电流刺激器将多路电脉冲加载到微电极阵列，对视觉神经系统进行电刺激，在视觉中枢产生光幻视（phosphenes），从而实现视觉功能修复[2-7]。

目前，国际上多个国家数十个研究团队正在深入开展视觉假体的研究工作，取得了不同程度的进展。依据对视觉通路中的不同刺激位置，视觉假体基本上可以分为视网膜假体、视皮层假体和视神经假体。视网膜假体按其具体的刺激部位，又可以分为视网膜上假体、视网膜下假体及脉络膜上假体。尽管存在方法上的差异，但所有视觉修复方法的视觉假体都具有一些相同的组成单元，图像处理就是其中重要的一环。

在视觉假体中，图像处理模块接收摄像头采集到的图像信息，实时地进行处理和编码，然后通过无线传输方式发射到体内微电流刺激器，最终驱动微电极阵列对神经组织进行电刺激。目前，由于植入电极数量的限制，视觉假体只能在视野里诱发有限的光幻视点，形成低分辨率的光幻视阵列。因此，最终的图像结果必须按照植入电极阵列的数量，处理成低分辨率形式，然后进行刺激编码及传输编码，无线发射到体内部分。

早期的视觉假体图像处理系统一般基于笔记本电脑工作，缺乏便携性与实时性。考虑到假体植入者日常活动的实际需求，本文提出一种基于高性能数字信号处理器DM642的视觉假体图像处理系统。该系统具有便携性、低功耗等特点，而且数据计算能力强，满足实时处理的要求。

1 图像处理系统

1.1 硬件平台

构建的视觉假体图像处理系统平台的原理结构框图如图1所示，主要由北京瑞泰创新科技有限责任公司开发的DM642最小系统（ICETEK-DM642-B）与自行研制的射频发射电路板组成。其中ICETEKDM642-B板主要包括：一片TI公司的TMS320DM642专用视频信号处理芯片；一片PHILIPS公司的高级精简指令系统处理器芯片（ARM）LPC2214，4 M*64bit同步动态存储器可存储多达32帧图像，8-32M位 Flash具备自启动功能，板上JTAG仿真接口和单+5V电压供电等。射频发射电路板以模拟前端集成电路芯片EM4094为核心构成13.56 MHz载波频率的RFID基站，输出与发射线圈相连，用于发射能量与数据信息，同时还扩展了一个连接摄像头的视频输入口和一个用于显示图像处理编码结果的视频输出端口。图像处理系统装置的体积为135 mm×108 mm×35 mm(图2)。

图1 图像处理系统的原理结构框图Fig.1 Structure of image processing system

图2 图像处理系统硬件实物图Fig.2 Hardware platform of image processing

DM642提供丰富的用于多媒体处理的视频处理接口，主频达到600 MHz，最大峰值速度达4800MIPS，在本系统中完成图像的实时处理工作，并按照无线传输协议和刺激器要求格式对图像信息进行编码；ARM的工作主频最高可以达60 MHz，具有片内PLL，可实现自定义的倍频/分频。ARM模块一方面控制射频发射电路，同时把来自DM642的图像编码信息通过串口传输到射频芯片EM4094进行无线发射。

1.2 图像处理算法

图3 图像处理软件算法流程Fig.3 Flow of the image processing software algorithm

1.2.1 图像采集

由于假体植入者感受到的光幻视大多为灰度信息，因此在视觉假体图像处理中一般使用灰度图。本系统采用一带有数模转换模块的微型黑白CMOS摄像头采集图像，分辨率为380线，视角为42o×35o，成像效果稳定，尺寸为8.5 mm×8.5 mm。

1.2.2 视角转换

由于目前电极制造和能量传输技术的限制，能够植入的电极数量有限。视网膜上微电极阵列一般植入在人眼黄斑区，对应20o的中心视野[1]。摄像头本身的视角为42o×35o，获得的每一帧图像经图像处理系统的视频解码器解码后，得到的分辨率为720×576像素，将其中央区域对应的20o×20o图像信息截取出来，得到中间336×336像素的图像。

1.2.3 降低采样

在视觉假体的图像处理中，为了保证获得视觉图像信息的实时性，要求系统具有较高的数据处理能力。图像本身的分辨率直接影响图像处理的速度，为了评估系统对不同分辨率图像的处理效率与性能，在不改变20o×20o视角的情况下对图像进行降低采样处理，分辨率分别降低到32×32、96×96和288×288像素，再对这些图像分别进行后续处理。

1.2.4 预处理

通过图像采集系统获得实时图像信息，经过图像预处理过程来增强对比度及去除噪声，主要包括直方图均衡化和中值滤波等。

(1) 灰度校正

由于环境因素，摄像头采集的图像会存在曝光不足或曝光过度的情况。直方图均衡化是常用且有效的图像增强方法，原理为计算图像的直方图，经过变换后，使其灰度分布均匀或者基本均匀[8]。通过直方图均衡化，能够很好的改善图像的全局对比度，完成对图像灰度的校正。这在外界光线过强或者不足的时候特别有效，它能够将原本由于光线问题而表达不明显的特征再次凸显出来。

(2) 中值滤波

环境光线、摄像头、传输电缆、电路系统等因素都有可能引入噪声，这就需要对图像进行滤波去噪处理。中值滤波是常用的非线性滤波方法，它在平滑脉冲噪声方面非常有效，同时也能保护图像尖锐的边缘[8-9]。在一定的条件下，它可以克服线性滤波器如最小均方滤波、平均值滤波（平滑滤波）等所带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效。在实际运算过程中并不需要图像的统计特性，简化了处理算法。

1.2.5 边缘提取

边缘是指其周围像素灰度有阶跃变化或屋顶状变化的那些像素的集合，是图像的最基本的特征。边缘广泛的存在于物体与背景之间、物体与物体之间，对于物体与场景来说是非常重要的识别信息。由于有限数量的刺激电极仅能诱发有限光幻视点的假体视觉信息，因此提取的边缘信息是假体视觉中的主要特征信息，能够用有限的信息表达假体视觉下物体与场景的最重要特征，而且能够提高有限刺激电极的使用效率，减小过多电极刺激对神经组织造成的损伤，同时可降低系统的功率损耗。目前用于视觉假体中图像处理的边缘算子有Canny和Sobel两种[10]，Canny计算复杂度高，但能反映更多的细节；Sobel计算复杂度低，而能较完整地提取边缘。基于仿真假体视觉的最小信息需求研究发现，这两种图像处理算法在像素化图像识别中没有显著性的差异[11]。考虑到系统实时性的要求，选用Sobel算子进行边缘提取。Sobel算子利用像素的上、下、左、右邻域的灰度加权算法，根据在边缘点处达到极值进行边缘检测的。

1.2.6 边缘膨胀

在进行边缘提取之后的图像中，线条难免比较细且会遇到断裂不连续的问题，此时膨胀算法能够很好的改善图像效果。膨胀算法属于数学形态学，基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状，以达到对图像分析和识别的目的[12]。经过膨胀处理之后，图像的边缘线条特征会更明显，并且能改善边缘断裂处的不连续现象，产生较好的闭合效果。

1.2.7 低像素化

作为修复视觉感受的基本形式，光幻视点被认为是构成“假体视觉”的最基本组成单元，即像素点。目前视觉假体植入到体内的微电极数目有限，仅能诱发有限数量的离散光幻视点，提供基本的视觉信息。因此，要对图像进行低像素化处理，以使图像中的每个像素点分别对应同一位置的刺激电极。

Thompson等人[13]的研究表明，4级灰度以上的光幻视点组成的图像将大大提高识别率。同时临床实验表明，假体植入者能辨认10个等级的光亮度[4]。本文将灰度级设定为4级(灰度值为0、85、170、255)，根据原图每个像素点所处的灰度范围为其赋新的灰度值。

1.2.8 编码传输

DM642完成图像处理后，将对低像素化的图像按照无线传输协议和体内刺激器的要求格式进行编码。图像中每一个像素点的信息都会被赋予在一个32位的数据帧中，包括起始位1位，模式位1位，刺激电流幅值信息12位，脉宽信息6位，刺激电极1位置信息，刺激电极2位置信息5位，奇偶校验位1位以及填充位1位。DM642将一帧图像编码完成后送到SDRAM数据区，ARM从该存储区将整帧图像信息读取后，按照PWM波格式通过GPIO口发送给与其连接的射频芯片EM4094。EM4094连接发射线圈以ASK调制方式进行无线传输，将图像编码信息发送给体内线圈，最终刺激器驱动微电极阵列对神经组织进行电刺激。

2 性能评估与结果

本文选用DM642芯片作为图像处理系统的核心，是为了满足视觉假体图像处理的实时性要求。针对以上图像处理算法，对ICETEK-DM642-B板的实时处理性能进行了评估。在不同的初始分辨率下（32×32、96×96、288×288），DM642的C编译器和集成开发环境Code Composer Studio 2.21（CCS2.21）中的Profiler工具可统计出算法流程中每个步骤处理一帧图像的时间，据此可精确计算每种算法的处理帧率。将各种算法的处理时间串行加在一起可得到一帧图像完成所有处理所需要的时间，即对应的图像处理系统的处理帧率，以此评估它的实时处理性能。表1是DM642对各种算法在这3种分辨率下处理帧率（Frames per second, fps）的比较。

表1 不同分辨率下DM642对各种图像算法处理帧率（fps）比较Tab.1 Comparison among fps of different image processing algorithms under different resolutions

结果表明，在各种图像分辨率下，DM642都能高速地完成各种算法处理。各种算法串行处理后，在32×32分辨率下处理帧率为1632fps；在96×96分辨率下为184fps；在288×288分辨率下仍可达到20fps，完全能够满足视觉假体图像处理实时性的需求[14]。

图4展示了基于DM642的图像处理算法对简单物体（椅子）的处理结果。初始分辨率为32×32、96×96和288×288的图像，经过一系列图像处理，最后处理成32×32分辨率的仿真光幻视阵列组成的图像。初始分辨率为288×288像素时，图像信息比较完整，因此边缘提取效果较好，最后的低像素化效果也优于前两者。

本文同时对开发板的功耗进行了测试。在单+5V电压供电下，输出电流约为550 mA，也就意味着功耗约2.7 W。一块5000 mAh容量的电池能提供开发板约10小时的工作时间。

3 讨论与总结

本文提出了基于数字信号处理器DM642的视觉假体图像处理系统，目的在于研发适合于假体植入者便于携带的体积小、功耗低、实时性强的体外图像处理装置。由于目前视觉假体的研究还处于初期的临床实验阶段，神经接口刺激电极数量较少，仅能够传递给植入患者简单的视觉信息，所以本文中仅涉及图像的视角变换、降低采样、预处理、边缘提取与膨胀、低像素化等基本的几个步骤作为视觉假体的图像处理策略。对这些基本算法，DM642能够达到较高的处理速度，满足了实时性的要求。文中算法的实现是采用C语言和少量汇编语言混合编程。在未来进一步的研究中，我们将采用更多的DSP汇编语言编写程序，并对算法和代码进一步优化，可望能进一步提高系统的运算性能。

随着视觉假体研究的进一步深入及临床实验的广泛开展，对其中图像处理将提出更高的要求。在今后的研究工作中，不规则光幻视阵列矫正、基于视觉注意机制的图像特征提取等复杂算法，也将逐步引入到视觉假体的图像处理中，进一步优化信息处理策略，使假体植入者在有限的光幻视点阵列情况下获得更加有效的视觉信息。但是，这些复杂处理方法具有较大的计算量，将对视觉假体图像处理的实时性提出更大的挑战，要求研究者继续不断完善图像处理策略及算法优化。

[1] Weiland JD, Humayun MS. Visual prosthesis [J]. Proceedings of the IEEE, 2008, 96(7): 1076-1084.

[2] Brindley GS, Lewin WS. The sensations produced by electrical stimulation of the visual cortex [J]. J Physiol, 1968, 196 (2): 479-493.

[3] Dobelle WH, Mladejovsky MG. Phosphenes produced by electrical stimulation of human occipital cortex, and their application to the development of a prosthesis for the blind [J]. J Physiol, 1974, 243(2): 553-576.

[4] Humayun MS, Weiland JD, Fujii GY, et al. Visual perception in a blind subject with a chronic microelectronic retinal prosthesis [J].Vision Res, 2003, 43(24): 2573-2581.

[5] Veraart C, Raftopoulos C, Mortimer JT, et al. Visual sensations produced by optic nerve stimulation using an implanted self-sizing spiral cuff electrode [J]. Brain Res, 1998, 813 (1): 181-186.

[6] Zrenner E. Will retinal implants restore vision? [J]. Science,2002,295 (5557): 1022-1025.

[7] Chai X, Li L, Wu K, et al. C-sight visual prostheses for the blind [J].IEEE Eng Med Biol Mag, 2008, 27 (5): 20-28.

[8] Acharya T, Ray AK. Image processing: principles and applications[M]. Wiley-Interscience, 2005.

[9] Dagnelie G, Thompson RW, Barnett GD, et al. Visual perception and performance under conditions simulating prosthetic vision [J].Perception, 2000: 84 (Abstract).

[10] Snaith M, Lee D, Probert P. A low-cost system using sparse vision for navigation in the urban environment [J]. Image and Vision Computing, 1998, 16(4): 225-233.

[11] Dowling J, Maeder A, Boles W. Mobility enhancement and assessment for a visual prosthesis [J]. Proceedings SPIE Medical Imaging 2004: Physiology, Function, and Structure from Medical Images, 2004, 5(23): 780-791.

[12] Gonzales R, Woods R. Digital image processing[M]. Addision-Wesley Publishing Company, 1992

[13] Thompson RW, Jr., Barnett GD, Humayun MS, et al . Facial recognition using simulated prosthetic pixelized vision [J]. Invest Ophthalmol Vis Sci, 2003, 44 (11): 5035-5042.

[14] Fink W, You CX, Tarbell MA. Microcomputer-based artificial vision support system for real-time image processing for cameradriven visual prostheses [J]. J Biomed Opt, 2010, 15 (1): 016013.