王 植, 沈建新



无线视网膜成像系统①

王 植, 沈建新

(南京航空航天大学机电工程学院, 南京 210016)

针对传统检眼镜、眼底照相机等眼科检查设备结构复杂、移动性差、不能实时观察视网膜情况等缺陷, 设计和实现了一种无线视网膜成像系统. 对视网膜图像获取和WiFi无线局域网技术进行了研究, 通过WiFi无线局域网技术、HTTP网络编程, 用装有网卡的PC机远程控制眼底照相机采集视网膜图像, 并将图像进行实时传输、显示和保存. 最终将装有网卡的PC机与眼底照相机通过WiFi相连接, 方便快捷的完成视网膜图像的无线采集和实时观察, 为医生提供眼科疾病诊断、治疗的客观依据.

视网膜病变; 视网膜成像; WiFi; HTTP协议; 无线传输

眼睛是人类感知周围事物的视觉器官, 外界景物要先通过复杂的人眼光学成像系统在视网膜上成一个倒立的实像, 然后经视神经传送至大脑. 人眼是一台精密的光学成像系统, 视网膜相当于光学成像系统中的接收器, 对人眼获取外界信息非常重要, 因而眼底成像检查是现代科学和临床医学研究的热门对象.

传统的眼底视网膜检查方法是使用直接检眼镜、双目间接检眼镜或者眼底照相机等, 通过具有丰富眼底筛查经验的医生和病人相互配合, 能够观察到眼底的情况, 但这些方法需要医生根据主观判断对患者视网膜病变情况进行诊断[1]. 检眼镜操作简单、应用范围广, 但是检查需要患者配合和丰富经验的眼科医生, 病变情况缺乏客观性图像记录、无立体感, 容易漏诊误诊. 传统的眼底照相机可以形成视网膜客观性图像记录, 但是照明系统和观察系统比较复杂, 体积较大, 便携性差, 需要病人的配合才能完成检查, 不能进行远程诊断与图像传输, 无法应用于婴幼儿和老年人等特殊病人[2].

目前无线数据传输技术主要有: 蓝牙、通用分组无线业务GPRS、无线局域网ZigBee、基于IEEE802.11b标准的无线局域网WiFi. WiFi由于传输速率快、能耗低、运行环境兼容性高, 因此成为在有限范围内无线数据传输优先选择的通信方式[3].

无线视网膜成像系统实现的关键点是将有线传输的视网膜数字图像信号和控制数据改为无线传输. 本文提出将眼底照相机内部嵌入WiFi传输模块, 通过装有无线网卡的PC设备连接相机的WiFi热点实现视网膜图像的无线采集、传输、显示和存储等工作.

1 方案设计

传统眼底照相机的工作原理是通过复杂的成像光路将生成的视网膜光学影像投射到图像传感器上, 通过模数转换器转换为数字图像信号, 将该数字信号传送至数字信号处理芯片中进行压缩存储等操作, 最终通过有线线路如USB接口将成像结果传送到PC设备中并通过显示器显示[4]. 传统眼底照相机进行无线改造的关键就是如何将数字信号处理芯片处理的数字图像信号通过无线传输装置传输[5], 并通过无线接收装置将数字信号传送至装有无线网卡的PC机实现视网膜图像的无线采集和传输.

无线视网膜成像系统总体上由装有无线网卡的PC设备和眼底照相机组成, 其中眼底照相机由视网膜成像透镜组、CMOS模组、WiFi传输模块组成. PC设备与眼底照相机通过WiFi传输模块相连接, 两者之间通过HTTP协议进行无线数据交互. PC设备通过WiFi传输模块发送命令控制眼底照相机采集视网膜图像, 并将图像进行实时传输、显示和保存, 无线视网膜成像系统解决方案如图1所示.

图1 无线视网膜成像系统解决方案

2 硬件设计

无线视网膜成像系统的眼底照相机部分包括视网膜成像透镜组、CMOS模组、WiFi传输模块组成, CMOS模组和WiFi传输模块采用索尼的WiFi镜头机DSC-QX100.

2.1 WiFi镜头机

WiFi镜头机是集视频编码、摄像与WiFi传输于一体的不含显示器的镜头模块, 它的显示器可以是智能手机、PC机、平板电脑等具有连接WiFi功能的显示设备, 其内嵌有TCP/IP协议栈, 每个镜头机都有一个唯一的IP地址, 将采集到的图像信号通过WiFi传输模块传送至显示设备.

索尼的DSC-QX100相机是一款比较具有代表性的WiFi镜头机, 它拥有1英寸2020万Exmor R CMOS传感器和BIONZ影像处理器, ISO感光度最高是12800, 镜头为3.6倍光学变焦的蔡司T * f/1.8镜头, 35mm等效焦距为28-100mm, 覆盖广角到长焦, 大光圈在弱光下优势明显, 并可以营造浅景深效果. 采用四个非球面镜片, 成像清晰并且图像畸变控制到最低程度. 支持光学防抖, 减少相机震动对成像的影响, 单次拍摄自动对焦、手动对焦和触摸自动对焦等.

2.2 CMOS模组

CMOS模组包括Exmor R CMOS图像传感器和BIONZ影像处理器. Exmor R CMOS传感器的感光能力是普通传感器的两倍, 照射技术与普通方法相反即向没有布线层的一面照射光线. 由于照射光线不受晶体管和金属线路的影响, 开口率(光电转换部分在一个像素中所占的面积比例)可以接近100%, 与传统的表面照射产品相比, 灵敏度(S/N)具有很大优势. 图像传感器如图2所示, 包括行选通逻辑、定时和控制电路、像素阵列、模拟信号处理器(ASP)、列选通逻辑与模数转换器(ADC)等结构组成[6].

图2 图像传感器结构

BIONZ影像处理器是固化到镜头机主机板的一个大型集成电路芯片, 集成用于图像处理功能的DSP和MCU, 在成像过程中对图像传感器蓄积下的电荷信号进行处理, 完成数码图像的压缩、显示和存储等.

2.3 WiFi传输模块

WiFi传输模块是实现无线视网膜成系统的关键, 它将COMS模组采集的数字信号转化为无线电信号, 并进行无线传输, 使图像可以在与其相连的显示设备中显示. WiFi传输模块支持UART/GPIO通讯, 与镜头机的芯片进行无线连接; 采用扩频技术, 保证无线数据传输能顺利进行; 支持802.11无线标准和TCP/IP/UDP网络协议, 便于在无线局域网内传输, 可以使视网膜图像在装有无线网卡的设备上显示、保存和存储等[7].

3 相关技术

3.1 WiFi传输技术

WiFi是Wireless Fidelity(无线保真)的英文缩写, 俗称无线宽带, 遵循IEEE802.11系列协议, 是一种可以将PC、手机或者平板电脑等终端在数十米范围内以无线的方式相互连接起来的主流无线局域网技术, WiFi协议是定义OSI(Open System Interconnection)七层协议的物理层(PHY)和数据链路控制层(DLC)的一部分[8]. 它的最大优点就是传输速度较高, 可以达到11Mbps.

WLAN一般是由站(STA)、无线介质(WM)、接入点(AP)和分布式系统(DS)等部分构成. 站STA(station)是无线局域网中各个终端的总称, 是具有无线接口的设备. WLAN中的站之间既可直接通信又可以通过接入点(AP)通信. 无线介质WM(wireless medium)是无线局域网中各终端及接入点之间传递信息的媒介, 一般指自由空间里电磁波的传播. AP是Access Point简称, 主要在媒介访问控制层MAC中扮演无线工作站及无线局域网络的桥梁. 在封闭性区域, WiFi无线网络的通讯距离为76米到122米; 在开放性区域, 通讯距离可达305米[9].

WiFi相机镜头模块就可以看成一个站, 装有无线网卡的显示设备也可以看成一个站. WiFi相机镜头模块中的WiFi无线传输模块和显示设备中的无线网卡模块不需要通过接入点(AP)就可直接通信.

3.2 HTTP协议

HTTP协议是超文本传输协议的简称, 是应用最广泛的一种网络协议, 在TCP/IP协议中处于应用层, 是一个标准的客户端服务器模型[10]. HTTP协议是基于请求与响应模式的无状态的协议, 客户端通过统一资源定位器URL向服务器发送HTTP请求, 服务器在80号端口监听客户端的请求并向客户端发送HTTP响应报文.

HTTP协议中定义了8个方法和服务器进行交互, 其中get和head方法是服务器必须实现的. HTTP请求分为请求行、消息报头、请求正文3个部分, 所有的方法、实现都是围绕如何运用和组织这三个部分来完成的. 请求行以方法符号开头, 用空格分开, 然后是请求的URI和协议版本; 消息报头包括普通报头、请求报头、响应报头、实体报头4类; 请求正文是用户提交的信息, 它位于请求报头之后, 通常以空格等符号与报头信息分开. 客户端与服务器连接过程如图3所示, 可以分为3个步骤: 客户端请求、服务器监听、连接确认.

图3 客户端与服务器连接过程

3.3 SonyWiFiCtrl控件

SonyWiFiCtrl控件是一款适用于PC机通过WiFi无线连接Sony WiFi镜头机进行操作控制的二次开发控件, 通过控件可控制相机拍照, 调焦, 实时取回拍摄照片等. 支持Liveview实时显示, 可在VC6.0平台或VS平台添加SonyWiFiCtrl控件为快速简单地开发相机控制程序提供方便.

控件属性: VARIANT_BOOL EnableVideoEvent;//视频帧触发事件开关, 允许或禁止视频帧触发事件, 需获取视频数据时可设置为允许.

控件方法:

(1) SHORT FindCamera(void);//搜索WiFi相机, 成功后返回WiFi 连接的相机数量. 在连接相机前先通过此接口获得连接的相机数. 如果返回值为零, 则表示没有连接到相机.

(2) BSTR GetCameraModelName(void);//读取相机型号, 返回当前连接的相机型号.

(3) VARIANT_BOOL OpenConnection(void);//打开相机WiFi 连接, 相机的其他操作必须在此接口操作连接成功后执行.

(4) VARIANT_BOOL CloseConnection(void);//关闭相机WiFi连接.

(5) VARIANT_BOOL Capture(BSTR szFile);//执行拍照操作, 照片按输入的参数指定的文件名保存.

(6) LONG SetZoom(BSTR direction, BSTR movement); //相机焦距调整, 输入参数: direction: 调节方向, 输入”in” 或“out”; movement: 调节步长, 输入“1shot” 、“start” 或“stop".

(7) VARIANT_BOOL SetPropertyValue(PropertyID propertyID, BSTR val);//设置相机参数.

(8) LONG StartMovieRec(void);//开始录制视频文件. 当ShootMode 设置为”movie”时可用.

(9) LONG StopMovieRec(void);//停止录制视频. 启动录像后执行此函数停止录制.

(10) void SetPictureSaveAs(BSTR szFile);//在相机上按快门进行拍照时, 软件会自动触发照片下载完成事件, 客户端程序可在此事件中执行SetPictureSaveAs 函数将照片保存成文件.

4 系统软件设计

4.1 软件功能

无线视网膜成像系统的眼底照相机的CMOS模组和WiFi传输模块采用索尼的WiFi镜头机, 软件在VC6.0和索尼相机的SonyWiFiCtrl控件基础上开发完成. 软件主要实现装有无线网卡的PC设备和眼底相机的无线连接、视网膜实时拍照和视频录制3个功能, 具体包括设备查找与连接、模式选择、拍照、录像、图像与视频内容查看、成像时的焦距调节等, 医生可以通过本软件实时观察患者的视网膜情况, 对需要的视网膜区域进行拍照或录像, 将获得的照片和视频存储在相机的内存卡或电脑的硬盘中. 此系统只需简单操作便可实现眼底视网膜图像的无线采集和传输, 避免了传统眼底照相机的操作复杂、耗时长、需要患者配合等缺点.

4.2 软件流程

在眼底照相机WiFi打开的情况下, 用装有无线网卡的PC设备搜索WiFi镜头机的WiFi信号, 并通过WAP2的加密模式完成PC设备与眼底照相机的无线连接. 然后打开无线视网膜成像系统软件, 搜索眼底相机的连接地址, 如果成功则将PC设备与眼底照相机相连接, 如果WiFi没有连接, 将会连接失败并重新搜索WiFi信息.

眼底相机有拍照和录像两种模式, 将采集的视网膜图像通过WiFi无线传输模块传送到PC设备并实时显示相机拍摄的视网膜图像. 如果选择still模式可以对视网膜进行拍照, 如果选择movie模式, 可以对视网膜进行录像, 并将相机采集的图像和视频实时保存在相机的内存卡或计算机的硬盘中, 在拍照或录像时可以调节焦距, 以获取清晰的视网膜图像, 可以查看已有的视网膜图像的预览和详细信息, 通过相应按钮可以设置相机的曝光模式、曝光补偿、照片尺寸等功能. 软件总体流程如图4所示.

图4 软件总体流程图

4.3 功能实现

实现软件的拍照、录像等功能需要在PC端调用SonyWiFiCtrl控件的相关API接口. 首先要将PC设备通过WiFi与眼底照相机建立一对一的连接, 此时PC设备为接收服务的客户端, 眼底照相机作为提供服务的服务器. 然后客户端软件通过SSDP(简单发现服务协议)查询到眼底相机, 调用相关API的接口. 功能实现流程如图5所示.

图5 功能实现流程

SonyWiFiCtrl控件的API接口调用首先要进行WiFi连接, 其他功能的实现都需要在WiFi连接成功后才能实现. 通过调用FindCamera搜索到眼底照相机并进行WiFi连接;

int count = sonywifictrl. FindCamera ();

WiFi连接成功后通过调用GetCameraModelName读取当前连接的相机型号;

CString name = sonywifictrl. GetCameraModelName();

然后调用OpenConnection打开相机WiFi连接, 其他操作必须在此接口操作连接成功后执行;

sonywifictrl. OpenConnection ();

相机WiFi连接成功后, 调用SetPropertyValue进行相机参数设置, 如拍照或录像模式选择;

sonywifictrl.SetPropertyValue (kSonyPropID_ShootMode, “still”);

sonywifictrl. SetPropertyValue (kSonyPropID_ShootMode, “movie”);

当选择拍照模式时, 调用Capture进行拍照, 当选择录像模式时, 调用StartMovieRec开始录像;

sonywifictrl.Capture("e:\image.jpg");

sonywifictrl.StartMovieRec ();

开始录像后调用StopMovieRec结束录像;

sonywifictrl. StopMovieRec ();

在拍照模式时可以调用SetZoom进行焦距调节, 调节范围为0-100, 包括调节方向(in或out)和调节步长(1shot, start, stop), 如向内短距离调节:

sonywifictrl. SetZoom (“in”, “1shot”);

在视网膜拍照或录像结束时可以调用CloseConnection关闭相机的WiFi连接;

sonywifictrl. CloseConnection ();

其他功能如视场角调节、白平衡、自动对焦、图像预览、曝光模式、曝光补偿、照片尺寸等功能都可以通过调用相应的API接口实现.

5 系统实验

在PC机上运行本软件控制眼底照相机对视网膜成像, 进入视网膜成像界面, 如图6所示, 点击搜索相机按钮, 如果WiFi连接成功, 会出现相机的名称, 代表设备搜索成功, 点击打开相机按钮便可以将PC设备与眼底照相机WiFi连接成功. 界面包括拍摄模式、预览尺寸、曝光模式、曝光补偿等下拉列表、相机搜索、打开相机、关闭相机、拍照、录像、焦距调节等按钮. 拍摄模式选择下拉列表包括拍照或视频录制模式两种模式, 默认为拍照模式, 此时录像按钮为灰色, 不能使用. 右边为图像实时显示窗口, 用于实时观察所成视网膜图像, 焦距调节按钮用于拍照或录像时的焦距调焦, 以获取最清晰的视网膜图像, 照片尺寸下拉列表可以选择不同的长宽比和照片尺寸等.

图 6 视网膜成像界面

6 结语

无线视网膜成像系统是多种新技术、新产品并结合视网膜疾病诊断实际应用要求的产物. 装有无线网卡的PC机通过WiFi与眼底照相机无线连接, 并对视网膜进行实时成像、传输、显示和保存, 视网膜图像采集过程非常方便快捷. 经测试, 本系统能够实时捕捉和远程存储视网膜图像, 并且图像清晰, 能够满足视网膜疾病检查和诊断应用的需求. 无线视网膜系统的实现提供了一种新的视网膜病变检查方法, 促进眼科医疗设备向小型化、微型化发展.

1 Knoll HA. Ophthalmic instruments in applied optics and optical engineering. Optical Instruments, 1969, 5(2): 281–304

2 De HE, Schweigerling J. Fundus camera systems: Aco- mparative analysis. Applied Optics, 2009, 48(2): 221–229

3 曾磊,张海峰,侯维岩.基于WiFi的无线测控系统设计与实现.电测与仪表,2011,48(7):81–83,96.

4 金琳琳,向阳,毛亚杰.便携式数字检眼镜光学系统设计.长春理工大学学报,2011,34(1):24–26.

5 赵华军,方钰.无线移动视频监控原型研究.计算机工程,2011,37(6):266–268.

6 王忠立,刘佳音,贾云得.基于CCD与CMOS的图像传感技术.光学技术,2003,29(3):361–364.

7 罗娜.基于88W8686的手持终端WiFi功能的设计与实现[硕士学位论文].武汉:武汉理工大学,2010.

8 刘小军.基于WiFi无线视频传输技术的研究.电子技术, 2012,(10):82–85.

9 刘乃安.无线局域网(WLAN)——原理、技术与应用.西安: 西安电子科技大学出版社,2004.

10 祝瑞,车敏.基于HTTP协议的服务器程序分析.现代电子技术,2012,35(4):117–119,122.

Wireless Retinal Imaging System

WANG Zhi, SHEN Jian-Xin

(College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

A wireless retinal imaging system is designed and implemented, which can dissolve the disadvantages in traditional ophthalmoscope and fundus camera eye inspection equipment such as the complexity of structure, poor mobility, and the disability to real-time observing and other defects. The retinal image acquisition and WiFi wireless local area network technology are studied. In this system, the WiFi wireless transmission technology, HTTP network programming, and the remote control of retinal images with the PC machine equipped with a network adapter and the image, are transmitted, displayed and stored in real time. The PC machine with the network card is connected to the fundus camera through WiFi, which is convenient to realize the wireless collection and observation of the retinal images and provides the objective basis for the diagnosis and treatment of diseases in the department of ophthalmology.

retinopathy; retinal imaging; WiFi; HTTP protocol; wireless transmission

江苏省产学研联合创新基金前瞻性联合研究项目(BY2005003-03);研究生创新基地开放基金(kfjj20150515,kfjj20150514)

2016-04-19;收到修改稿时间:2016-05-19

[10.15888/j.cnki.csa.005529]