张益溢 吴佳琛 郝然 金尚忠† 曹良才‡

1) (中国计量大学光学与电子科技学院, 杭州 310018)

2) (浙江省现代计量测试技术及仪器重点实验室, 杭州 310018)

3) (精密测试技术及仪器国家重点实验室, 清华大学精密仪器系, 北京 100084)

1 引 言

数字全息显微技术(digital holographic microscopy, DHM)结合数字全息与显微成像技术, 充分利用两者优势, 不仅能够对待测样本进行放大, 而且能实时记录待测样本的三维信息.1999 年 E. Cuche 课题组在待测样本与CCD(charge coupled device)像感器之间放置显微物镜[1], 用于放大待测样本的物光波, 仅基于单幅全息图便可获取有关样品三维结构的精确定量信息, 降低了对CCD 分辨率的要求, 实现了高分辨率显微成像. 但由于显微物镜的小孔径限制, 全息图部分高频成分在记录过程中丢失, 重建像质量受到影响, 因此数字全息显微技术仍存在需要改进的地方. 2003 年Ferraro 等[2,3]研究了自动跟踪聚焦的数字全息显微镜, 并在随后的研究中提出了运用多波长数字全息技术来校正色差. 2006 年Charrière 等[4]将数字全息显微技术与电子计算机断层扫描技术(computed tomography, CT)相结合, 通过旋转花粉细胞获取其各方向的相位图分布, 根据滤波反投影算法实现了生物样品的三维成像. 2007 年Kemper 等[5]将数字全息显微技术与生物医学相结合, 重建了人体肝脏肿瘤细胞与血红细胞(red blood cell, RBC)的三维形貌, 进一步拓展了数字全息显微的实践应用. 2008 年Kim 等[6]通过数字全息显微术结合生物医学, 揭示了血管的形貌以及视网膜层的光学厚度分布. 国内围绕数字全息成像分辨率提升与生物细胞定量相位测量开展了大量的工作. 在分辨率提升方面, 2010 年翟宏琛等[7]利用一种相位掩模板进行多角度照明,实现了综合孔径数字全息超分辨率成像;2013年马俊等[8]基于结构光照明的数字全息显微技术,通过分离和合成傅里叶域中不同频率区域的带宽,可以获得更高空间分辨率的重建图像;同年王华英等[9,10]综合分析了数字全息显微成像系统的分辨率影响因素,对像面数字全息系统展开了讨论与研究;2015年姚保利等[11]利用散斑照明获得重建物波中的合成数值孔径,以提高分辨率;同年王大勇等[12,13]利用动态空间光栅提高了数字全息成像分辨率,并通过微球体与像面数字全息相结合,实现了分辨率增强的相衬成像.在上述研究中,由于分辨率得到了大幅提升,使得数字全息显微更有效地分辨生物微观结构如人体细胞与亚细胞结构等.在数字全息定量相位测量方面,2007 年董可平等[14]成功实现了生物细胞的定量相位测量;2008年赵建林等[15]通过拍摄两幅全息图并利用相位相减技术实现了活体细胞组织等相位型生物样本的定量测量和有效观察;2012年马利红等[16]建立了一套预放大式数字全息显微成像系统,实现了高分辨率的细胞定量相位测量;2018年肖文等[17]利用离轴马赫泽德实验系统对细胞进行实时成像,证明了细胞质中肌动蛋白对细胞骨架具有更大的支撑作用.2019年左超等[18,19]通过数字全息显微结合自适应松弛超像素分辨技术,在利用相位恢复与数字重聚焦等算法或方法的基础上,开发了无透镜数字全息显微系统,集成了定量相位、剖面分析、三维显示和细胞计数等多项功能,具有无标记、高通量、低成本和微型化的特点,为面向临床检验应用的显微设备提供了有效的技术支撑.基于数字全息的定量相位成像技术满足了活体细胞组织等相位型生物样本定量测量和动态观察的需求,对于生物医学领域的发展具有重要意义.

相较于当前细胞成像领域广泛应用的激光扫描共聚焦显微(confocal laser scanning microscope,CLSM)技术[20]、近场光学显微(near-fieldoptical microscopy,NSOM)技术[21]和光学相干层析成像(opticalcoherencetomography,OCT)技术[22]等,

数字全息显微技术具备以下优点:(1)属于面成像,在成像速度上极具优势,仅根据单次曝光即可实时记录待测样本完整三维信息[5,23],利于生物活体组织的动态变化的研究,传统方法主要基于点扫描成像;(2)属于宽光束照射,对光功率密度要求较低的同时无需荧光标记,实现了无扰分析,而激光扫描共聚焦需在样品上实现激光束聚焦,对焦点处的光功率密度要求较高,或需要对样品进行荧光标记,无法实现无扰分析;(3)可以得到细胞折射率分布信息,对比当前CT技术具有更高的空间分辨率,且对比度高,可实现自动聚焦,近场光学显微技术仅能实现表面成像,而光学相干层析成像技术虽能得到生物体组织内部的折射率分布信息,其空间分辨率约为5µm,成像深度在毫米量级,需要进一步改进才能观察人体细胞和亚细胞结构(1µm左右).通过数字全息显微技术能够实现宽视场亚微米级空间分辨率(0.5µm 左右),不仅可以清晰分辨人体细胞与亚细胞结构,并且可实现定量、三维和快速追踪的成像,在细胞成像领域上具有独特的应用价值.

本文从生物医学细胞成像应用需求出发,介绍了数字全息显微成像的原理,综述了同轴、离轴以及光镊辅助离轴数字全息显微系统如何对RBC进行形貌信息提取,重点分析了瑞利索末菲反向传播算法、清晰度量化算法、分水岭分割算法、数字重聚焦方法与热涨落方法在研究RBC的微形变、三维体积测量与空间分布等方面的应用,概述了当前数字全息显微成像的发展与应用前景.

2 数字全息显微成像原理

2.1 数字全息显微记录原理

数字全息显微光路如图1所示,其中Object plane 代表物平面x0-y0,MOplane 代表显微物镜平面xm-ym,Hologramplane代表全息记录平面x-y,Imageplane 代表透镜成像平面xi-yi,样品放置于距离显微物镜平面z0距离处[24],显微物镜平面与全息记录面距离为zm,全息记录面与透镜成像平面的距离为z,R 作为参考光,与经显微物镜放大后的物光O于全息记录面上发生干涉,形成明暗相间的干涉条纹,这些条纹记录了物体光波所有振幅与相位信息,是一个编码和调制的过程.

设物光在物平面的光场分布为O0(x0,y0),根据菲涅尔衍射近似条件,物光波经过距离z0衍射至显微物镜前表面时, 其光场复振幅分布Of(xm,ym)为

图1 数字全息原理示意图Fig. 1. Optical layout of digital holography.

其中,λ表示物光波长,x0与y0表示物平面上的空间坐标,xm与ym表示显微物镜平面上的空间坐标,z0表示物平面与显微物镜平面的距离. 由于显微物镜在全息记录过程中仅作为放大作用的透镜, 依据透镜的相位调制特性, 物光波经过显微物镜传播至其后表面时, 其光场复振幅分布Ob(xm,ym) 为

其中,f为显微物镜的焦距, 物光波由显微物镜后表面经过距离zm传播至全息记录面时, 其光场复振幅分布O(x,y) 为

由于显微物镜的放大作用, 全息记录面记录的物光场相对原物光场存在坐标缩放的关系. 同理,参考光传播至全息记录面的光学路径与物光类似,参考光到全息记录面的距离与物光到全息记录面的距离相等, 设参考光在全息记录面的光场分布为R(x,y) , 物光和参考光在全息记录面上发生干涉形成全息图, 全息图的光场分布为

则全息记录面上全息图的强度分布为其光场分布的平方, 其强度分布为

式中, 第一项表示物光的强度分布, 第二项表示参考光的强度分布, 第一项与第二项合称为零级项或直流项; 第三项表示物光场的复振幅分布, 包含了物光波波前的振幅信息与相位信息, 进行数值重建时可获得待测样本的真实物像[25]; 第四项表示物光场的的共轭复振幅分布, 数值重建时会产生孪生像, 这是全息图重建时获得重建像的最大干扰项,需要在重建过程中通过算法进行分离.

2.2 数字全息显微重建原理

数字全息重建通过计算机数值模拟重建光波经过数字全息图后的衍射过程, 实现数值重建, 在数字全息显微成像系统中重建的并非物光本身, 而是由显微物镜放大后所成的物光场, 根据近似条件不同可将模拟衍射成像方法分为菲涅尔重建法、卷积重建法、角谱重建法[26]. 三种重建法均基于菲涅尔-基尔霍夫衍射公式进行近似处理或变换后所得.菲涅尔重建法重建图像的像素尺寸δx与重建距离z满足关系:δx=λz/X0, 其中X0为全息图尺寸.这意味着重建图像的大小会随着重建距离增加, 而采用卷积重建法和角谱重建法所得图像像素尺寸始终与全息图像素尺寸相同. Kreis 等[27]采用菲涅尔重建法与卷积重建法分别对CCD 记录下的骰子全息图进行了重建, 其中骰子位于CCD 前1.054 m处, 且骰子尺寸大于CCD 尺寸. 采用菲涅尔重建法可直接重建完整的骰子图像, 而采用卷积重建法需要平移CCD 采集多幅全息图或者补零操作才能完整重建骰子图像, 因此菲涅尔重建法适用于尺寸大于像感器的待测样本. 王大勇等[28]分别利用菲涅尔重建法、卷积重建法与角谱重建法对骰子全息图进行重建, 比较了三种方法的重建速度, 其中菲涅尔重建法的执行时间为0.97 s, 速度最快, 而卷积重建法的执行时间为2.36 s, 速度最慢, 另外角谱重建法的执行时间为1.22 s. 菲涅尔重建法仅通过一次正傅里叶变换即获得重建像; 卷积重建法由于其传播函数在空域中表示, 需要经过两次正傅里叶变换和一次逆傅里叶变换获得重建像; 角谱重建法与卷积重建法原理类似, 其传播函数在频域中表示, 需要经过一次正傅里叶变换和一次逆傅里叶变换获得重建像, 通过比较像质得到角谱重建法的准确性优于卷积重建法. 而根据USAF 鉴别率板的重建, 得到在卷积重建与角谱重建中均存在最优重建距离, 当重建距离不同于最优距离时, 重建像的分辨率会下降, 此时角谱重建法的结果优于卷积重建法[29,30]. 卷积重建法仅能在最佳重建距离附近较小的范围内获得高分辨率重建像, 适用性上存在不足, 而角谱重建法重建速度较快, 在最佳重建距离附近较大范围都能获得高分辨率的重建像[31].

下面以卷积重建法与角谱重建法为例, 介绍生物细胞全息图的重建, 卷积重建过程由记录全息图的光场分布H(x,y) 以及卷积重建空域内的传播函数h(xi −x,yi −y) 构成, 通过快速傅里叶变换(fast Fourier transform, FFT)进行运算:

而角谱重建过程由光场分布H(x,y) 与角谱重建频域内的传播函数G(fxi,fyi) 构成, 通过FFT 进行运算:

其中,F与F−1分别表示快速傅里叶变换与快速傅里叶逆变换, 如图2 所示,x,y表示全息记录面上的空间坐标,xi与yi表示重建成像平面上的空间坐标,fxi与fyi表示成像面上 (xi,yi) 对应的频率坐标,K(fx,fy)=F{H(x,y)}表示在全息记录面上的全息图频谱.

图2 数字全息显微重建原理图Fig. 2. Optical layout of digital holographic reconstruction.

重建图像的强度可根据|Γ(xi,yi)|获得, 由角谱分析方法可对(8)式进行进一步简化[32], 其表达式如下:

其中,λ表示光源波长,z表示全息记录面与成像面的距离. 可通过(7)式对记录面所得全息图进行卷积重建或结合(8)式与(9)式对记录面所得全息图进行角谱重建, 获得经显微物镜放大后待测样本的数值重建像.

对于同轴全息系统, 由于重建像与孪生像重叠, 需要在数字全息记录过程中引入相移装置, 再根据相移法将所需重建像与孪生像进行分离, 提取出待测样本的物像[33,34]; 对于离轴全息系统, 选择适当的物光与参考光的入射夹角, 使物光与参考光以一定夹角入射至像感器记录面上, 产生干涉全息图, 通过滤波以滤除孪生像, 提取出待测样本的物像. 在离轴全息系统中, 由于物光与参考光存在夹角, 会产生一次项附加相位(呈现斜面分布), 而无论是离轴还是同轴全息系统, 当RBC 等弱散射物体的相位信息加载于经显微物镜后形成的球面波上时, 均会引入二次项附加相位(呈现球面分布),这些附加相位所产生的调制会使待测样本自身的相位分布难以恢复, 引起包裹相位的欠采样, 最终影响到相位解包裹的准确性, 可在参考光路放置与物光光路完全相同的显微物镜进行补偿[35], 或通过数据拟合进行自动相位校正[36], 或采用前后两次拍摄全息图进行相位相减来实现相位校正[15],此时通过同轴或离轴系统获得的校正相位分布在[–π, π]之间, 还需要进行相位解包裹以实现待测样本相位图像的恢复[37,38].

为有效测量RBC 的微形变, 三维体积及其空间分布, 当前相关RBC 测量的数字全息显微系统在重建时主要采用卷积重建法或角谱重建法.

3 血红细胞数字全息显微成像系统

RBC 是血液中的主要有形成分, 约占血液体积的50%, 生存环境的改变会引起RBC 病理性变化, 如糖尿病患者体内的高血糖环境会导致RBC 双凹圆盘状丧失、形态拉长、体积减小、变形性降低[39,40], 心血管疾病患者体内RBC 体积分布宽度(RDW)升高[41,42], 帕金森氏疾病患者体内存在氧化应激, 氧化应激会引起体内RBC 功能性障碍与凋亡[43,44], 因此如何提取RBC 的生物学参数与形貌信息将有助于研究人体的糖尿病、心血管疾病、帕金森氏疾病等. 常规的RBC 血液测量技术血管造影与超声多普勒分析所提供的血管形状信息与血流速度信息的空间分辨率较差[45,46]; 粒子图像测速(particle image velocimetry, PIV)在血液动力学信息的测量得到广泛应用, 但其仅能在较浅的景深中固有地提供二维平面信息, 在应用范围上存在较大缺陷[47,48]; 光学相干层析成像在血流动力学领域中得到广泛应用, 能实现生物组织微观结构显示,但RBC 的对比度较低[49]; 光声成像(photoacoustic imaging, PAI)能同时实现灌注成像与血流成像,且RBC 的对比度较高, 但其难以完成单个RBC 的动态追踪[50]. 本节综述了同轴、离轴以及光镊辅助离轴数字全息显微技术, 这些技术利用瑞利索末菲反向传播算法、清晰度量化算法、分水岭分割算法、数字重聚焦方法等不仅可以获取高分辨率的血管形状与血流速度信息[51], 进一步地还能够检测单个RBC 的形状变化[52], 甚至可以完成RBC 动态追踪, 实时测量RBC 三维体积, 实现无损3D 成像[53,54], 对于人体的糖尿病、心血管疾病、帕金森氏疾病等病理研究具有重大意义.

3.1 同轴数字全息显微系统测量RBC 形变

为实现以数字全息显微成像技术为基础, 高效率、低计算强度、低成本地分析细胞的形态变化并跟踪轴向位置提取三维坐标, 瑞典于默奥大学Andersson 等[52]设计了一套同轴数字全息系统并提出了一种方法, 通过瑞利索末菲反向传播算法重建复振幅实部信息, 精确确定RBC 轴向位置并提供几何形状信息. 其光学系统的分析与实现可根据图3 所述结构进行描述, 光学系统围绕Olympus IX71 显微镜引入相关光学元件, 采用低成本发光二极管(470 nm, M470 L3-C1)发射LED 光[55], 多模光纤安装于压电控制显微镜载物台(PS)上方[56],载物台上放置单个RBC 样品, 其通过人体血液与500 µL 的 pH=7.4 磷酸盐缓冲溶液混合并离心提取制备而成, 多模光纤可以对LED 光进行频率滤波, 稳定输出光源, 经过RBC 发生衍射的光作为物光, 而未经过待测样本的光作为参考光, 两束光均 经 过 浸 水物镜MO(60×/1.40NA)放 大,在CCD 像感器上发生相干叠加, 记录下RBC 全息图, 其中显微镜的压电控制载物台可进行轴向移动以精确控制物面与记录面的距离 z , 以10 µm 为记录间隔分别记录z = 30—100 µm 共8 幅RBC 全息图像. 根据同轴全息重建算法分别对8 幅RBC 全息图进行重建, 计算各RBC 全息图像在不同重建距离 z′下的归一化强度, 认定归一化强度最大位置即几何焦点位置, 如图4(a)所示, 插图表示仿真实验使用6.3 µm 宽, 折射率 n=1.40 的RBC形状的Cassini 模型, 绿线与红线分别代表实际实验与仿真实验中RBC 在不同记录距离z =30—100 µm下对应的最佳反向重建距离, 可以看出, 在不同的记录距离z 下, 通过分别计算RBC全息重建图的归一化强度最大值, 可以精确地得到8 个记录距离下对应的几何焦点位置, 作为最佳反向重建距离, 仿真实验与实际实验所得到的反向重建距离曲线一致.

图3 同轴数字全息显微成像系统检测血红细胞形变[52]Fig. 3. Inline digital holographic microscopic system for detecting micro-deformation of RBC[52].

第一步, 在合适的记录距离下, 将实际实验RBC 与仿真实验RBC 在不同重建距离z′ = 0—100 µm 复振幅实部信息 Re(U) 进行对应比较, 图4(b)中表示绿线与红线分别代表当记录距离z = 60 µm时, 实际实验RBC 与仿真实验RBC 的复振幅实部信息 Re(U) 随反向重建距离变化而相应的值, 在相变位置z′ = 60 µm 周围, 实际实验RBC 与仿真实验RBC 的 Re(U) 曲线吻合良好; 第二步, 进一步研究RBC 微小形态变化对 Re(U) 的影响, 通过改变仿真实验RBC 的模型参数, 使初始RBC 发生微小形变, 微形变后RBC 在不同记录距离 z 下归一化强度峰值分布与初始RBC 基本重叠, 但其Re(U) 变化较大, 如图4(b)中紫线所示, z′ = 60 µm附近波峰值提高, 而波谷位置由z′ = 50 µm 处移至z′ = 35 µm 附近, 且波谷值出现了下降, 表明RBC 微小形变可根据检测 Re(U) 的变化得出; 第三步, 为证明提出实部信息 Re(U) 重建方法的鲁棒性, 作者在实际实验中选取了比初始RBC 体积小约20%的新型RBC 作为对象, 在仿真实验中更改RBC 模型参数, 使其表示为一个5.04 µm 宽的RBC 形状模型, 其实际实验RBC 与仿真实验RBC 在不同重建距离z′ = 0—100 µm 复振幅实部信息 Re(U) 的曲线如图4(c)所示, 实验结果表明, 在选取不同体积的RBC 的情况下, 实际实验与仿真实验的 Re(U)曲线仍良好吻合, 因此 Re(U)提供了足够信息以区分细胞不同的几何形状. 综上所述, 所提出瑞利索末菲反向传播算法可以实现细胞形状的辨别, 应用于生物学中数量庞大且深度不同的细胞在特定时间段内形态变化的病理研究.

图4 RBC 形变与重建的复振幅实部信息之间联系的结果分析 (a)不同记录距离z 下最佳反向重建距离z', 绿线代表实际实验, 红线代表模拟实验, 插图代表模拟实验所用RBC; (b)绿线代表实际实验RBC 的Re(U), 红线与紫线分别代表模拟实验中初始RBC 与变形后RBC 的Re(U); (c)所用RBC 比(b)所用小约20%, 绿线与红线分别代表实际实验与模拟实验所得Re(U)结果;(b)与(c)所用黑线表示RBC 的记录距离[52]Fig. 4. The relationship between the RBC deformation and the real part of reconstructed amplitude. (a) The reconstruction distance z' to the focus at different recording distances z of the simulated RBC (red) and the experiment using a real RBC (green). Inset shows the Cassini model of the RBC used in the simulations; (b) the experiment using a real RBC (green), the reconstructed Re(U) for the simulated unaltered RBC and a deformed RBC represented by the red and blue curves, respectively; (c) reconstructed data from a ~20% smaller RBC compared with the one used in (b). Red and green curves represent the Re(U) of simulation and experiment, respectively; Gray vertical line in (b) and (c) indicates position of the RBC[52].

3.2 同轴数字全息显微测量RBC 空间分布

通过高空间分辨率地提取血流量信息, 进而实现人体循环系统血管疾病的跟踪监测, 这是当前生物医学领域的重要课题之一. 韩国浦项科技大学Lee 等[51]提出了一套同轴数字全息显微系统, 通过数字全息显微成像技术对流动的RBC 逐一进行追踪, 引入了清晰度量化算法对重建的RBC 图像进行评估, 定位RBC 的精确深度位置, 可获取单个RBC 的运动状态, 实现高空间分辨率的血流量信息测量. 其光学系统的分析与实现可根据图5 所述结构进行描述, 注射泵(SP)注射血溶液经过肝素化处理, 防止凝结, 溶液中RBC 数量为3.2 ×103cell/mm3以防止RBC 在全息图中出现重叠.He-Ne 激光器发出632.8 nm 波长红光, 经过水溶液与氟化乙烯丙烯(FEP)微管后进入血溶液, 部分光经过血溶液中的RBC 发生衍射作为物光, 而未通过RBC 而直接透过的光作为参考光, 两束光由浸水显微物镜MO(20×/0.50NA)放大后在CMOS 记录面上发生相干叠加, 产生干涉全息图,由于血溶液折射率nmedium=1.346 , FEP 微管折射率nFEP=1.338, 水的折射率nwater=1.333 , 三者折射率几乎相同, 避免了折射像畸变问题. 实验初始阶段首先移动CMOS 像感器以找到同时满足成像清晰与足够视场两个条件的合适位置, 将CMOS像感器固定, 在测量体积600 µm × 350 µm ×350 µm 范围内可观察到185 个RBC. 根据同轴全息重建算法对RBC 图像进行重建, 重建距离设定为深度方向上以2 µm 为间隔建立共计200 个重建切片进行RBC 图像的重建得到重建图像.

图5 同轴数字全息显微成像系统追踪红细胞空间分布[51]Fig. 5. Inline digital holographic microscopic system for tracking spatial distribution of RBCS[51].

为得到流动RBC 实际深度位置z, 引入图像清晰度量化算法对重建图像进行判断[57]:

式中表示重建图像强度梯度的变化状况, 其中参数指标 LAP(z) 可以在忽略恒定强度梯度部分的情况下, 用于测量图像的高频边缘成分进而反映RBC 的聚焦值, 在本实验中对比其余图像清晰度量化算法其精度更高[58,59], 参数指标 LAP(z) 的大小随着重建距离z′的变化而变化, 可用于描述同一个RBC 在不同距离的重建切片下其聚焦值的大小变化, 由于实验在深度方向上以2 µm 为间隔建立共计200 个重建切片, 则同一个RBC 在200 个重建距离下存在200 个聚焦值, 以重建距离为横坐标, 用光滑曲线表示200 个聚焦值, 其聚焦值最大位置表示焦点位置, 定义此位置为RBC 的最佳重建距离, 根据计算显微物镜的轴向放大率可进一步得到RBC 的深度位置. 图6(a)表示CMOS 像感器所采集的RBC 全息图, 图中共存在185 个RBC, 且RBC 的深度互有异同. 首先对RBC 进行分割与重建, 根据清晰度量化算法对重建图像进行最佳重建距离判定, 进一步获得RBC 的深度位置. 图6(b)—6(d)分别表示重建距离z'= 168 µm、z'= 250 µm、z'= 382 µm 时RBC 重建图像, 其中箭头表示该重建距离下可清晰观察到的单个RBC 样品, 依次确定全息图中185 个RBC 的深度位置, 聚焦RBC 中心位置的光强度具有局部最小值, 可通过光强度大小判断每一个RBC 的横向位置 (x,y) .

综上所述, 可以获取全息图记录的每一个RBC 的三维信息, 其相关x,y,z测量精度如表1所示, 由表可知RBC 的横向信息与轴向信息的测量精度均较高, 能准确获取RBC 的三维信息. 进一步地, 通过CMOS 像感器的连续拍摄, 记录RBC 的运动轨迹全息图, 通过同轴全息重建算法对RBC 进行重建, 分析FEP 微流管内RBC 的三维运动, 实现RBC 动态追踪, 得到RBC 的实时空间分布.

图6 RBC 的全息图与重建图像 (a) CMOS 像感器拍摄FEP 微管内RBC 所得全息图; (b), (c), (d)分别表示不同重建深度下RBC 重建图像, 箭头表示聚焦的RBC[51]Fig. 6. The hologram and the reconstruction images of RBCs. (a) The RBC hologram obtained from CMOS; (b),(c), and (d) represent RBC reconstruction images at different reconstruction depths, respectively. Each focused RBC is shown by an arrow[51].

表1 RBC 横向信息与轴向信息的测量精度[51]Table 1. The lateral and axial measurement accuracy of RBC[51].

3.3 离轴数字全息显微系统识别RBC 形状

为实现高分辨率和无损地识别不同形状生物细胞[60,61], 韩国朝鲜大学的Moon 等[54]提出一套离轴数字全息显微系统用于测量RBC 的三维体积, 该系统引入分水岭分割算法, 它是一种基于拓扑理论的数学形态学分割算法, 将图像看作一幅地形图, 图像中每一点像素灰度值表示该点海拔高度, 将每一个局部极小值及其影响区域作为集水盆, 集水盆的边界形成分水岭, 根据图像自身灰度差异进行区域划分[62]. 通过分水岭分割算法对重建RBC 相位图像进行区分, 单独提取每一个RBC, 根据单个RBC 自身表面积和相位值使用自动算法分别计算每个RBC 的体积, 生成全部RBC 的三维体积分布. 为验证该方案的可行性, 通过上述方案分别计算生成口腔状RBC 与盘状RBC 的三维体积分布, 实验表明, 所提出的离轴数字全息显微成像方法可以对各种形状RBC 进行三维体积定量分析, 其光学系统的分析与实现可根据图7 所述结构进行描述, 激光器发射682 nm 波长红光, 由分束器(BS1)将入射光分为两束, 第一束经过待测样本发生衍射, 经显微物镜MO(40×/0.75NA)放大后作为放大物光先后经过反射镜与分束器后入射至CCD 像感器, 第二束光作为参考光, 通过分束器(BS2)后与放大物光在CCD 像感器上发生干涉, CCD 像感器记录生成的全息图.

图7 离轴数字全息显微成像系统测量不同形状RBC 三维体积[54]Fig. 7. Off-axis digital holographic microscopy system for measuring RBCs’ three-dimensional volume of different shapes[54].

根据离轴全息重建算法对记录的全息图进行重建生成RBC 相位图, 单个RBC 的体积计算公式如下:

其中,N表示RBC 的像素总数,p表示像素尺寸大小,φ表示RBC 内每个像素对应的相位值,M为显微物镜的放大倍数. RBC 折射率nrbc=1.396 ,HEPA 介质折射率nm=1.3334 .

为了研究不同形状RBC 的三维体积, 在图7 中选取了口腔状(stomatcyte)RBC 与盘状(discocyte)RBC 进行对比. 口腔状RBC 与盘状RBC 重建相位图像如图8(a)、8(b)所示, 通过分水岭分割算法去除相位图像背景与RBC 的互相重叠部分, 对RBC 进行逐一区分, 如图8(c), 8(d)所示, 可以看出口腔状RBC 的重建相位图像与盘状RBC 的重建相位图像中相邻细胞间均明显隔开, 能够实现单个口腔状RBC 或盘状RBC 的提取. 为了对RBC的三维结构进行更合理地分析, 通过标记分水岭分割算法对图8(e)所表示的单个RBC 进行标记, 得到标记后的单个RBC 的整体C 部分, 如图8(h)所示, 经过标记分水岭分割算法计算得到单个RBC 的A 部分, 如图8(f)所示. 通过减法运算, 将单个RBC 的整体C 部分减去A 部分可得到RBC的B 部分, 如图8(g)所示.

图8 RBC 的相位重建图像 (a)重建的口腔形状RBC 相位图像; (b)重建的盘状RBC 相位图像; (c)重建后经分水岭算法分割的口腔形状RBC 相位图像; (d)重建后经分水岭算法分割的盘状RBC 相位图像; (e)分割的单个RBC 相位图像; (f)(g)(h)分别经标记分水岭算法进一步分割得到的单个RBC 的A、B、C 部分[54]Fig. 8. The reconstructed phase image for RBCs (a) The reconstructed phase image for RBCs having a stomatocyte shape; (b) the reconstructed RBCs phase image for RBCs having a discocyte shape; (c)the segmented phase image for RBCs having a stomatocyte shape; (d) the segmented phase image for RBCs having a discocyte shape; (e) the segmented phase image for single RBC(f), (g) and(h) represent the A, B and C parts by the marker-controlled watershed algorithm in RBC, respectively[54].

为了对两种不同形状RBC 的三维体积进行定量研究, 首先计算出最佳重建距离下RBC 的相位分布, 再根据(11)式分别对每个口腔状或盘状RBC 的A 与B 部分进行计算, 得到平均体积和均方根误差的数值, 结果如表2 所示. 由表可知盘状RBC 的A 部分体积大于口腔状RBC 的A部分体积, 而B 部分体积小于口腔状RBC 的B部分体积, 根据进一步的统计假设检验证明了RBC 的三维体积随着其形状的改变会出现较大区别[63]. 综上所述, 根据RBC 的体积自动计算算法结合分水岭分割算法可以研究不同形状RBC 的三维体积并且实现实时检测RBC 的三维体积变化, 对生物医学领域中细胞成像发展研究具有极大价值.

表2 两种不同形状RBC 的A、B 部分的三维体积Table 2. The different shapes of RBC’s three-dimensional volume of A and B parts.

3.4 离轴数字全息显微系统测量RBC 体积

数字全息的定量相衬成像在显微生物成像中具备了多种新应用[64], 其中包括微观对象的评估,如生物细胞生长观测[65], 由渗透压引起的细胞体积变化检测[66], RBC 监测[67]. 这些研究中通常使用定性指标即通过重建图像视觉质量来进行焦平面评估, 因此获取结果具有不确定性[68−70]. 基于此, 美国杜克大学 Wax 等[53]设计了一套离轴数字全息系统并提出了一种数字重聚焦方法, 通过定量指标评估焦平面并描述微观物体的方法, 在尝试多种最佳焦平面的评估方法并对比每种方法的重建图像效果后, 选择振幅方差最小化作为定量指标,由于其在评估物体透射的相位图像时, 在深度方向聚焦清晰度与聚焦范围均具有较大优势, 且计算量较小, 可找到理想的焦平面位置. 其光学系统的分析与实现可根据图9 所述结构进行描述, 低相干激光器发射589 nm 黄光, 分束器将黄光分为两束,由后向反射镜实现两束光的光程匹配, 第一束光通过后向反射镜调整光程入射至RBC 发生衍射,RBC 置于样品台上, 样品台可移动以控制样品与焦平面距离, 衍射光经过显微物镜MO( 40×/0.75NA)放大后作为放大物光入射至CMOS 像感器; 另一束光作为参考光通过后向反射镜调整光程经显微物镜MO(40×/0.75NA)放大后作为放大参考光与放大物光在CMOS 像感器上发生相干叠加, 形成全息图, 由CMOS 记录生成的全息图.

图9 离轴数字全息显微系统研究散焦现象对RBC 三维体积测量影响[53]Fig. 9. Off-axis digital holographic microscopy system for investigating the effect of defocus on RBC three-dimensional volume measurement[53].

根据离轴全息重建算法对记录全息图进行重建, 获得RBC 重建图像. 为检验该定量指标评估焦平面后重建物体的指标, 定义了微观物体的光学体积, 公式如下

其中, 光程长度的变化 ∆OPL(x,y)=∆φ(x,y)/k=∆n(x,y)·h(x,y)用于描述微观物体,h(x,y) 表示物体的厚度(高度)图, ∆n(x,y) 表示物体折射率图,k=2π/λ表示波数, 合并 ∆OPL(x,y) 参数产生物体光学体积OV的度量, 若物体的折射率均匀,即 ∆n(x,y)=∆, 说明物体光学体积与物体真实体积线性相关,OV=∆.

为进一步比较定性指标与定量指标分析中分别评估得到的焦平面效果, 根据焦平面各自对应的重建物体图像的光学体积对比原物体光学体积真值, 以误差值衡量所得焦平面的效果. 引入直径为8 µm 的聚苯乙烯微球(直径变异系数1%)作为样品, 首先根据人工聚焦方法即重建图像视觉质量来进行焦平面评估, 移动样品台通过CMOS 像感器记录微球全息图, 在不同重建距离下对微球图像进行重建, 通过人工观察重建微球的图像质量确定最佳焦平面位置, 再计算重建微球的相位分布, 设定此时重建微球球心所在平面位置为z= 0. 根据提出的数字重聚焦方法计算z= ± 50 µm 范围内微球球心处的振幅方差, 确定振幅方差最小值位置为z= –2.46 µm, 将其作为最佳焦平面位置, 并计算微球的相位分布. 通过(12)式分别计算人工聚焦方法与数字重聚焦方法所得微球光学体积, 对比微球光学体积真值(1%的直径变异系数对应于3%光学体积变异系数), 结果如表3 所示. 表中±7.98 fL 表示聚苯乙烯微球3%的光学体积变异系数, 人工聚焦方法测得微球OV= 281.7 fL, 以5.90%比率高于微球真值OV= 266.0 fL, 而数字重聚焦方法测得微球光学体积为OV= 266.6 fL,仅以0.22%比例高于微球光学体积真值, 说明根据数字重聚焦方法所得焦平面更具可靠性, 将其认定为理论最佳焦平面, 此时人工聚焦方法所得z=0 处距离理论最佳焦平面距离为2.46 µm, 侧面反映了即使在2.46 µm 的轻微散焦距离下, 所测得光学体积结果仍会产生明显误差. 为研究散焦距离变化对微球光学体积测量结果的影响, 通过移动控制台改变微球散焦距离, 实时测量对应微球的光学体积, 对比最佳焦平面处测得微球的光学体积, 可以得到, 即散焦距离每改变1 µm,其光学体积测量结果相差2.2%, 当散焦距离达到± 10 µm 时, 会出现相位包裹伪影进一步降低测量精度, 而根据数字重聚焦方法可以解决散焦的问题, 进一步证明了该方法在待测样本光学体积测量时的高精度优势.

表3 人工聚焦方法与数字重聚焦方法测得微球光学体积对比[53]Table 3. Comparison of OV measured by manually-focused and digitally-refocused methods[53].

为显示生物样品中光学体积测量中散焦的影响, 选取单一RBC 作为测试样品, 在约200 µm 范围人工选取7 个不同焦平面, 分别对RBC 进行重建得到相对应的振幅图与相位图, 如图10(a)中首行与中间行(A—G)所示.

图10 对单一RBC 图像进行数字重聚焦与相应的RBC 光学体积测量 (a)通过人工聚焦方法与数字重聚焦方法对单一RBC 重建所得振幅图与相位图; (b)A—G 的振幅方差分布; (c)RBC 在人工聚焦方法所得光学体积(黑线)与数字重聚焦方法所得光学体积(蓝线), 光学体积OV 表示为平均值 ± 标准差[53]Fig. 10. Digital refocusing of a single red blood cell image and corresponding optical volume measurements. (a) The amplitude and phase images by the manually-focused method and digitally-refocused method from a single RBC; (b) amplitude variance metric of holograms A-G; (c) computed OV of RBC from manually-focused phase images(black) and digitally-refocused phase images(blue).OV reported as mean ± standard deviation[53].

其中, D 图表示重建微球视觉质量最佳时所得微球的振幅图与相位图, D 图的焦平面位置即为定性指标中最佳焦平面位置, 分别计算A—G 对应的振幅方差最小值可得到7 个焦平面相对定量指标中理论最佳焦平面位置(z=0 )各自的散焦距离,如图10(b)所示, 人工聚焦方法所得重建RBC 图像A—G 的光学体积计算结果如图10(c)中黑色线所示, 随着散焦距离的变化, RBC 在OV=5.15—7.03 fL (σ=13.55% )范围内波动, 散焦距离较大影响了RBC 体积测量数值的可靠性; 而通过数字重聚焦方法获取振幅方差最小值以得到理论最佳焦平面位置, 重建所得RBC 相位图如图10(a)末行所示, 通过数字重聚焦方法所得A—G 的相位图相似, RBC 的光学体积仅在OV= 5.54—5.70 fL(σ=0.99% )范围内波动, 进一步证明数字重聚焦方法对光学体积测量的实用性与可靠性. 综上所述, 根据数字全息显微成像方法表征微观物体三维体积时, 重建图像的散焦现象是潜在的重要误差来源, 提出的数字重聚焦方法能够以定量指标评估焦平面, 对重建RBC 进行光学体积测量, 实时获得准确RBC 的三维体积, 可广泛应用于人体的心血管疾病与糖尿病的病理研究之中.

3.5 光镊辅助离轴数字全息系统

帕金森氏疾病(PD)作为一种中脑区神经元丢失的神经退行性疾病, 随着PD 发病机理研究的不断深入, 在各种病理假设之中, 氧化应激是引起细胞功能障碍与细胞凋亡的主要因素[43,44]. 在随后的研究中, 证实了PD 中氧化应激的存在, 根据以往研究发现氧化应激还会诱导细胞变形[71], 因此,研究氧化应激下细胞的机械性能对PD 的研究具有重要意义. 基于此, 祝连庆等[72]设计了一套光镊辅助离轴数字全息显微系统, 用于研究氧化应激下RBC 的高度与三维体积变化, 有助于帕金森氏疾病的深入研究. 其光学系统的分析与实现可通过图11 所述结构进行描述, 引入含有链霉亲和素涂层的聚苯乙烯微球(直径4 µm)以2∶1 的浓度比与人类RBC 样本进行混合至磷酸盐缓冲溶液之中(PBS, pH = 7.4), 筛选出RBC 水平两侧分别连结一个微球的样品作为实验待测对象, 如图11中待测样本放大图所示. 具有统一参数的水平两侧微球通过光镊控制一侧微球静止, 另一侧恒定慢速移动以实现RBC 的拉伸, 考虑到RBC 的尺寸并非绝对均匀, 因此, 从满足实验条件细胞中随机选取10 个RBC 取计算结果平均值, 通过如图11 所示光学系统进行全息图的记录, 光学系统由离轴数字全息显微系统与光镊组成, 632.8 nm激光器发射红光通过分束器(BS1)分为物光与参考光, 物光通过油浸物镜MO(60× /1.40NA)放大后与参考光于CMOS 像感器记录面上发生相干叠加, 形成干涉全息图, 参考光的反射角度通过反射镜的倾斜度调整, 用于控制干涉条纹的方向与宽度, 1064 nm激光器(5 W, Nd: YAG)作为光镊的照明光源, 发射红外光通过二向色镜(DM)进入倒置显微镜的后孔形成光镊, 其中声光偏转器(AOD)通过声光的相互作用, 改变激光角度从而控制RBC 水平两侧微球的位置以实现拉伸.

利用离轴全息重建算法对CMOS 像感器所记录的全息图进行重建, 并通过重建相位图像的参数计算不同氧化应激浓度下RBC 的高度与三维体积, 公式如下:

图11 光镊辅助离轴数字全息显微系统测量RBC 体积[72]Fig. 11. Off-axis digital holographic microscopy system with optical tweezer for measuring RBCs’ three-dimensional volume[72].

其中,λ代表全息显微系统中的激光波长(632.8 nm),φ代表相位值, RBC 的折射率ncell=1.37 ,溶液的折射率nmedium=1.34,V表示RBC 的体积,h(xi,yj)表示RBC 上任意点的 (xi,yj)的高度,M和N表示RBC 的横向坐标范围.将过氧化氢(H2O2)溶液(0.1 mol/L)在PBS中稀释至50、100、150 和200 µmol/L 对照组, 置于5 个培养皿中, 与符合实验条件附着有微球的RBC 样品进行混合. 为具体分析陷阱的拉伸力与细胞变形之间的关系, 需对光阱刚度值进行校准,校准分为已知力校准方法和热涨落方法[73,74]. 热涨落是系统在平衡状态下相对于其平均状态的随机偏差, 是系统温度的基本体现, 根据Boltzmann 统计分析热噪声下随机运动粒子的布朗轨迹, 可以获得粒子位移概率分布图, 接着通过计算粒子的电势获得光阱刚度k, 该值被校准为14.23 ± 0.46 pN/µm.校准后保持激光功率不变以确保光阱强度均匀. 光阱拉伸力F由光阱刚度k和微球与陷阱之间中心差 ∆x共同确定, 控制陷阱拉伸力在0~3 pN 之间变化. 将RBC 所能达到的最大高度值定义为H,同时为了清楚观察H的变化, 在图12 中分别显示了H大于2 µm 的高度部分, 随着氧化应激浓度的增大, RBC 的细胞膜出现粗糙度且其边缘呈现锯齿状. 分别计算五项氧化应激浓度下测量所得10 个RBC 的最大高度与三维体积的平均值, 能够更直观比较RBC 在不同浓度氧化应激下高度与三维体积的变化, 绘制的相关折线图如图13 所示,H/H0表示拉伸过程中细胞的最大高度H与未拉伸前RBC 的原始高度H0的比值, 图13(a)表示0—200 µmol/L 氧化应激浓度下RBC 高度比H/H0与陷阱拉伸力的关系, 反映了RBC 的微形变机械性能, 由图可知, 随着氧化应激浓度的增加,RBC 的变形能力下降, 因此氧化应激下的RBC 其机械性能会受到严重影响. 图13(b)表示0—200 µmol/L 氧化应激浓度下RBC 三维体积的变化, 由图可知, 对比不加入H2O2的常规PBS 中的RBC, 氧化应激使RBC 的体积减小, 在50—200 µmol/L 的H2O2浓度下, RBC 的体积变为初始体积的90%—87.3%, 该结果与过往研究相一致[75]. 综上所述, 在氧化应激下RBC 的机械性能会发生变化, 微形变能力下降, 而氧化应激是导致PD 的主要因素, 该光镊辅助离轴数字全息显微成像的技术将助于PD 的基础研究与临床应用.

图12 0−3 pN 陷阱拉伸力变化下不同浓度(0−200 µmol/L)氧化应激下重建RBC 的高度变化, 颜色深浅代表RBC 高度的大小[72]Fig. 12. Height change of reconstructed RBCs under different concentrations of oxidative stress (0−200 µmol/L). Four images in each group are corresponding to trap force varying from 0−3 pN. Color bar represents different thickness[72].

图13 RBC 在不同浓度氧化应激下的性能 (a)不同浓度氧化应激下RBC 最大高度H 与陷阱拉伸力关系; (b)不同浓度氧化应激下RBC 体积[72]Fig. 13. Performance of RBC under different oxidative stress. (a) The relationship between the maximum height H of RBC and the trap tensile force under different oxidative stress; (b) the volume of RBC under different oxidative stress[72].

4 结论与展望

本文简要介绍了数字全息显微成像由全息图记录到全息图重建的原理, 分析讨论了不同数字全息显微系统在RBC 成像的应用, 在数字全息显微系统方面, 主要分为同轴、离轴、光镊辅助离轴的数字显微全息成像系统. 同轴数字全息显微成像系统光路简单, 可采用激光作为光源, 但其对光源的相干性以及系统的稳定性要求相对离轴数字全息显微成像系统较低, 可通过弱相干光源(如LED)代替激光作为光源, 采用弱相干光源避免了激光产生的散斑噪声, 可以得到较好的生物细胞图像, 降低成本, 装置结构轻便, 便于集成. 离轴数字全息显微成像系统引入参考光光路, 通过改变参考光入射角度, 实现重建像与孪生像的分离. 光镊辅助离轴的数字全息系统中, 光镊作为辅助检测的手段,可给予活体细胞不同拉伸力使之产生形变, 并根据离轴数字全息系统对细胞进行实时成像, 进而对活体细胞的性能进行更深一步的研究. 在不同的实验要求下, 可根据具体需求选择合适的全息显微成像系统以实现实验目的.

在细胞三维信息提取的过程中, 数字重聚焦方法选择图像在不同距离下振幅方差最小值作为定量指标代替图像视觉质量判断的定性指标, 以评估RBC 的焦平面位置, 减少由于散焦造成的三维体积测量误差. 或根据图像清晰度量化算法也可以实现RBC 焦平面评估, 确定重建距离, 通过重建图像信息进一步获取RBC 表面积、相位值, 并根据入射光波长、折射率等参数信息计算RBC 高度与三维体积, 也可通过反向重建放大物光复振幅的实部信息来判断RBC 几何形状的变化; 对于多个RBC 的情况, 引入分水岭分割算法对重建RBC 相位图像进行分割, 单独提取每一个RBC 后, 再通过上述算法分别计算每个RBC 的高度与三维体积并取对应平均值获得RBC 整体三维信息. 更进一步地, 通过光镊控制RBC 拉伸产生微形变, 根据细胞的三维信息探究RBC 在不同浓度氧化应激下的形变能力.

通过数字全息显微成像技术有效实现细胞三维体积的测量, 并且可以检测出细胞几何形状的微小形变, 对比于当前显微成像领域广泛运用的激光扫描共聚焦显微技术, 近场光学显微技术, 光学相干层析成像技术, 其非接触、无损性、定量化、实时性的优势更有利于细胞生物学参数与细胞性能的研究. 未来数字全息显微成像技术有两个大方向可以进行持续探索, 一方面可进一步发挥先进光学器件优势, 在硬件上实现分辨率的提升, 并设计更优化的重建算法, 通过更少的数据量与更精确的焦平面评估来实现更高分辨率, 更高精度的细胞成像;另一方面由于系统的分辨率受限于显微物镜数值孔径, 可采用合理的数字全息无透镜成像方法, 待测细胞与像感器之间不存在光学透镜, 因此可避免透镜表面灰尘造成的杂散光影响, 且简化了成像的光路, 具有更大的成像视野, 同时满足细胞显微成像的大视场与高分辨率需求, 便于细胞成像研究方面的集成化运用. 同时, 基于深度学习的图像重建算法的发展, 可根据增加像素数的方式在传统方法的基础上进一步提升细胞成像的分辨率, 提高成像质量.