张经科 何琼,2 罗建文

(1 清华大学医学院生物医学工程系 北京 100084)

(2 清华大学-北京大学生命科学联合中心 北京 100084)

0 引言

医学超声成像由于其无创、实时、性价比高的特点，在临床疾病诊断和治疗评估中得到了广泛的应用。传统B模式聚焦波成像帧频约30～40帧/秒，可以满足观察组织的生理解剖结构的要求，如颈动脉斑块、腹部成像等。进一步提高成像帧频将为大量的医用超声新应用带来可能，例如三维超声成像、心脏成像、剪切波弹性成像、功能超声成像以及超声定位显微(Ultrasound localization microscopy,ULM)成像等。目前提高帧频的方法中，并行发射(Multi-line-transmit,MLT)成像所同时发射的多个波束可能带来串扰的影响；并行接收(Multi-line-acquisition,MLA)成像所发射的宽波束将导致聚焦效果变差，进而影响图像质量；合成发射孔径(Synthetic transmit aperture,STA)由于每次仅有单个阵元发射，图像信噪比(Signal-to-noise ratio,SNR)较低。并且，上述方法对帧频的提高效果有限。平面波成像通过单次全孔径发射-接收即可获取整幅图像，显著地将成像帧频提升至1000帧/秒以上，已应用在剪切波弹性成像[1]、脑功能成像[2]以及超声定位显微成像[3]等方面。

平面波成像的过程如图1所示[4]。平面波成像通过控制阵元激励延时，发射具有平面波前的超声波以覆盖整个成像区域(图1(a))，然后用全孔径接收并记录回波通道信号(图1(b))，最后根据感兴趣位置的超声飞行时间(Time of flight,TOF)对通道数据进行延时和叠加(Delay-and-sum,DAS)，即对每个点进行波束合成，得到图像数据(图1(c))。由于平面波成像通过一次发射、接收即可获取整幅图像，其帧频主要受成像深度影响，在一般医用超声成像条件下，帧频可以达到1000帧/秒以上，在近年来引起了研究人员极大的关注。然而，由于发射波束的不聚焦，导致回波信号信噪比降低，并使图像的分辨率和对比度变差。通过多角度相干复合技术对多个角度偏转发射并波束合成后的平面波图像求平均，可以提升平面波成像的图像质量。然而，这将牺牲平面波成像帧频。实际应用时，需要在图像质量和帧频之间取得平衡。图2是使用3种不同发射序列的B模式图像对比。其中，单一角度平面波发射提供了接近10000帧/秒成像帧频，但是图像质量较差、对比度较低；通过71角度的相干复合，在成像区域的所有深度都获得了图像质量的提升。

图1 单一角度平面波成像的流程图[1]Fig.1 Schematic representation of the single transmit plane wave method[1]

图2 使用3种不同发射序列的B模式图像对比[1]Fig.2 B-mode images obtained using different imaging sequences[1]

为了尽可能保留平面波成像高帧频的优势，研究人员开始将新的先进波束合成方法应用于平面波成像中，以减少达到同样图像质量所需要发射的平面波数量。这些波束合成方法可以分为自适应、基于逆问题求解以及基于深度学习等3类，本文将对其研究进展进行综述。

1 自适应波束合成方法

目前超声成像中，通常使用DAS加上动态孔径和幅度变迹等技术完成波束合成。其中，动态孔径通过调整在近远场接收孔径的大小，可以有效改善近场区的图像质量，并保持图像效果的一致性；幅度变迹作为抑制旁瓣的重要方法，对改善图像质量尤其是对比度有重要意义。然而，传统幅度变迹过程中所使用的窗函数权值，通常是依据深度而预先设定好的一组固定参数，没有充分考虑回波信号本身的特性；因此，在一定程度的旁瓣衰减后，主瓣宽度也会随之增加，也即分辨率变差[5]。因此，越来越多的学者开展了对自适应波束合成方法的研究，希望充分利用超声回波信号的统计特性，动态地计算回波信号的加权值，同时实现抑制旁瓣以及减小主瓣宽度的目的。多种自适应方法在聚焦波成像中获得良好效果，也逐步被引入了平面波超声成像中。

1.1 最小方差方法

最小方差(Minimum variance,MV)方法于1969年由Capon[6]所提出，也是被研究较多的自适应波束合成算法。该方法通过保持来自目标成像的信号功率不变时，使得波束合成的输出能量最小，也即在期望信号不受损时，总输出功率最小，从而通过凸优化方法求取通道最优权重。在心脏和腹部的成像中，MV相比于DAS在分辨率和对比度上均取得优势[7]。在MV被引入平面波成像后，逐步分为两类方法：第一种将MV用于每个角度的平面波波束合成，再配合传统相干复合技术获得提升的图像质量[8]；第二种通过MV来计算相干复合中各不同角度偏转图像的权重，其中每个角度的波束合成通过传统DAS算法完成，其结果见图3(b)。相比于对于每一个完整的偏转序列均进行一次计算[9−10]，Zhao等[11]将多次采集合并在一起进行权重计算，进一步减少了计算量。Qi等[12]将子孔径相干(Subarray coherence,SC)技术和MV技术相结合，显著提高了平面波相干复合的图像质量。Bai等[13]将基于特征空间的MV、基于互相关的多变迹(Multiple apodization with cross-correlation,MAX)技术以及空减影成像(Null subtraction imaging,NSI)相结合，在提高分辨率和对比度的同时，减少了计算复杂度。

1.2 短间隔空间相干成像

短间隔空间相干(Short lag spatial coherence,SLSC)成像将接收到的通道数据进行延时、组合、相乘和加和以计算接收孔径内的空间协方差，在进行归一化以消除接收信号强度的影响后，可以求得回波信号在不同阵元间的空间相关性，并最终形成SLSC图像[14]。通常来说，强回声的散射子和相邻的无回声区相比，其回波信号在阵元间具有更高的相关性。SLSC图像通过描述超声回波信号的空间相关性，在信噪比较低的情况下仍具有较强的病灶检测能力[15]。由于SLSC成像基于各通道间信号的相关性，当发射波束较宽时效果不好[14]，因此不适合直接用于平面波成像中，其研究主要集中于聚焦波成像中。Chau等[16]参考SLSC方法，计算图像各成像点上相干复合时各角度图像的权重，其结果见图3(c)，结果显示该方法具有提升图像的对比度的能力。

1.3 相干系数方法

还有一类基于相位相关性的方法，即最早由Hollman提出的相干系数(Coherence factor,CF)方法。相干叠加后信号的能量和所有接收信号的能量之比被用于DAS的后处理，以压制不同相的信号，并突出来自成像点的信号，以提升相比于DAS的轴向和横向分辨率[17]。然而，这种方法容易受到声速不均匀的影响。Li等引入了广义相干系数(Generalized coherence factor,GCF)将信号的频谱低频成分也考虑进CF的因子中，增加了对于声速不均匀带来的接收聚焦容错性，提高了系统鲁棒性[18]。Wang等[19]将GCF引入平面波复合中，其结果见图3(d)。Deylami[20]进一步将MV和GCF相结合，以同时利用MV改善图像分辨率和对比度以及GCF提升分辨率的能力。为了解决传统基于强度的相干因子无法有效抑制栅瓣的问题[21]，研究人员提出了基于相位信息的相位相干系数和符号相干系数[21]。Lokesh等[22]将其引入平面波成像中，验证了其提升图像分辨率的能力；然而，在平面波成像中，其对于栅瓣的抑制能力还有待研究。

图3 DAS方法与不同的自适应波束合成方法结果的对比Fig.3 B-mode images obtained using DAS and different adaptive beamformers

1.4 延时-相乘-叠加方法

Matrone等提出了延时-相乘-叠加(Filtered delay multiply and sum,F-DMAS)非线性波束合成算法。相比于传统DAS算法，各通道的信号被相互组合并相乘后才进行叠加，在提升图像质量和增加计算量间取得了较好的平衡[23]。Matrone等[24]和Moubark等[5]进一步研究了F-DMAS算法在平面波成像中的效果。图4分别是51个、17个角度相干复合下DAS和DMAS的结果对比。可以看出，DMAS对于囊肿内部的旁瓣等噪声具有更好的压制能力。然而，定量研究显示[24]，该方法由于对旁瓣的压制取得了更高的对比度(Contrast ratio,CR)；但是，其结果中背景散斑的方差变大，也即背景散斑变暗，导致相比于DAS结果对比度噪声比(Contrast-to-noise ratio,CNR)和信噪比都较差。

2 基于逆问题求解的波束合成算法

DAS的原理和计算机断层(Computed tomography,CT)成像中常用的反投影算法类似，虽然DAS可以通过相干叠加来消去不相干信号，但依然只能获取成像组织散射系数的低质量近似解。

稀疏正则化(Sparse regularization,SR)技术求解逆问题是反投影算法的一种重要替代方法，在磁共振成像[25]和CT成像[26]中均取得了较好的效果。SR技术同样被引入了平面波超声成像中，期望相比于传统DAS算法以更少的平面波发射重建出高质量的图像。这类方法通常需要先建立一个描述问题的线性前向模型y=Hx，其中H称为测量矩阵(Measurement matrix)，y为测量信号，x为待求解信号。从已知的y中求解出x是稀疏正则化需要解决的问题，通常该问题是病态的，因此需要引入关于信号稀疏性的先验信息。若x在某个变换域内是稀疏的，可以表示如下x=Ψv，其中Ψ为稀疏基，v中非零元素的个数远小于元素的总个数。最后，虽然该问题仍然是病态的，但由于v中大量元素为0，可以应用凸优化算法求解，其优化问题可以表示如下：

图4 不同角度相干复合下DAS和DMAS的结果对比[24]Fig.4 B-mode images obtained using DAS and DMAS with different number of transmitted PWs[24]

其中，||·||1、||·||2分别表示1-范数和2-范数，ε为容许误差。将所求的v带入x=Ψv中即可获得待求解信号x。研究人员已经在频域和时域建立了不同的求解模型，并通过SR技术求解。

2.1 频域模型

研究表明，频域波束合成方法的目标是通过非均匀傅里叶变换(Non-uniform FT,NUFT)从背向散射回波信号中求取出波束合成后图像的频谱[27]。

Zhang等[28]依据成像区域几何关系及系统的频域内响应，推导出通道信号频谱和待重建的组织反射性之间的关系，并依此建立了近似的线性频域内测量矩阵模型。Besson等将传统频域波束合成方法即傅里叶切片波束合成(Fourier slice beamforming,UFSB)[29]方法及Lu[30]提出的有限衍射波束方法与逆问题求解相结合，将描述通道数据频谱与待重建信号频谱之间关系的非均匀傅里叶变换过程建模成为逆问题并求解[31]，并通过实验对比了传统方法和结合逆问题求解后的结果。图5分别展示了通过传统的UFSB与有限衍射波束方法和结合逆问题求解的UFSB与有限衍射波束方法的结果图。可以看出，基于SR方法重建的图像(图5(c)和图5(d))相比于传统频域波束合成方法重建的图像(图5(a)和图5(b))的对比度有着显著的提升，背景中的噪声也得到了较好的抑制。Schiffner等[32]提出了一个时间-频率混合模型，来分开处理带宽内的不同频率，提高了模型对于畸变效应的鲁棒性。这类方法的主要问题在于，其测量矩阵将占用巨大的内存(数百GB)。

图5 基于频域模型的逆问题求解波束合成结果对比图[31]Fig.5 B-modes images using classical method and inverse problem based method with UFSB and Lu[31]

2.2 时域模型

Berthon等[33]和Guillaume等[34]分别测量了位于成像区域不同位置散射子的点扩散函数(Point spread function,PSF)，并以此构建了前向模型中所需的测量矩阵。不同点在于：前者引入吉洪诺夫(Tikhonov)正则作为稀疏约束，并推导出了逆问题的解析解；后者引入小波变换作为稀疏约束，并通过优化算法逐步逼近数值解。上述两种方法都存在测量矩阵占用内存过高的问题，限制了其在实际系统中的应用。Wang等[35]和Szasz等[36]在构建测量矩阵时，将发射超声信号考虑为冲激脉冲，来构成一个大量元素为0的稀疏化测量矩阵，以减少内存占用，并引入超声信号在小波域稀疏的先验信息完成数值求解。该方法解决了时域模型中的内存占用问题，却仍然面临着重建耗时过长的问题。Besson等[37]提出了一种无须存储的在线测量矩阵构建方法，高效地利用了图形处理器(Graphics processing unit,GPU)的并行特性，同时计算不同成像网格点上的冲激响应，进一步解决了内存占用的问题，并首次将重建单角度平面波的时间减少至200 ms以下，为实时重建提供了可能。就图像质量而言，时域逆问题求解方法通常带来分辨率和对比度的显著提升。图6为Besson等提出的时域模型的重建结果[37]。可以看出，基于SR方法重建的图像(图6(b)和图6(d))相比于DAS重建的图像(图6(a)和图6(c))的对比度有着显著的提升。

图6 基于时域模型的逆问题求解波束合成结果对比图[37]Fig.6 B-mode images using DASand temporal inverse problem based method[37]

在基于频域模型和时域模型的SR技术中，稀疏基的选择对于重建图像质量有较大影响。稀疏平均(Sparsity averaging,SA)[38]技术相比于传统单一小波基方法具有优越性[31]，已经成为了SR技术中最常用的稀疏基。除此之外，也有研究者尝试不使用稀疏平均技术，而是引入其他基于超声信号物理特性的约束项作为先验信息。例如，Ozkan等[39]使用波束合成前后信号频谱分布不变、波束合成后信号在频率域的平滑性等特性，并在以梯度下降的迭代方法进行求解，验证了上述约束项的有效性。

3 基于深度学习的波束合成算法

深度学习作为机器学习的一个分支，其典型模型就是深层的神经网络，它通过数据驱动的方式从原始数据中提取多层次的特征表示。在网络中，上一层的输出结果经过非线性变换后将作为下一层的输入数据，经过多层网络的连接，建立起任务输入与输出目标之间复杂的非线性映射关系，并使得神经网络可以从原始数据中提取具有强泛化和表征能力的特征。由于其强大的非线性函数拟合能力及其运算的高效性，逐步得到了医学图像研究者的关注，被广泛地应用于包括目标检测、配准和分割等在内的医学图像分析领域[40]。近年来，深度学习逐步被引入波束合成中，以解决传统DAS方法图像质量不佳以及自适应波束合成和基于逆问题求解时计算复杂度过高的问题。需要注意的是，深度学习是数据驱动的方法，其通常包括训练和推理两个阶段。在训练阶段，需要耗费大量时间人工收集并标注海量的数据以供神经网络去提取有意义的特征。而当网络训练完成后，神经网络中的权重将随之固定，建立稳定的映射关系，在今后的推理过程中，神经网络可以迅速从输入数据中映射得到目标输出，降低了计算复杂度。除此之外，神经网络的性能取决于网络结构的选择、网络参数的调优以及损失函数的选取等众多因素。目前还是被当作“黑盒子”使用，通过大量试错以优化定量指标来确认最优参数，这也增加了许多人工成本。神经网络的泛化能力也是需要重点关注的问题，通常其在处理与训练数据相似的输入时会有更好的表现，因此在优化神经网络时还应通过扩充训练集或使用验证集的方法使其具有更好的泛化能力。

3.1 基于深度学习的自适应波束合成器

多种自适应波束合成方法在平面波成像中均得到良好的应用。相比于传统DAS算法，自适应波束合成方法在分辨率和对比度上都展现了较大的提升；然而，其高计算复杂度的特点，不适合应用于实时高帧频的平面波成像中。Luijten等[41]MV方法生成波束合成中各通道变迹的标签，通过训练全连接神经网络(Fully connected network,FCN)来高效计算波束合成中最优的接收变迹，流程图及结果对比如图7所示。Khan等[42]通过训练全卷积网络完成了从延时后的降采样通道数据到自适应波束合成后包络信号的映射。Wiacek等[43]通过训练全连接网络完成了从延时后通道数据到归一化空间相关性的映射，以得到最终的SLSC图像。上述3种方法均有效地保留了传统自适应波束合成方法的优势，并极大地降低了计算复杂度。Luchies等[44]利用神经网络在频率域对延时后通道数据进行波束合成前的预处理，以若干全连接神经网络对于频率域中的不同成分进行处理以压制离轴散射信号，并以傅里叶逆变换还原时域通道信号以进行波束合成；该方法有效地将旁瓣的强度压制至比传统DAS方法低60 dB，进而显著提升了图像的对比度指标。由于该类方法将传统方法的结果作为其训练神经网络的金标准，因此传统方法的性能也决定了所训练神经网络的性能。

图7 基于深度学习的自适应波束合成[41]Fig.7 Adaptive beamforming by deep learning[41]

3.2 基于深度学习的端到端波束合成器

上述工作在改善图像质量方面都展现出了较好的效果。但是，这些方法需要通过传统方法生成训练数据集，在将通道数据输入神经网络前还需要对通道数据进行延时预处理。目前，已有少量研究尝试通过深度学习直接从通道数据中重建出超声图像，也即训练神经网络完成从输入的通道数据到波束合成后数据的映射。Nair等[45]通过全卷积神经网络从单次平面波发射的原始通道数据中提取特征，并直接重建得到波束合成后的B模式图像和囊肿的分割图像。其中，DAS波束合成的数据及其分割结果被作为金标准，结合平均绝对误差(Mean absolute error,MAE)以及戴斯相似性系数(Dice similarity coefficient,DSC)作为损失函数，用于训练深度神经网络(Deep neural networks,DNN)。图8包含该方法的流程图及结果对比。可以看出，神经网络可以从通道数据直接得到波束合成后数据，且囊肿区域的对比度相比于DAS方法得到了提升。Hyun等[46]通过全卷积网络，从原始通道数据直接得到散斑抑制(Speckle reduction)后的B超图像，并深入研究了网络深度、宽度对于散斑抑制效果的影响。训练标签和结果对比图见图9。可以看出，基于DNN的方法可以在保证囊肿边缘清晰且具有较高对比度的条件下，获得较好的散斑抑制后的波束合成结果。目前尚未见该类方法报告可以较好地在波束合成后数据中保留散斑信息。

图8 利用全卷积网络从原始通道数据直接重建出波束合成后图像及囊肿分割图[45]Fig.8 Beamforming and segmentation by fully convolutional neural network from raw channel data[45]

图9 利用全卷积网络从原始通道数据直接重建出散斑抑制后的超声图像[46−47]Fig.9 Speckle reduced B-mode images reconstructed by fully convolutional neural network from raw channel data[46−47]

3.3 基于深度学习的波束合成图像后处理技术

为了改善平面波成像的图像质量，除了提升波束合成算法本身的表现外，还有一类方法通过以高帧频、低图像质量的成像序列所采集的图像为输入，以低帧频、高图像质量的采集序列所采集的图像为标签，训练出一个作为后处理步骤的神经网络，以较少的成像帧频损失获取图像质量的改善。

Gasse等[48]通过训练卷积神经网络，以3角度的平面波发射重建出和31角度平面波相干复合相近质量的图像。Zhang等[49]将对抗生成网络(Generative adversarial network,GAN)引入上述任务，以更深的网络结构实现了重建图像对比度的进一步提升。图10为Gasse等的流程图和结果[48]。可以看出，神经网络通过大量数据的训练，以3角度平面波发射的数据作为输入即可重建出与31角度平面波相干复合质量相近的图像，对于帧频的提高有巨大帮助。该类方法中用于训练的数据标签是波束合成后图像，在训练数据集不够大的情况下可能会使网络记住训练数据中组织的特定结构特征，影响泛化能力。

图10 基于深度学习的波束合成图像后处理技术[48]Fig.10 Deep learning based image post-processing technique[48]

4 结论

综上所述，研究人员采用新型波束合成方法，通过结合回波数据的统计特性，或是引入关于超声信号的先验信息，可以在一定程度上改善平面波成像的图像质量，从而以更少次数的平面波发射，获得和传统DAS方法更多次数平面波发射同等的图像质量。换言之，在提高图像质量的同时，不牺牲帧频。这些方法可望提高剪切波弹性成像和心肌弹性成像等高帧频成像的图像质量，并极大提高三维成像系统的实时性。

相比于传统的DAS方法，新的波束合成方法在应用于平面波成像上时还存在着一些挑战。首先，自适应或基于逆散射的方法可以显著提升波束合成图像的分辨率和对比度，但对于背景散斑的强度存在着一定的抑制，需要医生评估其对于疾病诊断的影响。此外，自适应和基于逆散射的新型波束合成方法的计算复杂度相比于传统DAS方法较高，对于系统的计算能力提出了更高的要求。因此，通过深度神经网络学习改良后波束合成的结果，可以在保留算法优势的条件下，极大地减少计算耗时，是较有前景的方向。为了确保神经网络具有较好的泛化能力，还需要进一步研究在实际中如何构建一个样本分布尽可能广泛的数据集以覆盖不同的探查的器官、探头的方向以及患者间的差异。