基于光场成像的快照式气膜孔三维测量技术

2021-12-02赵圆圆曾飞李洋甘明瑜施圣贤

航空学报 2021年10期

赵圆圆，曾飞，李洋，甘明瑜，施圣贤,*

1. 上海交通大学机械与动力工程学院，上海 200240 2. 中国航发湖南动力机械研究所发动机涡轮研究部，株洲 412002 3. 中国航发湖南动力机械研究所中小型航空发动机叶轮机械湖南省重点实验室所，株洲 412002

随着高性能航空发动机高推重比和高可靠性的应用发展需求[1-2]，燃烧室火焰筒及涡轮等热端部件需要在越来越高的温度下运行。现代涡轮发动机内部温度高达2 000 K，已经超过了涡轮发动机叶片材料的熔点。为了确保涡轮发动机能够在超高燃气温度下安全、长寿命地运行，航空叶片采用了更为复杂的气膜冷却孔设计。这些结构复杂、分布不等的冷却气膜孔使稀薄的湍流空气在燃烧气体和叶片之间循环，可以有效地对叶片进行冷却保护从而提高叶片的耐温能力[3-4]。

叶片气膜孔小而深(大多处于∅0.3～∅1.5 mm之间，深径比为1～3[5])、空间角度各异、分布复杂等特点[6]给气膜孔加工和气膜孔检测都带来了较大的挑战。一般地，气膜孔加工质量要求主要有[5]：① 孔径的公差值为0.10 mm；② 空间位置，主要包括几何位置和孔间距等，位置度公差为0.10～0.15 mm；③ 轴线角度需控制在±1°范围内。出于功能性的考虑，气膜孔通常相对于叶片表面成一定角度或位于叶片的严重弯曲区域，这对叶片的检测造成了极大的困难。传统的接触式测量方法无法深入到细孔内部以获得气膜孔的完整几何形貌，而传统的光学方法在获取陡峭气膜孔内壁的完整三维信息问题上存在诸多限制。另外，无需用户交互而实现叶片上所有孔的连续自动测量也是当前尚未解决的问题。目前我国尚无成熟的叶片气膜孔检测设备，至少尚未达到工程化应用阶段。气膜孔专有测量技术研究资料匮乏，国内外在该领域的研究较少，根据公开文献资料，当前主要有以下几种测量技术：

1) 光纤测量技术。光纤传感探针的直径极小(测球直径50～75 μm)，可搭载在三坐标测量机上实现三维微尺度测量[7]。该方法通过成像的方式检测光纤细微变形以测量微孔的深度与内部形貌[7-9]。然而，现有的光纤传感方法具有测量深宽比低、不具备稳定性以及传感链复杂的问题[7]。虽然研究学者针对上述不足提出了相关的优化解决方案，但目前基于光纤传感的气膜孔测量技术仍未达到工程化应用阶段。控制光纤探头按照规划路径逐点扫描气膜孔表面的工作方式，具有较高的可靠性且不受孔壁表面特性的影响。然而为获取气膜孔的完整三维轮廓，需合理规划扫描路径来对气膜孔进行多点测量，测量时间较长，测量效率较低。

2) 光学三维测量技术。光学三维测量方法在近几十年中应用越来越广泛，其中用于气膜孔测量的主要有激光扫描、结构光、干涉法以及其他基于视觉的技术。Shetty等[10]提出了一种新颖的光学技术用于气膜孔参数测量，该方法利用激光束和平行光束之间的几何关系成功地测量出了微孔的深度。Munkelt等[11]利用基于条纹投影的三维结构光扫描仪得到了气膜孔的三维点云数据，继而分析和检测出气膜孔的参数以用于叶片修复过程。基于结构化蓝光的ATOS工业三维扫描仪也被用于叶片冷却系统检测中[12]，因其高精度高效率的特点在发动机和汽车零部件检测领域应用广泛[13]。Jin等[14]提出了一种基于光谱分辨干涉技术的高深宽比微孔测量方法，该方法在硅通孔的深度及三维形貌测量上取得了较好的结果，有望进一步应用于气膜孔测量领域。此外，Ramamurthy等[15]提出了一种多轴成像的自动化测量系统，该系统通过采集多个成像平面的图像可实现对多个异型气膜孔尺寸参数的自动测量。国内关于气膜孔三维形貌测量的研究较少，多用基于视觉的方法来测量气膜孔的直径和空间位置参数[13,16-17]。

基于光学的气膜孔三维测量技术与接触式测量技术相比，测量效率大幅提高。然而受各自测量原理的限制，当前光学三维测量技术在气膜孔检测方面仍存在一定的挑战。激光三角法由光源和成像点的位置，再利用三角关系可得气膜孔内壁的轮廓信息。然而，由于气膜孔小而深，光线在气膜孔内部可能会存在多次反射从而导致测量不准。此外，激光测量还会受气膜孔表面反光特征、表面粗糙度和表面反射率的影响。结构光测量法通过向气膜孔投影已知图案，并用相机同步记录下变形的图案来还原气膜孔轮廓形貌。该方法极易受环境光的影响而使测量不准。另外，结构光测量方式还会受气膜孔表面特性、相机分辨率以及投影光源的影响。激光三角法和结构光测量法要求光源与相机成一定角度布置，容易出现遮挡问题。同时由于气膜孔边沿形状的突变，易导致反射光线无法被准确捕捉，造成局部测量数据的缺失。干涉技术根据产生的干涉图案来还原气膜孔的轮廓，虽可实现对微小物体三维形貌的精密测量，但系统光路需精细调制且测量系统的结构复杂，测量成本较高。

3) 工业CT测量技术。工业CT通过分析辐射物质在被检测物体中的衰减规律及分布情况来推断物体内部的信息，适用于国防科技工业零件的无损检测[18]。Stimpson等[19]采用X射线计算机断层扫描和扫描电子显微镜对气膜孔几何形状进行表征，以研究使用增材制造技术加工的气膜孔的粗糙度对整体冷却效果的影响。工业CT仅能够对工件内部结构进行测量，而无法获取气膜孔内壁表面的轮廓信息，故该测量技术常与其他光学测量技术配合使用。

4) 多传感器测量技术。由于气膜孔测量的难度高，单一传感器很多情况下无法测得完整的气膜孔数据，因此可将两种或多种传感器有机地结合。美国SURVICE Metrology公司将白光扫描仪与工业CT技术相结合，经过数据融合可得到气膜孔内部和外表面的点云数据。该方法分析了叶片气膜孔的成形精度，并取得一定进展，但尚未建立气膜孔的几何精度提取与分析平台[20]。国内隋鑫等[21]也对多传感器微孔测量系统进行了研究，他们将光纤探针和图像传感器集成到坐标测量机上实现了对微孔的实时测量，但该方法尚未应用到气膜孔参数测量上。多传感器测量技术通过融合多个传感器采集到的数据来实现气膜孔三维测量，其中多传感器的集成、多传感器系统的标定以及多个点云数据的配准与融合是该技术尚未完全解决的问题。

因此，如何快速高效且鲁棒性更强地实现气膜孔的三维测量或将成下一阶段研究的重点。前述光学三维测量技术中，激光法三角法和结构光测量法的测量效率相对较高，但仍需对气膜孔内壁表面进行数次扫描。因此，基于课题组先前在物体三维形貌测量方面的研究工作[22-24]，初步探索了光场成像快速测量技术在气膜孔三维检测上的应用。该技术仅通过一次拍摄即可快速计算得到单个气膜孔内壁上半部分表面的点云数据，数据采集效率很高。另外，单光场相机成像系统仅需光源照亮气膜孔而对光源的类型与布置方式无特殊要求，其结构简单，易于操作且便于与其他传感器设备集成，可为气膜孔三维测量问题提供一种新的解决方案。

1 光场成像基本原理

光线在三维物理空间中自由传播，光线上某点的光强分布可用5D(5-dimensional，5D)全光函数L(x,y,z,θ,φ)来描述[25-26]，其与该点的空间位置(x,y,z)及光线在该点的入射角度(θ,φ)有关，如图1(a)所示。针对气膜孔轮廓测量问题，光线在空气中不受阻挡地保持直线传播。故描述光场的全光函数可用光线与空间中两平行平面的交点来参数化表示，即简化为4D(4-dimensional，4D)函数[27-28]形式L(u,v,s,t)，如图1(b)所示。若能获取4D光场信息，则可还原出场景中物点的三维位置。

图1 光场函数描述物理空间光线的示意图[28]Fig.1 Diagram of plenoptic function describing light ray in physical space[28]

遗憾的是，为了更清晰地成像，传统二维成像技术须将经空间某点的所有方向的光线汇聚到图像传感器(如Complementary Metal Oxide Semiconductor，CMOS)的某些像素上。这种成像方式仅仅记录了光线的强度和空间位置信息而丢失了光线的入射角度信息，如图2(a)所示。与二维成像技术不同，光场成像技术通过在相机的主透镜和CMOS之间安装一块微透镜阵列(Micro-lens array, MLA)来实现三维成像。如图2(b)所示，空间中的光线通过主透镜后被MLA折射，最终被图像传感器CMOS所捕获。即空间中的4D光场信息经光场相机编码后被记录下来，从而实现了单个成像传感器对光线空间位置和入射角度信息的采样。

光场相机成像过程如图2(b)所示，物理空间中的某个点光源(气膜孔轮廓上对光线进行反射的某个点)发出的一束光线，经过主透镜汇聚于MLA平面的一组微透镜上，其中每个微透镜根据入射光线角度的差异将光线投射至不同的像素位置。即空间中的某一物点对应于成像平面上的多个像点。这种由光场相机拍摄所得到的图像被称为原始光场图像。由光场成像原理，每个微透镜下特定位置的像素仅记录特定入射角度的光线，因此微透镜下像素的个数决定了光场中角度维度上的分辨率[29-30]。对原始光场图像进行光场渲染可得到不同视角的子孔径图像阵列，由此光场相机又可被看作虚拟的小型相机阵列。对多个视角的气膜孔子图像进行深度估计可得到气膜孔局部区域的视差图，再利用光场尺度校准算法将视差图转换为三维点云，从而实现单个光场相机对气膜孔三维轮廓的测量。基于光场成像的气膜孔三维形貌测量技术流程如图3所示，其中每个微透镜的中心位置需要提前确定，即须先进行MLA校准。MLA校准方法有两种：一种是拍摄具有漫反射表面性质的白板，得到的原始图像称为白板图像，从该白板图像中可以较为明显地看出微透镜阵列排布情况，利用相应的算法计算出每个微透镜中心在像素坐标系下的坐标；另一种是本文采用的方案，将主透镜的光圈调整至最小，拍摄具有漫反射表面性质的白板，得到的原始图像称为MLA图像，利用高斯拟合算法得到微透镜的中心。MLA经校准后，再依次进行光场子图像提取、深度估计和光场尺度校准以得到气膜孔三维点云数据。

图3 基于光场成像的气膜孔三维形貌测量流程图Fig.3 Flowchart of 3D shape measurement of film cooling holes based on light-field imaging

2 基于光场成像的气膜孔三维测量技术

2.1 气膜孔子图像提取

得到微透镜阵列的中心位置后，对应地可找出每个微透镜下N×N的像素区域。将不同微透镜下相同位置的像素取出，并按顺序排布在一起，则可“计算生成”一个新的视角图像。从光场成像角度看，光线与主透镜所在平面的交点视作(u,v)，与MLA所在平面的交点为(s,t)，当提取每个微透镜下相同位置的像素时，相当于保持(u,v)不变而考虑所有的(s,t)[29]。

如图4所示，经视角A通光口径投射的所有光线均到达了每个微透镜下相同的像素位置(图中CMOS上绿色表示的像素位置)，将所有绿色像素点取出并按微透镜的排布方式放置，得到视角A下的子孔径图像A。依次移动主透镜上的通光口径位置，对应地将每个微透镜下特定位置的像素点排布在一起，可分别得到视角B～E下的子孔径图像B～E。得到的新视图的数目等于每个微透镜下的像素数目，生成的N×N个多视角图像称为气膜孔子图像阵列。因此，由一台光场相机经单次拍摄记录的气膜孔原始光场图像，可通过光场渲染算法生成多视角图像，用于后续计算所拍摄的气膜孔场景的视差信息。

图4 子图像提取原理示意图Fig.4 Schematic diagram of sub-aperture images extraction

2.2 基于EPI的气膜孔视差估计

光场相机的紧凑型设计使得从原始光场图像中提取的子图像阵列之间满足对极几何约束。因此，若将位于同一行(或列)的子图像中相同位置的一行(或列)像素提取出来，然后按次序堆叠在一起，即可生成对极平面图像(Epipolar Plane Images，EPI)。图5(a)展示了气膜孔图像某一行(列)像素对应的EPI。在EPI中，某一像素点对应的线的斜率暗含了对应物点的深度信息。为了直观地展示EPI线斜率与物点深度之间的关系，图5(b)展示了多个传统相机(光场相机可看作虚拟相机阵列)对空间物点进行拍摄的情景。五个相机从不同视线方向拍摄处于不同深度位置的点，每个相机拍摄得到的像在各相机下方给出。在五幅图像对应的EPI中，红线的斜率为正，蓝线的斜率为负，这揭示出红点比蓝点更靠近相机。因此，在EPI空间中求得线的斜率，则可对应地量化求解出气膜孔场景的视差值。

图5 基于EPI的气膜孔视差估计算法原理Fig.5 Principle of EPI-based depth estimation algorithm

2.3 光场尺度校准

尺度校准是将视差图转换成真实物理尺寸的关键步骤。根据透镜成像规律，光线在光场相机内部的传播过程如图6所示。图中So表示物侧焦平面到主透镜平面的距离，Si则表示像侧焦平面到主透镜平面的距离。fl为微透镜的焦距，pl和pp分别为微透镜和像素的物理尺寸。为不失一般性，将主透镜的中心O定义为相机坐标系的原点；将沿着主透镜光轴指向相机外部的方向定义为相机坐标系Z轴的正方向；将垂直Z轴且竖直向上的方向定义为相机坐标系Y轴的正方向。

如图6所示，由空间中任意一物点P发出的一束光线经主透镜投射后汇聚于像点Q，继而光线沿着不同的角度继续传播并在MLA平面上形成一个弥散圆[24,31](圆心为Clf，直径为Dlf)；接着光线透过一组相关的微透镜，最终到达成像平面上不同的像素位置，并在CMOS平面上形成投影弥散圆特征(圆心用Cdf表示，直径用Ddf表示)。弥散圆特征(Cdf,Ddf)可由成像平面上散开的点状特征求解得到[31]：

(lci-pci)Ddf+pl(lci-Cdf)=0

(1)

式中：lci为微透镜的中心；pci为点状特征中心。由光场相机的投射模型可看出，弥散圆特征(Cdf,Ddf)与空间物点一一对应，故建立点与特征的映射关系，则可实现对光场相机的尺度校准。

图6 光场相机的投影模型Fig.6 Projection model of light-field camera

在光场相机投影模型中，主透镜被视作薄透镜模型，MLA被视作针孔模型阵列[32-33]。由高斯光学和相机内部的几何关系，可以推导出物点P(Px,Py,Pz)在Z方向上距焦平面的距离Pz与弥散圆直径Ddf之间的关系：

(2)

式中：pm主透镜的有效光圈尺寸；fm为主透镜的焦距。又P、O和Q三点共线，且投影弥散圆的中心位于POQ延长线上，由相似三角形：

(3)

(4)

(5)

其中，PMR为单个微透镜尺寸与单个像素尺寸的比值，即PMR=pl/pp。因此标定得到的光场相机的光学参数可用于将视差图转换成物体的三维点云。具体地：

(6)

(7)

(8)

3 气膜孔三维测量实验

3.1 测量系统与实验流程

对航空发动机叶片的气膜孔进行测量，以初步验证所提技术的适用性。如图7所示，测量系统由一个工业级单色光场相机(VOMMA VA4300-M-CL，像素分辨率为7 192×5 432)、组合镜头(AF Micro-Nikkor 200 mm f/4D IF-ED和AF Nikkor 50 mm f/1.4D通过双阳环50-62转接)和测量工作台组成。

图7 单光场相机气膜孔测量系统Fig.7 Film cooling hole measurement system based on single light-field camera

气膜孔实验的数据采集及处理流程如下：

1) 尺度校准。采用类似Shi等[31]的光场体校准方式，带有白色点阵的校准板(0.4 mm网格间距)在高精度光学平台(Thorlabs LNR50S/ M，分辨率0.1 μm)上沿着相机光轴平移。平移范围为焦平面前后300 μm，平移步长为20 μm，实验中共拍摄了31张校准图像。从原始光场校准图像中检测出弥散圆特征，并建立其与物理空间中校准点之间的一一对应关系，则可计算得到相机的光学参数。

2) 拍摄气膜孔的原始光场图像。如图7所示，相机竖直向下拍摄被漫反射光源照亮的叶片气膜孔。所得的气膜孔原始光场图像如图8(a)所示，图中下侧的局部放大图展示出由于微透镜对光场信息编码而产生的“马赛克”效应。接着，利用光场渲染算法从气膜孔的原始光场图像中提取出多视角图像阵列(图5(a)中的子图像阵列)。然后使用基于EPI的视差估计算法计算叶片上气膜孔区域的视差图，所得结果如图8(b)所示。

图8 气膜孔实验测量结果Fig.8 Experimental results of film cooling hole

3) 根据流程1)中获得的相机光学参数，利用式(6)～式(8)将视差图转换成被测气膜孔区域所对应的三维点云，测量结果如图8(c)所示。需要指出的是，从单张原始光场图像计算出气膜孔三维点云的过程采用GPU并行，仅需30 s即可测得436 000个点。

3.2 量块测量实验

为了检验系统的测量精度，对一组高度分别为1.5、1.6、1.7和1.8 mm的标准量块进行了测量。所拍摄的量块原始光场图像如图9(a)所示，编号①、②、③和④分别对应1.5、1.6、1.7和1.8 mm的量块。使用前文所述的方法处理该量块的原始光场图像，可得到量块组的三维点云，如图9(b)所示。图中不同颜色的平面对应于不同高度的量块，深蓝色部分为量块之间缝隙所对应的三维点云，不具有实际意义，属于量块测量数据中的杂点。

图9 量块验证性实验Fig.9 Verification experiment with gauge blocks

进一步地，对量块测量结果的精度进行了定量分析。实验中首先在量块的中心视角图像中检测出不同高度的平面，然后计算各平面的平均高度和高度的标准差。最后，将计算得到的相对高度与已知的真实相对高度进行比较。定量分析结果如表1所示，系统的三维形貌测量误差在10%以内，这表明了该单光场相机系统应用于工业级高精度三维测量的潜力。

表1 量块组测量结果Table 1 Measurement results of gauge blocks

3.3 气膜孔检测结果

受拍摄倍率、拍摄视野和现有光场相机分辨率的限制，实验中仅对某型叶片上的某气膜孔区域进行了测量。单个气膜孔的几何参数定义如图10所示，主流流向如图中直箭头所示。其中，α为气膜孔的出射角度，β为气膜孔的偏转角度，S为气膜孔的单侧横截面积。在本文叶片气膜孔测量实验中，主流的流向不确定，因此可测量的参数有气膜孔的出射角度和单侧截面积。

图10 气膜孔几何参数示意图Fig.10 Geometric parameters of film cooling hole

在获取气膜孔几何参数的过程中，首先手动粗略地选取出某气膜孔局部区域，如图8(c)中所示例的黑色框图内三维点云。对应地，截取子图像阵列的中心视角图像中的该气膜孔局部区域，用于检测气膜孔的边缘从而获取单侧截面积参数。图11(a)展示了所截取的气膜孔局部区域图像(上)，在此图像上利用区域生长算法找出该气膜孔所对应的连通域(左下)，而后利用“canny”算子提取出该二值图像中的边界，则可最终得到气膜孔的边缘(右下)。将二维图像中检测出的气膜孔边界对应至所选取的点云数据上，则可得到三维空间中气膜孔的边缘(图11(b)中的红点所示)，对边缘三维点进行平面拟合则可得到出口平面(图11(b)中红色箭头所指的半透明绿色平面)。另外地，对图11(b)所示的气膜孔局部区域对应的三维离散点应用最小二乘法进行空间三维直线拟合，可得到气膜孔的轴向矢量，如图11(b)中黑色倾斜直线所示。若将气膜孔单侧局部区域看作主流流经的表面(图11(b)中红色箭头所指的半透明绿色平面)，计算气膜孔轴向与该平面之间的夹角，即可得气膜孔的出射角度为39.07 °。而对于气膜孔边缘点组成的封闭图形(图11(c))，利用Matlab中的convhull函数计算对应凸包的面积，得到气膜孔单侧截面积为0.826 mm2。手动选取气膜孔局部区域后，气膜孔几何参数检测算法在Matlab 2017上运行，整个过程耗时约5 s。

需要说明的是，在当前的实验条件下，光源的限制导致气膜孔测量深度受限(图11(b)中气膜孔底部尖端位置处点云数据缺失)，这将影响气膜孔出射角的计算精度。另外，实验测得的气膜孔出射角度、三维点云是基于相机坐标系，而未变换至叶片自身的加工参考坐标系。若应用到实际工程测量中，则需进一步考虑坐标系之间的转换关系。