APP下载

基于体可视化的计算机辅助轮廓测量系统设计

2016-05-09吴仲明田联房韩苏宁乔国庆

计算机应用与软件 2016年4期
关键词:头颅三维重建轮廓

吴仲明 田联房 李 彬 韩苏宁 乔国庆

基于体可视化的计算机辅助轮廓测量系统设计

吴仲明1田联房1李 彬1韩苏宁2*乔国庆3

1(华南理工大学自动化科学与工程学院 广东 广州 510640)

2(广州军区广州总医院眼科 广东 广州 510010)

3(广州军区广州总医院放射科 广东 广州 510010)

为收集整理我国不同人群的五官头颅特征数据,开发一个计算机辅助轮廓测量系统。系统首先对图像进行预处理,利用面绘制技术重建三维头颅模型;然后在模型表面选取特征点作平面求交获取轮廓剖面,通过几何变换方法实现剖面由三维空间到二维空间的映射;最后采用边界跟踪技术提取外缘轮廓坐标集,并根据应用需求对轮廓参数进行标记与测量。实验结果表明:该系统能有效地实现三维头颅模型的轮廓参数测量,并直观、精确地反映五官头颅实际的形态特征。

轮廓测量 体可视化 三维重建 几何变换 边界跟踪

0 引 言

市场上一般的护目镜尺寸分类不细致,影响我国不同人群的配戴舒适度。为此,需要收集各类五官头颅特征数据[1]并建立数据库,指导护目镜进行更符合人体工程学的个性化设计。在此过程中,常规的人体手工测量方法存在精度低、人群聚集难度大和测量标准不统一等问题。而基于医学图像的可视化系统测量方法,根据精确的成像数据对特征参数进行测量,能有效避免手工测量中存在的问题,而且大规模适用的数据样本获取便捷,因此能提高数据测量的精确性和效率。

一直以来,国内外众多学者在计算机辅助系统方面开展了大量的研究工作[2,3],目前市面上比较成熟的系统产品有MIT开发的3D Slicer和Materialise公司开发的Mimics[4]等。这些系统都能对医学图像序列完成多种实用的操作,如最基本的分割、三维渲染与仿真功能。然而,它们在测量方面性能不足,仅能进行直线距离与角度的测量,特别是无法实现轮廓段边界长度的自动测量,而且测量点不能复用,在测量过程中难以交互,不能满足专用于头颅模型轮廓的多种类参数测量需求。因此研究整合了三维模型轮廓测量技术的计算机辅助系统具有深远的价值。

基于上述背景,本文对基于医学图像序列的体可视化技术[5,6]、图像处理技术和测量技术展开了较深入的研究,开发了基于体可视化的计算机辅助轮廓测量系统,专门用于指导护目镜个性化设计应用的数据采集过程。本系统改进了现有的测量方式,突破了测量类型的局限,使得多种类参数测量得以实现。同时对基于三维模型的轮廓测量技术进行了自动化设计,提升任意角度模型轮廓的获取效率,并达到用户能够交互式增减与选取标记点、直观地计算出相应轮廓参数的目的。系统采用MC算法实现人体头颅模型重建。在此基础上采用几何变换方法,将三维空间中重建模型表面上选取的任意轮廓剖面转换成二维空间上的轮廓图像。再利用边界跟踪方法处理得到外缘轮廓的单像素边界坐标集,最后对轮廓特征点进行标记与选取,实现头颅模型的轮廓参数测量。文中主要介绍该可视化系统的设计思路、系统功能模块及其关键技术,并以实例验证系统的效果。

1 系统结构

基于三维模型轮廓测量的目标,本文设计的系统结构如图1所示。系统包括图像数据输入、二维处理与交互、三维面渲染与交互和测量数据输出四大主要模块。其中图像数据输入模块的功能是进行Dicom格式医学图像的读取与解析;二维处理与交互模块主要涉及二维图像的显示、测量及预处理;三维面渲染与交互模块主要实现面绘制渲染、模型交互及轮廓测量操作。系统功能由各个模块相互协同实现,其中三维面渲染与交互模块是本系统研究的核心与重点。

图1 系统总体结构框图

图像数据取于人体头颅部位。系统读入后对图像进行滤波降噪、分割等预处理[7],提高模型重建的质量。根据应用需求及重建模型表面的特征信息,指导在面绘制渲染与交互下的模型轮廓参数测量。将测量数据输出并归类,建立数据库,找出不同人群的五官头颅特征规律,这对指导护目镜的个性化设计具有重要意义。

2 三维重建

三维重建的目标,是根据感兴趣区域的图像数据构建出相应的三维几何模型,从而实现对模型的可视化和交互测量操作。传输进入系统的源图像数据需经过各向异性扩散滤波[8]处理剔除图像中存在的高频噪声并同时保留图像的边缘特征。随后结合阈值分割与区域增长技术提取出感兴趣的人体组织区域,并以体素形式输出标记体数据场[9]。此过程能有效地剔除图像中存在的毛刺和噪点,避免了模型表面出现的不光滑现象,实现头颅模型的精确重建。

考虑到本文针对的对象为人体头颅表层区域,基于传统图形学的面绘制方法虽然只能重建头颅的表面模型,但已具备较强的真实感[10],且算法效率与交互性能优异。因此对于本系统来说,面绘制能充分发挥作用。

面绘制是对物体表面的重建,通过构造一些拼接起来的几何单元来还原物体的三维模型,并以表面的形式在屏幕上显示。其中MC算法是面绘制中的经典方法,又称为“等值面提取”方法。其本质是根据设定的阈值,从一系列二维图像数据组成的三维数据场中抽取相应的物质,从而以某种拓扑形式连接成三角面片的过程。其基本思想是遍历整个数据场中的体素,确定通过这些体素的等值面的三角面片,最后把这些三角面片组成物体的三维表面几何模型。

3 三维模型轮廓测量实现

三维模型的轮廓测量是系统的核心环节,测量的快速性与准确性是实现过程需要考虑的问题。由于CT、MRI技术均采用断层扫描方式进行成像,对于平行于断层方向的头颅轮廓,只需对单张头颅切片图像进行外缘轮廓的提取与跟踪,即可实现轮廓参数测量,此时并不涉及三维重建过程。而对于头颅表面模型上任意位置与方向的外缘轮廓,切片平面与轮廓剖面间存在较大的夹角,因此之前的测量方式不再适用,必须从三维空间考虑实现测量。

本系统实现对三维重建模型轮廓的直观测量,通过模型可以准确获取头颅的三维坐标信息,用以精确测量头颅的各种参数。因此考虑获取模型上外缘轮廓的三维点集,对其结合几何变换与边界跟踪方法进行处理得到二维轮廓图像及相应的边界点坐标集,对轮廓图像特征点进行标记[11]和选取实现轮廓参数测量。

实现步骤描述如下:

(1) 交互在头颅模型上选取感兴趣的两个特征点,过这两点以垂直于屏幕的方向作一个三维平面,平面与模型表面的三角片边相交;

(2) 遍历模型的三角面片,求三维平面与模型表面的交点,即平面与三角片边的所有交点,将其依次连接构成需要测量的三维轮廓;

(3) 对三维轮廓点集坐标进行几何变换,使所有点的z坐标值相等,从而获得三维轮廓的二维投影,将其绘制成二维平面上的轮廓图像;

(4) 在二维平面上,通过边界跟踪技术对外缘轮廓进行坐标提取及标号,结合测量技术与应用需求对轮廓参数进行标记和测量。

3.1 获取三维轮廓

3.2 轮廓空间几何变换

图2 空间几何变换示意图

具体的变换步骤为:

(1) 平移点O至坐标原点,变换矩阵为:

(1)

(2)

(3)

最后对变换后的坐标集平移使点O移回原处,至此完成空间几何变换。对三维平面与三角片边的所有交点均作上述操作,使得变换后的点集z坐标相等,此时忽略该坐标分量,则相当于把表面模型上的三维轮廓变换成二维空间上的轮廓图像。为了绘制轮廓图像,制定如下规则:首先对变换后的x、y坐标值取整,然后分别求出所有x、y坐标中的最大值和最小值,以此为标准调整绘制位图的大小,最后将点集的坐标分别减去xmin、ymin,使得轮廓在位图中的位置有利于后期测量。在经由变换得到的位图中,规定轮廓所在的像素灰度值为1,背景像素的灰度值为0。

3.3 轮廓边界跟踪

考虑到人体头颅的结构特点,其内部存在口腔、鼻腔等腔体。在对体数据进行三维重建过程中,会同时得到这些腔体的内部表面,这将导致在求取三维平面与表面模型的交点时,把位于内部表面的交点一并求出。因此对变换后的点集,需采用边界跟踪技术剔除这些无效点以获取轮廓图像的外缘轮廓。

本文采用八邻域搜索的边界跟踪方法[14]。在数字图像中,8连通曲线实际上是一折线,曲线上相邻两点间的连结有8个可能的方向。算法从轮廓图像左上角的像素点开始,从左向右,从上向下,搜索到首个非零灰度值的像素点,随后以逆时针方向对轮廓遍历循迹,直至回到轮廓线的初始点。整个跟踪过程获得的是一组外缘轮廓边界点,用结构体记录每个边界点的坐标,并对应保留其序号。

3.4 轮廓参数测量

通过边界跟踪技术,使得外缘轮廓的边界点均有其序号与对应的坐标值。标号方式沿轮廓边界的逆时针方向进行,此方向符合大多数人画圆的方式,无疑会给后面的测量带来操作的便利。根据应用需求归类,需要测量的轮廓参数可分为以下四种:

(1) 两点间的直线距离

数字图像中,两点(x1,y1)、(x2,y2)间的直线距离测量公式为:

(4)

(2) 轮廓段边界长度

对轮廓段边界长度进行测量时,通过在轮廓边界上选取任意两点,系统会根据这两点的边界序号关系,将两点序号以内(包括该两点)的所有边界点以两两相邻方式分别计算两个相邻点之间的距离。然后把初始两点间的所有相邻距离相加,得到该段轮廓边界的长度,计算公式为:

l=d0+d1+…+dn

(5)

其中,n为选取的轮廓段中边界点数减1。

(3) 点到线之间的距离

在二维的轮廓图像上画一条线段,根据线段的起点和终点坐标,计算出线段对应的直线方程为:Ax+By+C=0,从轮廓线上选取任意一点(x0,y0),该点到线段的距离计算公式为:

(6)

(4) 线到线之间的距离

只有互相平行的两条直线才能计算它们之间的距离,两条直线间的距离就是一条直线上的任意一点到另外一条直线的距离。假设在轮廓图像上画出的两条平行线段对应的方程分别为:Ax+By+C1=0和Ax+By+C2=0,则它们之间的距离计算公式为:

(7)

4 实验结果与分析

采用广州军区广州总医院提供的无外伤头颅CT切片图像序列作为体数据源。每组实验数据的分辨率为512×512×214。使用本文开发的计算机辅助系统进行头颅轮廓参数测量实验,以验证系统各模块的有效性。实验环境:HP Z800 Workstation;Windows 7 64位操作系统;CPU Intel Xeon(R) X5690,主频3.47 GHz;内存192 GB DDR3 1333 MHz;显卡Nvidia Quadro 6000 4 GB显存。

4.1 验证基于面绘制的三维重建性能

完成整个辅助系统的开发后,先采用上文所述的图像预处理方法从一组实验数据中提取有用的头颅表层信息,然后利用MC算法对其进行三维重建。经测试,人体头颅表层组织的CT值近似范围为[-100 Hu,4000 Hu],在此基础上,根据具体实验数据的特点进行阈值分割与区域增长处理,从而实现头颅模型重建。对头颅表层组织的图像数据进行面绘制三维重建的效果如图3所示(为了保护受测者的隐私,图中的头颅模型已作局部马赛克处理,下同)。从图中可以看出:重建出来的头颅表面模型较为光滑,人脸五官辨析度高。同时重建区域小,模型渲染速度快,满足系统实时交互操作的要求。

图3 MC算法三维重建效果

4.2 验证轮廓测量模块的有效性

为验证系统中轮廓测量模块的有效性,利用上节得到的头颅模型作为实验对象,以枕骨粗隆经双耳至双眼外眦的间距测量为例进行说明。首先对头颅模型进行旋转与缩放,调整至合适状态,然后在模型表面选取双眼外眦两点作为标记点,得到三维轮廓坐标集。效果如图4所示,其中(a)为在模型上交互选点的效果,外眦标记点为P1、P2;(b)为在模型上显示三维轮廓的效果。

图4 求三维轮廓坐标集过程的效果图

得到三维轮廓后,为方便对轮廓进行观察与测量,对其进行几何变换及坐标调整,在新的视窗中绘出二维轮廓图像。剔除轮廓图像中的噪声与无效点,并对轮廓特征点进行标记与选取,即可测量出对应参数,至此完成三维头颅模型的轮廓测量流程。图5是实例轮廓测量各阶段的效果图,其中,(a)为三维轮廓经变换后的轮廓图像;(b)为图像中外缘轮廓的提取效果;(c)为轮廓上标记特征点的效果,标记点P1、P2与上文对应;(d)为先后选取标记点并测量轮廓段边界长度的结果,测量沿轮廓边界按P1→P2的方向逆时针进行,测量结果为453.67 mm。实验过程表明,该系统获取的头颅轮廓效果理想,交互操作方便,具有良好的测量性能。

图5 三维头颅模型上进行轮廓参数测量的各阶段效果图

按照同样的测量方法,可针对头颅模型的具体部位连续进行交互选点并测量需要的轮廓参数值。根据通过系统采集到的数据,在对应的人体头颅上对同样的标记点进行手工实际测量,并将两种测量方法得到的对应数据进行比对并评估系统测量效果。为了保证测量的客观性与准确性,手工实际测量由五个人分别完成,最终的手工测量结果取五个人分别测量的数据的平均值。

4.3 评估轮廓测量模块的准确性

为了更好地验证本系统测量方法的准确性,实验中加入目前广泛应用的医学影像控制系统Mimics的测量结果进行对比。图6(a)、(b)分别为用户使用Mimics在二维和三维空间上对轮廓边界长度进行测量的方法效果图。从图中可以看出,因为Mimics不能直接对轮廓边界长度进行自动测量,用户需要分段沿着轮廓边界反复选取进行测量,而且需要自行相加每一小段的距离,操作过程难度大且非常繁琐与费时。而在三维模型表面进行此测量过程时无法保证用户选取的轮廓分段处于同一平面上,这都会降低测量结果的准确度。相比之下,在本系统的测量方法中用户只需在二维轮廓或者三维模型上先后选取两个标记点即可自动完成测量并显示结果,测量过程简单快捷。

图6 Mimics测量轮廓边界长度的方法效果图

实际中,对20位不同人群(地域、身高、体重、年龄等)中的单独个体进行数据采集并整合到数据系统中。取其中一个实验样本的不同方法测量结果对比见表1所示,具体的测量标记点如图7所示。本文设计开发的计算机辅助轮廓测量系统经实验证明在三维重建模型的轮廓参数测量方面有重要的实用价值。

表1 某实验样本的三维头颅模型的轮廓参数测量结果对比

图7 头颅上的测量标记点示意图[15]

(A/B:眉弓,C/D:耳廓上缘附着处,E/F:外眦,G/H:内眦,I:鼻根,J:顶骨上缘,K/Q:鼻梁根部,L/P:颧骨,M/O:耳屏,N:枕骨粗隆,R/S:眼眶外缘)

从实验数据可以看出,本文提出的系统中的轮廓测量方法,可获取头颅模型各部位的轮廓参数,且通过系统测量得到的结果与手工测量结果十分接近,相对Mimics的测量结果有着更高的准确性与鲁棒性。对于同一个人的五官头颅特征数据,本系统中的测量方法与手工测量方法的结果未能完全相等的原因主要有客观和主观两方面。客观原因是系统本身对模型存在放大系数,同时也受成像技术的断层厚度和计算机显示器分辨率的影响。而主观原因在于选取标记点时存在的差异,即在实际人体头颅上选点与系统屏幕上的选点未能达到完全一致。从结果可看到,在测量距离较长、屏幕上标记点容易辨认的情况下,本系统与手工两种测量方法之间的测量值误差会比较小,如枕骨粗隆经双耳至双眼眶沿的间距(S-C-N-D-R)。

5 结 语

本文介绍了基于体可视化的计算机辅助轮廓测量系统的设计结构、核心技术和功能模块实现,并以实际样本数据验证该系统的性能。不同于其他的计算机辅助系统,本系统设计了专门应用于三维模型轮廓的改进测量技术,突破了原有的测量类型局限,实现了标记点可复用的轮廓多种类参数快速自动测量。实验结果表明,该可视化系统满足轮廓测量中的直观性与交互性能要求,测量过程中不仅轮廓提取速度快,同时测量精度较高,补充了头颅三维数据应用的空缺,为达到护目镜个性化设计的数据采集提供了有力的支持。在系统后续设计中,需进一步实现测量方法与测量对象的多样性扩展,并在特征数据库中加入统计学习算法,使得从整理的特征数据中能产生更准确和有指导意义的规律。本系统在开发过程中采用功能模块化设计思想,可针对其他学科的要求进行功能性扩展,因此系统也具有较好的可扩展性与工程参考意义。

[1] Choe K S,Sclafani A P,Litner J A,et al.The Korean American woman’s face:anthropometric measurements and quantitative analysis of facial aesthetics[J].Archives of Facial Plastic Surgery,2004,6(4):244-252.

[2] Zhang J,Lou E,Hill D L,et al.Computer-aided assessment of scoliosis on posteroanterior radiographs[J].Medical & Biological Engineering & Computing,2010,48(2):185-195.

[3] Lu M,Zhou Y X,Du H,et al.Reliability and validity of measuring acetabular component orientation by plain anteroposterior radiographs[J].Clinical Orthopaedics and Related Research,2013,471(9):2987-2994.

[4] Amor B B,Ardabilian M,Chen L.Enhancing 3D face recognition by mimics segmentation[C]//Intelligent Systems Design and Applications,2006.ISDA’06.Sixth International Conference on.IEEE,2006,3:150-155.

[5] Lorensen W E,Cline H E.Marching cubes:A high resolution 3D surface construction algorithm[J].ACM Siggraph Computer Graphics.ACM,1987,21(4):163-169.

[6] Levoy M.Display of surfaces from volume data[J].Computer Graphics and Applications,IEEE,1988,8(3):29-37.

[7] 许婉露,李彬,田联房.基于MC算法的高质量脊柱CT图像三维重建[J].计算机应用与软件,2013,30(6):79-82,92.

[8] Weickert J.Anisotropic diffusion in image processing[M].Stuttgart:Teubner,1998.

[9] Huang Y,Qiu Z,Song Z.3D reconstruction and visualization from 2D CT images[C]//IT in Medicine and Education (ITME),2011 International Symposium on.IEEE,2011,2:153-157.

[10] Wang B,Dong Y,Zhao Y,et al.Computed tomography measurement of the auricle in Han population of north China[J].Journal of Plastic,Reconstructive & Aesthetic Surgery,2011,64(1):34-40.

[11] Cavanagh D,Steyn M.Facial reconstruction:Soft tissue thickness values for South African black females[J].Forensic Science International,2011,206(1):215.e1-215.e7.

[12] 王卫红,秦绪佳,郑红波.医学图像三维重建模型的虚拟剖切算法[J].中国图象图形学报,2006,11(2):217-223.

[13] Liang Y Z,Fang B,Wang Y,et al.Design of an interactive 3D medical visualization system[C]//Wavelet Analysis and Pattern Recognition (ICWAPR),2011 International Conference on.IEEE,2011:60-64.

[14] Fu W,Johnston M,Zhang M.Genetic programming for edge detection:a global approach[C]//Evolutionary Computation (CEC),2011 IEEE Congress on.IEEE,2011:254-261.

[15] Soyel H,Demirel H.Facial expression recognition using 3D facial feature distances[M].Image Analysis and Recognition.Springer Berlin Heidelberg,2007.

DESIGN OF COMPUTER-AIDED PROFILE MEASUREMENT SYSTEM BASED ON VOLUME VISUALISATION

Wu Zhongming1Tian Lianfang1Li Bin1Han Suning2*Qiao Guoqing3

1(SchoolofAutomationScienceandEngineering,SouthChinaUniversityofTechnology,Guangzhou510640,Guangdong,China)2(DepartmentofOphthalmology,GuangzhouGeneralHospitalofGuangzhouMilitaryCommand,Guangzhou510010,Guangdong,China)3(DepartmentofRadiology,GuangzhouGeneralHospitalofGuangzhouMilitaryCommand,Guangzhou510010,Guangdong,China)

In order to collect and sort out the data of five facial organs and heads characteristics of different population in China, we developed a computer-aided profile measurement system. The system first reconstructs 3D head model using surface rendering technology after the pre-treatment on images; then chooses the characteristic points on the model surface to make the plane for calculating intersection points to get the profile section, and implements the section mapping from three-dimensional space to two-dimensional space through geometrical transformation method. Finally, the system extracts outer profile coordinates set with boundary tracking technology, and marks and measures profile parameters of the model according to application requirements. Experimental results showed that the system could effectively realise profile parameters measurement of three-dimensional head model, and intuitively and accurately reflected actual morphological characteristics of five facial organs and head.

Profile measurement Volume visualisation 3D reconstruction Geometrical transformation Boundary tracking

2014-11-21。广东省自然科学基金项目(S201301001 2015);广东省科技计划项目(2012A030400024);军队总后重点课题(BGZ14C001)。吴仲明,硕士,主研领域:医学图像处理。田联房,教授。李彬,副教授。韩苏宁,副主任医师。乔国庆,技师。

TP391.4

A

10.3969/j.issn.1000-386x.2016.04.035

猜你喜欢

头颅三维重建轮廓
郭亮:“甘愿为党献头颅”
OPENCV轮廓识别研究与实践
基于Mimics的CT三维重建应用分析
基于实时轮廓误差估算的数控系统轮廓控制
油菜花
高速公路主动发光轮廓标应用方案设计探讨
基于关系图的无人机影像三维重建
三维重建结合3D打印技术在腔镜甲状腺手术中的临床应用
嵇康·绝响
多排螺旋CT三维重建在颌面部美容中的应用