邓惠俊

(万博科技职业学院 计算机科学技术系,合肥 230031)

面向CT数据的3D分割系统设计与实现

邓惠俊

(万博科技职业学院 计算机科学技术系,合肥 230031)

分割模块是放射治疗计划系统TPS的核心模块,但目前多数TPS系统采用2D分割技术,存在分割过程复杂、结果不精确等问题.针对CT数据,综合运用多风格体绘制、智能传递函数设计、基于笔触绘制直观交互等方法,使得用户通过丰富的渲染图像和直观的交互手段,实现器官的3D分割.实验证明,本文方法不仅能提高分割的效率,也能获得更好的分割效果.

CT;3D分割;体绘制;GPU;人工智能

0 引言

20世纪50年代初放射外科概念被提出,放射治疗已经成为治疗恶性肿瘤的主要手段之一.放射治疗计划系统(TPS:Treatment Planning System)是指利用计算机模拟放射治疗过程的软件系统,它被用来确定放射治疗方案的全过程,是实现精确放射治疗的核心技术[1].

分割模块(也称勾画模块)的作用是从三维医学影像数据(由一叠CT/MRI/PET影像切片构成)中分割出一系列有意义的子区域[2],是TPS系统的核心模块,但目前多数采用2D分割技术,存在分割过程复杂、结果不精确等问题.文献[3]从市场和技术两个方面对3D分割技术进行了充分分析.本系统使用的3D分割技术是发展快速、高效的分割系统.为了提高系统的运行速度,本系统采用了GPU编程技术,系统后台应用核心人工智能算法CUDA(Compute Unified Device Architecture)实现,渲染部分采用CG(C for Graphics)实现,得到了方便移植的渲染模块.

1 系统概述

本系统针对TPS系统对器官的3D 分割需求,基于方便用户的原则,实现了多风格的体绘制和基于智能技术的传递函数设计相结合的应用平台.在对体数据进行多风格显示的基础上,为用户提供方便的体数据分类功能,并对选择后的体数据结果进行实时的绘制显示.

智能传递函数的设计算法是核心算法,算法的质量直接影响了用户输入处理的结果和软件的运行速度.为了达到理想的效果,提高系统的质量和运行速度,采用了基于神经网络的智能分类算法.

为了保证良好的交互特性,体数据的渲染必须满足实时性要求.由于体绘制采用的光线投射算法计算量大,传统的CPU编程无法满足实现实时渲染.随着可编程GPU的出现,GPU的并行计算能力解决了体绘制的实时渲染问题.本文实现了基于GPU的体绘制算法,并在此基础上创建了一个易移植的体绘制显示平台.

为了提高绘制结果的真实感,本系统实现了多种风格的体绘制效果渲染——基本光照风格、散射风格、阴影风格、球形纹理风格等,并针对这些因素进行了大量的工作.

(1)智能传递函数的优化算法:本系统中采用人工神经网络(Artificial Neural Networks)作为智能优化算法对传递函数进行自动设计.人工神经网络具有自学习和自适应的能力,可以预先提供一些相互对应的输入和输出数据进行分析,掌握两者之间的潜在规律,最后根据这些规则,计算出新的输入数据[4].提供交互工具可以在体数据切片上对用户感兴趣和不感兴趣的特征进行标记,并将这些数据作为人工神经网络的训练数据来对神经网络进行训练.训练后的网络作为分类器实现整个体数据的分类,从而实现传递函数的自动设计.

(2)体绘制上实现光照效果:不同于传统的面片数据,体数据是一堆抽象的数字信息,其中并不直接包含面信息和法向信息,为了实现体数据上的光照效果,须要通过体数据的梯度信息替代法向信息计算光照.本系统采用的是Sobel 3D算子计算梯度信息,效果良好.在基本光照的基础上,还实现了其他多种效果.如添加阴影效果形成阴影风格,模拟物体周围的环境形成球形纹理风格,提供透明风格模拟晶莹剔透的玻璃质感等等,最终得到了真实感较强的各种体绘制效果.

(3)易扩展的渲染平台:通过对系统渲染平台的功能进行分析,为了满足渲染平台的易扩展易移植性,设计了易扩展的平台架构,在此架构中实现了普通光照风格、阴影风格、球形纹理风格等渲染风格.面对我们对渲染效果的逐步增加,还可能须要添加更多的光照风格的效果,基于这种架构,当一种光照效果设计出来后可以根据需要方便的从渲染平台中添加或删除.

2 系统体系结构

一般而言,体系结构是指一个系统来构建组织结构之间的关系,组件和控制系统设计的演化、原则和策略.复杂系统的架构设计,在决定系统的成败上起着非常重要的作用,通过对大型系统的抽象级别上的表示来提高设计人员对系统的理解,支持系统在不同级别的重用,揭示了系统有可能演化的方向[5].本系统的架构数据流如图2-1所示:

图2-1 面向CT数据的3D分割系统数据流图

(1)交互平台:负责整个系统和用户的交互,它包括显示平台和操作平台两部分.显示平台由体数据库中的数据或者处理过的数据加上用户所选择的渲染效果进行渲染,并显示出来,是整个系统的“窗口”.操作平台是提供给用户的交互模块,用户利用画笔等标记工具在显示区域进行选择标记,标记结果转入后台计算模块进行处理.

(2)人工智能算法:属于后台运作,根据用户的输入和数据库中的体数据,进行用户的标记意图分析,据此提取出的输入数据,进行重新分类计算,得到新的结果输入到渲染平台,人工智能算法是整个平台的计算核心.

(3)渲染平台:负责整个系统数据的绘制显示,有多种显示效果的选择切换功能,根据用户的选择进行不同效果的绘制,并输出到交互平台,是整个系统的可视化“工厂”,其运行效率和质量对整个系统的使用有着至关重要的作用.

(4)体数据库:系统的数据库,负责存储体数据,其数据可直接输出到渲染平台,或输出到人工智能算法平台,经神经网络算法计算后,再输出到渲染平台进行显示.

图2-2给出了系统结构图,分为交互模块、人工智能算法模块、渲染模块三部分:

图2-2 面向CT数据的3D分割系统结构图

2.1交互分割模块

交互平台负责整个系统中的交互工作,包括在对颌骨进行骨块分割和复位过程中的各种交互操作.交互平台是用户告诉系统进行怎样处理的接口,用户通过对想要的和不想要的数据进行标记,来达到和系统交互并得到想要结果的目的.系统提供了用户直接在体绘制的颌骨模型上进行标记的功能,以笔触作为标记方式.用户标记完成后,系统后台会自动进行计算,把图形上的抽象标记转化为具体的数据以便分割复位模块进行处理.本系统实现的交互平台是为了辅助用户能够更好地控制分割、复位过程和查看复位结果,即分割复位之前通过交互控制颌骨模型的缩放和旋转角度,在分割过程中进行分割骨块面片的选择和取消,复位之后通过缩放和旋转查看复位细节和整体情况.

整个交互平台是以体绘制的可视化为基础的,使用简单易懂的交互方式可以增加使用方便性,本系统借鉴画图软件的画笔功能,交互实现方式简单易用、方便快速,适合医务人员使用,并不需要很高的计算机专业技能就可以上手.另一方面,由于颌骨的复位属于医疗领域,通过交互地控制,可以将医生的专业知识和经验作为输入帮助系统更好地分割复位.

选择操作:选择操作是交互操作的基础,利用鼠标左键点选拖动完成,判断鼠标轨迹经过的点坐标是否存在于三角面片的内部,若在其内部则选中该三角面片.

取消操作:类似地,由上述的选择操作获得该三角面片对应于颌骨模型中的序号,利用Alt+鼠标左键点选拖动完成,对鼠标轨迹经过的三角面片进行删除即可.

缩放操作:缩放工作主要通过鼠标滚轮控制颌骨模型的显示比例,方便查看颌骨模型的细节,最终根据缩放比例和面片的坐标完成显示.

旋转操作:主要完成功能为对颌骨模型的旋转显示,方便从不同角度查看颌骨模型,通过利用鼠标右键进行拖拽实现视角的改变.

拖动操作:主要完成功能为将颌骨模型移动到指定的位置,利用Shift+鼠标左键进行拖拽实现,利用起始点鼠标坐标和目标点鼠标坐标确定平移向量,完成对颌骨模型的平移.

2.2人工智能算法模块

人工智能算法模块是系统后台进行数据处理的核心模块,其运行效率代表着系统的“智能”程度.本系统选用人工神经网络作为智能优化算法对传递函数进行自动设计.算法根据交互模块得到用户感兴趣和不感兴趣的特征数据,并将这些数据作为人工神经网络的训练数据来对神经网络进行训练.训练后的网络作为分类器实现整个体数据的分类,从而实现传递函数的自动设计.

由于人工神经网络属于计算密集型算法,计算时间太长影响用户体验.为提高人工智能算法模块的运行速率,本系统采用CUDA在GPU上实现人工智能算法模块,利用GPU强大的并行计算能力对该模块进行加速.

2.3渲染模块

渲染模块是系统显示功能的中心,是整个智能体绘制平台的绘制窗口.出于对真实感效果的追求,经常会有新的显示效果出现,需要增加到显示模块中,因此易添加、易移除、易移植是显示模块框架设计的核心思想.

渲染模块的设计框架采用面向对象的思想,应用多态和抽象基类,在抽象基类中定义了虚方法,各个子类继承抽象父类实现虚方法.在程序架构中,只需定义父类的指针,根据用户的选择动态调用子类方法.如图2-3的UML类设计图,渲染模块包含一个基础父类RayCasting,RayCasting中包含了光线投射过程必不可少的成员以及虚方法init()和execute().这里列举了RayCasting的四个子类.四个子类分别实现四种不同的光照效果.子类们公有继承父类.并根据各自要实现的效果进一步实现虚方法init()和execute().

图2-3 渲染模块类UML图

基于这种多态实现的框架,当有新效果需要加入时,只需加入新效果对应的实现子类,并给新效果增加编号即可,基本不需要修改原有代码.当需要删除某种效果时,只需删除效果的编号即可.

3 系统运行软硬件环境

Windows 10操作系统,VS 2005编译器,机器配置为Intel E5300 2.6G CPU、2.0G内存、NVIDIA GeForce GTS 250显卡.

4 系统实现与运行实例介绍

4.1系统实现

智能体绘制平台实现后,系统的运行界面如图4-1所示.系统主界面由四部分组成,分别为:菜单栏、常用工具栏、体绘制显示区、CT切片显示区.

图4-1 系统运行界面

体绘制显示区如图4-1所示,场景中是头颅的三维图像,此图像是根据实物采样得到的数据重构出的,CT切片显示区是分别从X、Y、Z三个方向观察到的CT切片图.切片图是根据重构的数据绘制出的灰度图,通过CT切片图下方的滑动条可以调节当前观察的CT片,如图4-2所示:

图4-2 切片图

常用工具栏中有可供用户选择使用的笔触属性,如图4-3从左到右依次是红笔、蓝笔、橡皮和笔粗,红笔标记代表“需要的部分”,蓝笔标记代表“剔除的部分”.

图4-3 笔触属性工具栏 图4-4 人工智能算法工具栏

选择了笔的种类和笔粗后用户就可以在CT切片区进行标记了,X、Y、Z三个方向的切片上均可选择标记,如图4-5所示,代表剔除皮肤,只显示头骨.

图4-5 标记示例图

4.2运行实例

常用工具栏中的“BP”按钮代表按照用户当前的标记进行人工智能算法计算,如图4-4所示,“RE”按钮代表还原.按下图的BP按钮后系统人工智能算法平台开始运算,运算结束后,在显示区就会得到用户想要的分类后的体绘制效果图,如图4-6所示:

图4-6 头部标记运行结果

图4-7是三层球形的测试体数据进行选择后的显示结果,可以看出系统的智能传递函数分类的结果符合用户需求的正确性和方便性.

(a)测试数据初始图 (b)只显示中间一层

(c)剔除中间一层 (b)显示外面两层图4-7 三层球形测试数据标记运算结果图

5 结语

面向CT数据的3D分割系统通过良好的渲染图像和直观地交互手段,实现器官的3D分割.该系统的主要特点包括:(1)多风格光照的体绘制方法,为用户提供多种可视化方案选择,满足不同领域的可视化需求.(2)智能传递函数设计方法,简化传递函数设计过程,将用户从繁琐的手动调整过程中解脱出来,轻松地获得需要的可视化结果.(3)GPU实现体绘制方法以及人工智能算法,利用GPU的并行计算能力,减少体绘制等复杂算法的运算时间,提高用户体验.(4)本系统采用了基于笔触绘制的交互分割方法来进行骨块分割.系统通过半自动交互的方式克服了全手工分割和全自动分割的缺点,采用基于笔触的绘制方式进行交互,方便非专业用户的使用.本系统采用形状直径函数值作为骨块分割的依据,利用图割算法进行分割,从而达到提高骨块分割的速度和良好分割效果的目的.

[1]吴宜灿,李国丽,陶声祥，等.精确放疗系统ARTS的研究和发展[J].中国医学物理学杂志,2005,22(6):683-691.

[2]胡逸民.肿瘤放射物理学[M].北京:原子能出版社,1999.

[3]邓惠俊.面向放疗计划系统的3D数据分割技术分析[J].文化研究,2016(4):321-322.

[4]陈安,李季梅,陈宁.应急管理中“可减缓性”评价模型及应用[J].科技促进发展,2010(3):54-59.

[5]王柏,王红熳,邹华.分布计算环境[M].北京:北京邮电大学出版社,2000.

[6]瞿德清.基于绘制的智能传递函数设计方法研究[D].合肥:合肥工业大学,2011.

DesignandImplementationof3DSegmentingSystemforCTdata

DENG Hui-jun

(Department of Computer Science and Technology, Wanbo Institute of Sci.& Tech., Hefei 230031, China)

Segmentation module is the core module of TPS (Treatment Planning System).At present, most TPSs make use of 2D segmenting method, which may result in complicated process and inaccurate results.As for CT data, by comprehensively applying various relevant technologies, such as the multi-style volume rendering, design of intelligent transferring function, painting-based interaction, the current research realized intuitive 3D segmentation based on resourceful rendering image and intuitive interaction.The experiment result demonstrated that both segmenting efficiency and effects are improved.

CT; 3D segmentation; Volume rendering; GPU; AI

格式：邓惠俊.面向CT数据的3D分割系统设计与实现[J].海南热带海洋学院报,2017,24(5):69-75.

2017-04-16

安徽省高等学校自然科学研究重点项目 ( KJ2016A751)

邓惠俊(1978-),女,安徽无为人, 万博科技职业学院副教授,硕士,研究方向为计算机辅助设计、计算机可视化、网络安全.

TP391

A

2096-3122(2017) 05-0069-07

10.13307/j.issn.2096-3122.2017.05.12

(编校曾福庚)