李新华，程涛军，马 春，孙 南，王俊青

1.安徽大学 计算智能与信号处理教育部重点实验室，合肥 230039

2.中国科学院 合肥智能机械研究所 自动化系，合肥 230031

基于线结构光和足底扫描的足部参数测量研究

李新华1，程涛军1，马 春1，孙 南1，王俊青2

1.安徽大学 计算智能与信号处理教育部重点实验室，合肥 230039

2.中国科学院 合肥智能机械研究所 自动化系，合肥 230031

1 引言

利用光学测量技术解决逆向工程（Reverse Engineering，RE）问题是近年来制造工业领域研究的一个热点，其应用十分广泛。该技术最早被用于航空工业和汽车工业模具的轮廓测量，20世纪90年代末至今，该技术因具有无接触测量方式和测量结果精度高等优点，而被应用到人体测量学上。在足部生物力学研究领域，对足部姿势形态，病理特征的无接触式测量研究[1-2]（如：足底压力分布，足弓高等）成为了近来研究的热点；在健康运动生活上，利用光学测量技术测量个体足部系列参数，并结合足部生物力学研究成果设计制造更加科学、舒适，且能够满足个人要求的鞋楦成为了目前制鞋行业发展的趋势。

自20世纪90年代，大量的数学计算方法被引入到视觉领域后，利用光学测量技术重构物体轮廓的研究方法主要分为三种：（1）激光（线结构光）扫描[3-4]；（2）面结构光投影[5-6]；（3）多视图重构[7-8]。随之，该方法被引入到对足部外形轮廓的三维重构研究中，在国内，居琰[9]，贾倩倩[10]等采用线激光扫描实现了足部三维重构；胡勇[11]，Qing He等[12]采用多视图方法实现了足部三维重构；在国外，Jiahui Wang，Hideo Saito[13]采用多视图方法实现了足部三维重构，且该系统能够自动对足部系列参数进行测量。就实验效果而言，对于这三种重构方法，激光扫描方法有很高的精度和很强的鲁棒性，但是激光光源价格昂贵，而且重构所需时间较长；面结构光投影方法由于受到足部外形轮廓不规则的影响，无法被应用于足部三维重构；多视图方法虽然具有重构速度快的优点，但是该方法容易受到环境噪声的影响，增加了特征点提取和匹配的难度，降低了重构精度。就足部生物力学研究而言，脚长、脚宽、前脚围、足弓高等相关足部参数，尤其是足底压力区域分割的结果对指导设计更加健康、科学的鞋楦具有很大影响，而上述三维重构的方法只是注重足部外形轮廓的三维重构，忽略了足部生物力学研究所关注的参数，缺少了实际生产应用的价值。

为了解决上述问题，本文将足部参数测量分为足面轮廓点云重构和足底轮廓区域参数计算两部分。通过采用特制的红外线结构光源替代昂贵的激光光源，降低系统成本，然后采用线结构光扫描方法，重构足面轮廓点云；引入足底扫描技术计算足底轮廓点云，分割足底压力区域，然后将足面轮廓点云与足底轮廓点云进行融合，计算相关足部系列参数，为设计制造利用运动健康的鞋楦提供更加科学、有效的参数依据。同时系统又将当前足部生物力学关注的热点参数-足底压力区域分布数据发回实验数据库中心，用于进一步统计分析。通过实验结果分析表明，该方法具有精度高，鲁棒性好等优点，又引入足底扫描技术，仅由一幅足底扫描图像就能计算出足底区域所含的有用数据，加快了测量时间，同时又将光学测量与足部生物力学研究相结合，使得测量结果更加科学和合理。

2 总体方案设计

2.1 硬件平台设计

系统平台由足底扫描部分和线结构光足面三维重构部分组成。足底扫描是以扫描仪为平台，通过扫描静态站立于平台上的足底，可以得到含有足底轮廓和足底压力信息的图像；线结构光足面三维重构采用线结构光扫描方法，其中两个交叉的线光源组成结构光平面，并调节光平面垂直于扫描仪，CCD1和CCD2分别位于扫描仪的两端且垂直于光平面，这样有利于减少线结构光成像的盲点区域，系统用滑块带动光平面移动完成整个足面轮廓的扫描。

在系统参数计算测量中，对世界坐标系的合理选取能够减少系统测量时间，降低算法复杂度。该系统选择将扫描仪长边和宽边分别作为世界坐标系Zw，Xw轴，扫描仪左上角作为世界坐标系的原点Ow，将垂直于扫描仪平台，并过Ow点射线作为世界坐标系Yw轴。系统空间布局如图1所示，实物框架如图2所示。

本文利用线结构光对足面进行三维重构的硬件要求是摄像机光心线与线结构光面的垂直。本文实现的方法是：利用一点激光源，发射一条垂直于光平面的直线，并通过摄像机成像，由于摄像机的透镜具有一定的厚度，当激光线与摄像机光心线不重合时，激光线通过透镜成像会产生折射，这样图像上会看到两个光点，通过调节摄像机的位置，使得这两个光点尽量重合，这样就能到达系统要求的摄像机与结构光面垂直的要求。

图1 足部测量空间分布图

图2 足部三维重构系统平台

2.2 系统软件流程

系统软件实现可分为足底扫描部分与足面轮廓重构部分。对于足底扫描部分，首先对扫描图像进行滤波，然后进行轮廓提取和压力区域分割，最后计算足底参数；对于足面重构部分，首先经过滤波，然后对结构光带图像初始化分割，接着将初始分割的结构光带细化，最后还原三维坐标且融合三维数据。系统流程图如图3所示。

图3 系统流程图

3 图像坐标与世界坐标映射原理

本文实现足部参数测量的关键在于图像坐标与世界坐标映射建模。由扫描图像与线结构光成像原理可知，扫描图像坐标点和两个CCD拍摄图像坐标点到规定的世界坐标系XwYwZwOw内的映射完全不同，故本文将足部三维的重构原理分为扫描仪对足底区域坐标映射计算和线结构光对足面轮廓点云重构两步单独介绍。

3.1 足底区域坐标映射计算

由于扫描仪成像采用的是一种线性CCD图像单元感光成像原理，因此，在规定世界坐标系XwYwZwOw内，扫描仪得到的图像为足底的正投影。而由于足底受到人体压力，使得足底面与扫描仪紧贴在一起，同时足部生物力学对足底生理特性的研究关注的重点在于足底压力区域的分布，扁平足、正常足、高弓足等的判别。故本文系统将足底面的高度近视当成0，对于足底扫描图像上坐标P(xc，yc)与其对应的世界坐标P′(xw，yw，zw)的映射关系为：

3.2 足面轮廓点云重构

由于结构光平面在摄像机上成像满足正交原理，对于结构光平面中任一点的世界坐标为Pw(xw，yw，zw)，其在摄像机上成像坐标为Pc(xc，yc)，在不考虑摄像机畸变因子的情况下，可以将摄像机模型简化为理想的小孔成像模型，其坐标投影转换示意图如图4所示。

图4 光切面坐标与图像坐标转换

由图4可知，世界坐标系XwYwZwOw中的点Pw(xw,yw,zw)经过平移和旋转（绕Yw180°）变换，可以转换该点在摄像机坐标系XcYcZcOc下的坐标为变换关系为：

其中xoffset，yoffset，zoffset分别为摄像机坐标系与规定世界坐标系在X轴和Y轴上的偏移量，f为摄像机焦距，du为摄像机到光平面的距离。

公式（5）、（6）为没有考虑摄像机畸变的理想模式，而现实摄像机模型存在着切向和径向畸变。用Pc(xc，yc)表示图像点坐标，表示经过畸变校正后的坐标，则可以用下面公式进行畸变校正：

由公式（4）～（8）可推出世界坐标系XwYwZwOw上的点Pw(xw，yw，zw)与CCD上成像点Pc(xc，yc)的关系为：

已知摄像机相对于世界坐标系Pw(xw，yw，zw)的平移量(xoffset，yoffset，zoffset)，摄像机焦距f以及光平面到摄像机距离du，由公式（9）～（11）可知足面轮廓点世界坐标与像平面坐标的映射关系；已知扫描仪dot/inch参数，由公式（1）～（3）可知足底轮廓点世界坐标与像平面坐标的映射关系。对于足底图像处理与足面轮廓重构，系统规定了统一世界坐标系XwYwZwOw，故最后只要将计算所得的足面轮廓点云与足底点云叠加融合，就能得到完整的足部外形轮廓点云坐标。

4 实验结果

由人体测量学定义，足部系列参数基本测量点的分布如图5所示。它们分别为1-最长趾尖点、2-足后跟点、3-第一跖趾关节点、4-第五跖趾关节点、5-足跟第一跖骨点、6-足跟第五跖骨点。其中坐标点1与坐标点2的连线为脚长，3和4的连线为前脚掌宽，5和6为脚跟宽，而过直线3和4且垂直于脚底面的足部轮廓横截面的曲线为前脚围。

图5 足底参数测量点

4.1 足底扫描图像处理

本文对足部扫描图像的处理与这些关键点的自动求解步骤如下：

（1）首先对扫描图像（见图6（a））进行灰度化和中值滤波处理，接着利用阈值分割提取足底轮廓边缘线。

（2）利用Opencv中函数求解足底轮廓线的最小外接矩形，并记下两条长边的斜率、长度以及端点坐标。

（3）遍历足底轮廓线坐标，在沿长边方向1/3到1/2范围内，分别求解这些坐标到两条长边的最短距离的坐标点，并记下这两个点，根据左右脚的不同，这两个点分别可以为第一跖趾关节点和第五跖趾关节点或者第五跖趾关节点和第一跖趾关节点，由这两点可以计算前脚掌宽。

（4）遍历足底轮廓线坐标，在沿长边方向4/5到长边末端范围内，分别求解这些坐标到两条长边的最短距离的坐标点，并记下这两个点，根据左右脚的不同，这两个点分别可以为足跟第一跖骨点和足跟第五跖骨点或者足跟第五跖骨点和足跟第一跖骨点，由这两点可以计算脚跟宽。

（5）在步骤（3）（4）所求4个点中，将左边的两个点连成一条直线，右边的两个点也连成一条直线，并计算这两条直线相交后锐角的角平分线，该角平分线与足底轮廓线相交的两个点即为足后跟点和最长趾尖点，记下这两点，并计算脚长。

（6）最后对足部区域采用Otsu[14]自动阈值分割得到足底压力分布结果。

足底扫描图片处理实验结果如图6所示。

图6 脚底扫描图片处理

在实验结果图6中，图（a）为扫描原图，图（b）为底面轮廓求解图，图（c）为由底面轮廓区域还原到规定世界坐标系内的近似轮廓点云，图（d）为足底面测量点的求解图，图（e）为足底压力分布图，其中深红色的区域为人体主要受压区域。由原图以及实验结果图可以看出，由于人体正常压力，足底面紧贴扫描仪玻璃平面且产生形变使得足底面轮廓更加平整，同时通过图像能够很明显地看出足底不同的区域的受压情况，并计算足底受压区域，因此在应用研究中，将足底轮廓区域近似成一个平面并求解足底受压区域比求解完全理想的足底面三维轮廓更加具有实际意义。

4.2 线结构光图像处理与足面三维重构

本文对足面轮廓进行三维重构的步骤如下：

（1）对线结构光图像（见图7（a））进行中值滤波，然后采用Otsu[14]算法进行初始分割，得到具有一定宽度的线光带图像。

（2）采用重心法对结构光带进行细化处理，得到线结构光带中心坐标图像。

（3）将两个CCD摄像机光带坐标分别还原到规定的世界坐标系中，并利用最小二乘法进行曲线拟合消除光带重合区域和盲点区域。

（4）对所有分层轮廓结构光线进行融合，就能得到足面三维轮廓点云。

足面三维重构实验结果如图7所示。

图7 足面三维点云

在图7所示的实验结果图中，（a）图为线结构光原图，（b）图初始线光带提取结果，（c）图为图像细化后的线结构光带中心效果图，（d）、（e）图分别为脚面两侧线光带经过处理后的效果图，（f）图为（d）、（e）两图恢复到世界坐标后融合处理的结果，（g）、（h）、（i）图分别为足面分层轮廓线相融合后不同视角效果图。由图7所示实验结果可以看出，本文系统设计的线结构光平台能够很好地重构足面三维轮廓。

4.3 足部整体轮廓实验结果与参数计算

将足底轮廓点云与足面轮廓点云相融合，就能得到完整足部外形轮廓信息，实验效果图如图8所示。

图8 脚型三维点云

在系统对足部参数计算中，本文实现了如图5所示中的六个测量点坐标的自动提取，并以此计算出了脚长、前脚掌宽、脚跟宽、前脚掌围等参数。其中前面三个参数的计算方法已经在足底图像处理中给出了，而前脚掌围的求解步骤为：

表1 足部参数测量结果分析

（1）求解足底图像中第一跖趾关节点和第五跖趾关节点，连成直线，并计算这两点间的长度。

（2）将足面三维轮廓点云投影到足底平面上，找到投影点在步骤（1）所求的直线上的所有点。

（3）对步骤（2）中所求的点进行拟合形成一段光滑的曲线，并计算其长度。

（4）将步骤（1）、（3）中求解的直线长度和曲线长度相加就得到了前脚掌围度。

本文采用这种方法对足部参数进行实验，并选择了三组数据与实际人工测量进行对比，实验结果如表1所示。

由表1实验结果可以看出，前脚掌宽和脚跟宽的误差要比脚长和前脚掌围的误差要小很多，而且对于不同的实验脚长的误差精度也不相同。那是由于足部在前脚掌宽和脚跟宽的地方相对平整，所以测量精度高。而对于脚长参数测量由于不同人的脚，有扁平足、正常足和高弓足之分，使得足底面凹凸程度不同，因此与手工测量脚长时，高弓足的误差精度肯定大于正常足、偏平足。而对于前脚掌围度求解时，由于足面分层轮廓线在实际测量中具有一定的距离，因此在进行拟合求解时会产生一定的误差。从表1所示的足部参数测量整体结果分析可以看出，系统对足部系列参数测量具有很高的精确度，能够满足实际生产需求。

5 结论

本文研究利用线结构光扫描和足底扫描对足部系列参数进行测量，实现了一个足部参数测量系统。在采用线结构光对足面进行重构过程中，将摄像机与光切面垂直，使得摄像机光带成像为正交投影模型，进而简化重构计算方法，加快了重构速度，提高了重构的精度。在对足底轮廓计算中，引入足底扫描技术，与传统激光扫描对足底轮廓点云重构相比，该方法仅需一幅图像就能计算完整的足底轮廓点云，提高了重构精度，也缩短了重构时间。实验结果表明，系统能够快速有效地对足部参数进行测量，同时给出足部外形轮廓点云信息，并且成本低廉，易于推广。

[1]Yang Yunfeng，Yu Guangrong，Huang Siping.Effect of the plantar fasciotomy on the movement of the foot arch[C]// ICBBE’07 Proc，Wuhan，2007：478-481.

[2]Hwang S J，Choi H S，Kim Y H.Motion analysis based on a multi-segment foot model in normal walking[C]//26th Annual International Conference of the IEEE，IEMBS’04，2004：5104-5106.

[3]Brunsman M A，Daanen H，Robinette K M.Optimal postures and positioning for human body scanning[C]//3DIM’97 Proc，Ottawa，1997：266-273.

[4]Nishida N，Fukushima S，Minoh M.A method of estimating human shape by fitting the standard human model to partial measured data[C]//ACCV’00 Proc，Taipei，2000：276-281.

[5]Siebert J，Marshall S.Human body 3D imaging by speckle texture projection photogrammetry[J].Sensor Review，2000，20（3）：218-226.

[6]Zhang L，Snavely N，Curless B.Spacetime faces：high-resolution capture for modeling and animation[C]//ACMSIG-GRAPH’04，Los Angeles，2004：548-558.

[7]Weik S.A passive full body scanner using shape from silhouettes[C]//Proc ICPR’00，Barcelona，2000：1750-1753.

[8]D’Apuzzo N.Surface measurement and tracking of human body parts from multi-image video sequences[J].Journal of Photogrammetry and Remote Sensing，2002，56（5/6）：360-375.

[9]居琰，汪同庆，王贵新，等.脚型三维轮廓测量技术研究及系统实现[J].光电工程，2002，29（6）：21-24.

[10]贾倩倩，王伯雄，史辉，等.基于光切法的全三维量脚制鞋系统的设计和实现[J].微计算机信息，2010，26（2）：1-3.

[11]胡勇，王从军，韩明，等.基于计算机视觉的三维激光扫描测量系统[J].华中科技大学学报：自然科学版，2004，32（1）：16-18.

[12]He Qing，Liu Wei，Wei Ning.A method for 3D-point reconstruction in multi-vision based on perpendicular foot[C]//Proceedings of the 8th World Congress on Intelligent Control and Automation，Taipei，2011：147-151.

[13]Wang Jiahui，Saito H.Shape reconstruction of human foot from multi-camera images based on PCA of human shape database[C]//Proceedings of the Fifth International Conference on 3-D Digital Imaging and Modeling，Ottawa，2005.

[14]Otsu N.A threshold selection method from gray-scale histogram[J].IEEE Trans on System Man Cybernetics，1978，8（1）：62-66.

LI Xinhua1,CHENG Taojun1,MA Chun1,SUN Nan1,WANG Junqing2

1.Key Laboratory of Intelligent Computing&Signal Processing,Ministry of Education,Anhui University,Hefei 230039,China
2.Department of Automation,Institute of Intelligence Machines,Chinese Academy of Sciences,Hefei 230031,China

Since the existing methods of human foot outline three-dimensional reconstruction have the problems of low accuracy, poor robustness,high cost,and do not meet the actual requirements of the foot biomechanics research etc,a foot parameter measurement system which uses optical measurement technology and realizes non-contact measurement has been designed.On one hand, the system uses plantar scanning technology to construct the point cloud of plantar,segments plantar pressure area,and calculates the relevant parameters of plantar;on the other hand,the system uses line structured light to scan the foot surface to construct point cloud of foot surface,fuses into a whole foot contour point cloud,and finally,the system measures the series of foot parameters according to the definition of foot biomechanics.By the construction of the corresponding hardware platform,the measurements of multiple groups of foot are made,and the experimental results show that the system can finish foot 3D reconstruction quickly and accurately while has good robustness.

measurement of foot parameters;three-dimensional reconstruction of foot surface;line structured light scanning; plantar scanning

针对现有足部轮廓三维重构方法精度低，鲁棒性差，成本昂贵且不符合实际足部生物力学研究要求等问题，设计了一种利用光学测量技术实现无接触式足部参数测量的系统。该系统一方面通过对足底扫描图像处理，构建足底轮廓点云，分割足底压力区域，计算足底相关参数；另一方面利用线结构光技术，重构足面轮廓，将足底轮廓点云与足面轮廓点云在系统规定世界坐标系内融合，形成完整足部轮廓点云，根据定义计算足部围度等足部系列参数。通过搭建相应硬件平台对多组人体足部进行测量，实验结果表明系统能够快速、精确地完成足部三维重构，具有很好的鲁棒性。

足部参数测量；足面三维重构；线结构光扫描；足底扫描

A

TP391

10.3778/j.issn.1002-8331.1112-0548

LI Xinhua,CHENG Taojun,MA Chun,et al.Research of foot parameters measurement based on line structured light and plantar scanning.Computer Engineering and Applications,2013,49（18）：260-264.

国家自然科学基金（No.61172127）。

李新华（1968—），男，副教授，硕士生导师，研究方向为计算机视觉、数字图像处理；程涛军（1986—），男，硕士研究生，研究方向为计算机视觉、三维重构；王俊青（1987—），男，硕士研究生，研究方向为计算机视觉、运动与健康。E-mail:chengtaojun88@163.com

2011-12-28

2012-05-08

1002-8331（2013）18-0260-05