刘阳泰，董庆利，秦智轩，刘洋, 樊欣熠，胡孟晗，刘宝林

(上海理工大学 医疗器械与食品学院，上海，200093)



基于Android智能手机图像分析判定香蕉成熟阶段

刘阳泰，董庆利*，秦智轩，刘洋, 樊欣熠，胡孟晗，刘宝林

(上海理工大学 医疗器械与食品学院，上海，200093)

开发了一款基于智能手机机器视觉技术用于判定香蕉成熟阶段的Android程序。程序可运行于Android1.6及以上版本的操作系统中。利用该程序对色温为6 500K光照环境下，成熟阶段为第1～第8阶段的单支香蕉果指进行图像获取，提取表面RGB/HSV颜色指标并分析反馈。该方法试验表明，贮藏期内香蕉表面R值与H值2项指标相结合可作为基于智能移动设备的香蕉鲜果成熟阶段分级依据，在标准白色光光照条件下的香蕉鲜果各成熟阶段检测总分类率为87.24%，因此可依靠智能移动设备在各销售节点实现香蕉鲜果成熟阶段的实时快速判定。

香蕉; 计算机视觉; 智能移动设备; 色泽; 成熟阶段

我国是香蕉的主要种植发源地，已有3 000多年的历史[1]。如今香蕉是世界上最主要的进出口水果之一，截至2013年，全球香蕉年产量达10 654.2 万t， 进出口总量达3 539.2 万t，贸易额197.6 亿美元，超过柑橘成为世界第一大贸易额的水果[2]。在香蕉流通及销售过程中，对其成熟阶段的评价，通常是香蕉鲜果采后处理过程中的分级标准之一。香蕉鲜果表面的颜色和纹理特征在贮藏中会出现较大的变化，传统一般由人工对其成熟阶段进行评价后分类[3]，主观性强；部分客观检测则常采用色差仪等光检测方法进行判别[4]，且多为接触式检测，不适合实时获取结果。同时也有学者采用计算机视觉技术，通过预设条件下分析香蕉样品的图像信息以达到无损检测的目的[5-6]。

随着“互联网+”时代的到来，新兴的智能移动设备也开始配备高速处理器、高分辨率摄像头并搭载智能操作系统[7]，已具备了部分或全部替代计算机完成视觉识别检测的能力，利用其对食品进行快速无损的品质及安全检测必将成为趋势。由于智能移动设备具有便携易用、学习和使用成本较低的特性，不论是产品供应商、销售商，或是实验室检测人员，甚至消费者都能以统一的标准实时、快捷地开展视觉识别检测工作。目前已有学者开展了部分相关的研究，但检测目标多以食品品种分类为主，并没有针对食品的品质信息进行分析，且仅局限于利用手机设备获取图像，计算分析则多需依托互联网反馈完成，不能充分利用智能设备的计算能力，无法开展离线检测[8-12]。

本研究以Android智能手机为工具，利用视觉技术，开发相应的检测软件，构建基于移动设备设备所提取的光学指标与香蕉鲜果成熟阶段的相关关系，达到通过智能移动设备实现香蕉鲜果成熟度实时快速分类的目的。

1　材料与方法

1.1试验软件构建

本研究开发的Android试验程序在华硕N43s笔记本电脑上完成编写及调试工作，电脑搭载Intel(R)Core(TM)i7-2630QM2.00GHz核心处理器，8G内存，微软Windows7 64位旗舰版操作系统。

试验程序具有调用Android系统设备自带镜头或内置图片库的功能。待拍摄或选取目标图像后，试验软件可自动完成图像处理、指标分析与结果反馈。Android程序操作界面及工作流程如图1所示。

其中，图像处理算法包含预处理、图像分割与指标提取3部分。为降低图像信息噪声，减少数据不确定性，试验程序在图像输入后加入高斯滤波算法(高斯平滑)，即根据高斯函数(正态分布函数)选择权值，对某像素点及其周围的像素点进行变换[13-14]。本研究应用二维零均值离散高斯函数作为滤波器，如式1所示：

(1)主界面；(2)拍照界面；(3)图库界面；(4)裁剪界面；(5)结果反馈界面图1　Android程序操作界面与步骤Fig.1　The interface and step of the Android program

(1)

式中，x表示图像某像素点的横坐标；y表示图像某像素点的纵坐标；r表示高斯滤波半径；σ表示滤波器宽度。

式1通过采样、量化，并归一化得到大小为3×3的高斯滤波模版G3，如式2所示。

(2)

经过高斯滤波的图像再由最大类间方差分割算法(大津法，简称Otsu[15])去除无用背景，仅对图像前景(样本范围)进行颜色指标提取[16-17]。Android试验程序可根据图像直接对目标样本表面的RGB色彩指标(红色值、绿色值、蓝色值)的进行提取，并转换为HSV色彩指标(色调、饱和度、亮度)。其中，标准红色的编号为#FF0000，标准绿色的编号为#00FF00，标准蓝色的编号为#0000FF，三者取值区间均为0～255。

HSV指标通过下式由RGB指标转换得到：

在诊断妊娠合并甲状腺功能异常疾病时，需要对孕妇的临床表现进行观察，同时对孕妇血清促甲状腺激素、游离甲状腺素（FT4）、TT4、TT3、游离三碘甲状腺原氨酸（FT3）等数据进行监测，从而有效诊断妊娠合并甲状腺功能异常[19]。

(3)

(4)

(5)

式中:H表示图像平均色调值，取值区间为0～360；S表示图像平均饱和度，取值区间为0.0～1.0；V表示图像亮度，取值范围为0～255；R/G/B分别表示图像平均红色值、平均绿色值、平均蓝色值。

1.2视觉检测平台搭建

视觉检测平台光照箱部分由320mm×250mm×250mm的铁箱改造而成，内壁覆盖黑色吸光绒布，下板放置待测样品，上顶悬挂色温为6 500K的白色环形T5型荧光灯(TL-E22W/33-640 1CT,Philips,China)，用以模拟晴朗白天环境，三星SM-101移动电话机作为本试验的手持式智能设备，安装试验软件后置于顶板外侧，透过视窗利用后置摄像头对待测样品进行拍摄，拍摄设置参数如表1所示，视觉检测平台示意图如图2所示。

表1　智能移动设备后置摄像头参数设置

1-光照箱；2-智能移动设备；3-光源；4-样本图2　视觉检测平台示意图Fig.2　The schematic of lighting system

1.3试验材料及步骤

正式试验组及验证组所用香蕉鲜果(Musa AAA Cavendish)样品均采购于上海某水果市场。其中正式试验随机选取同一果蔬中无明显机械损伤的3支青香蕉果指分离并编号，每支香蕉果指分别与2个苹果放入一个密封袋内，并置于温度(18±2)℃，湿度90%～95%的环境中贮藏催熟，直至鲜果丧失直接食用价值。每日通过Android程序获取3幅待测样本图像，并记录程序分析结果。验证组选取相同批次中无明显机械损伤的香蕉鲜果30支，以相同处理方式贮藏，并每日获取各支香蕉鲜果图像3至6幅备用。

正式试验与验证实验检测步骤如图3所示。

图3　智能移动设备香蕉成熟度检测步骤Fig.3　Measurement procedure of the banana maturity based on the smart handheld terminal

1.4分类与验证

香蕉鲜果的成熟阶段感官评定依据1950年VonLoesecke8阶段分级方法[18]对应8分制进行打分，即第1阶段皮色青绿，第2阶段绿中泛黄，第3阶段绿多于黄，第4阶段黄多于绿，第5阶段黄有绿点，第6阶段皮色金黄，第7阶段黄杂褐斑，第8阶段褐斑覆盖，至此香蕉鲜果丧失直接食用价值。感官评定小组由经过训练的食品科学相关专业教师及学生组成，共9人。

试验软件获取的指标数据通过Grubbs检验法排除异常数值后，绘制不同指标随时间变化趋势图。

综合前期预试验R值与H值的变化规律，构建指标DRH表征香蕉鲜果成熟程度，等式如下：

(6)

并构建指标Tn作为各成熟阶段的阈值对香蕉鲜果成熟阶段进行分类，n对应8个不同成熟阶段，T的计算式如下：

(7)

开展验证实验前将已获得的分级准则输入程序，同时随机抽取30支同品种香蕉鲜果各成熟阶段图像3幅，共计720组图像进行分类验证，并获取不同香蕉鲜果成熟阶段的正确率与总分类率。

绘图与统计分析通过Windows操作系统下的Matlab2012b(TheMathWorks，USA)及SPSSStatistics22(IBM，USA)软件共同完成。

2　结果与分析

2.1感官评定

本研究正式试验自香蕉鲜果样品第1成熟阶段皮色青绿至第8成熟阶段褐斑覆盖的感官评定结果如图4所示，其中a～h表示各水平显著性差异，字母不同者表示差异显著(P<0.05)。

图4　贮藏期内香蕉鲜果成熟阶段感官评定(P<0.05)Fig.4　Sensory evaluation of banana maturity stage during the storage (P<0.05)

2.2软件结果

随机选取试验中的某一幅图像，如图5(1)，输入至Android程序，图像处理结果如图5(2)所示，图5(3)为在Matlab应用相同算法对图像处理后的结果。阈值分割后，白色部分颜色信息作为后续统计指标，黑色部分则忽略不记。通过对比发现，Android程序可较好地对样本图像进行分割，同时，与Matlab处理结果相近，说明算法的可行性。

图6(b)～图6(c)及图6(e)～图6(f)显示出在香蕉鲜果贮存期内，G值、B值、S值和亮度数值波动较大，同时不能反映出各个成熟阶段的数值特征范围，故并不适宜作为香蕉成熟阶段的判定指标。又由图6(a)和图6(d)可知，随着贮藏时间的延长，香蕉鲜果表面R值整体呈上升趋势，H值整体呈下降趋势。其中，在第1阶段至第7阶段中，R值均平稳上升，其中第2～第5阶段上升速度较快，进入第6阶段后R值逐渐放缓进入平台期，但仍继续上升，这与胡孟晗等[5]研究结果相符合，第8阶段开始R值有所下降，数值与第6阶段重合。说明通过智能移动设备所提取的香蕉样品的R值较适于作为香蕉鲜果成熟度第1～第7阶段分级的标准指标，但不能独立作为香蕉鲜果成熟度全成熟阶段的分级指标。H值虽在全成熟阶段中数据平稳下降，但存在数值间隔不明显的现象，易导致误判。

(1)RGB原图；(2)Android程序阈值分割结果；(3)Matlab阈值分割结果图5　Android程序与Matlab阈值分割结果比较Fig.5　Comparison between Android program binary image and Matlab binary image

(a)红色值；(b)蓝色值；(c)绿色值；(d)色调；(e)饱和度；(f)亮度图6　贮藏期内香蕉鲜果各指标随贮藏时间变化图Fig.6　The change of banana surface color indexes during different storage time

图7　不同香蕉鲜果成熟阶段变化图(P<0.05)Fig.7　The change of in different banana maturity stage

成熟阶段Tn-Tn+1-<2.092422.09242.324632.32472.576242.57632.761152.76123.056463.05653.688173.68824.28198>4.2819-

2.3验证

根据2.2中香蕉鲜果成熟各阶段的阈值Tn，赋予检测软件判定标准，并输入验证组图像对检测软件进行验证，结果如表3所示。

表3　基于Android手持设备香蕉鲜果各成熟阶段判定正确率与总分类率

3　讨论

3.1检测算法

目前应用智能移动设备于水果无损检测的案例与研究均较少，市场上架的软件如FruitChecker、Colorimeter、CatchColor等与水果品质相关检测软件，检测准确率低，不能给出合理的结果，无法满足用户的需求。

胡孟晗等[5]研究中利用计算机软件提取基于RGB的颜色指标与基于灰度共生矩阵的纹理指标对贮藏期内1～7成熟阶段的香蕉鲜果进行描述，然而此算法局限于于传统计算机中使用。MENDOZA等[19]曾利用计算机视觉技术根据香蕉上棕色斑点的量来评定香蕉鲜果的成熟阶段，但经过预实验发现，这种方式对于有自然损伤及污点的香蕉鲜果会造成误判。INTARAVANNE等[20]曾利用手机提取香蕉鲜果在紫外下的二维光谱方法对香蕉鲜果的成熟阶段进行评估，但该方法对环境光照要求高，判定结果也仅粗略地将香蕉成熟阶段分为3类，未列明各成熟阶段的正确率及总分类率，不能满足标准分类的要求。

本研究通过阈值分割去除背景及表面斑点后再进行评定则避免了因污点对香蕉成熟阶段的误判，利用了色温6 500K(标准白色光，对应晴朗白天)条件下的图像实现了香蕉成熟阶段的分类。然而在算法上依旧存在不足，通过表3可知，第4及第5阶段的正确率较低，根据8阶段分级方法的表述，以及图3和图5的显著性表现也可发现这2个阶段的香蕉鲜果区别较小，而实际中第4及第5阶段的香蕉鲜果均可上架销售，故未来对于第4及第5阶段正确率提升可能的方法有两个思路，一是将2个阶段合并视为同一成熟阶段，二是增加其他分类指标的提取，如表面纹理[5,21]、形状[22]、大小[23]等辅助分类。同时，采集不同色温条件下香蕉样本的数据并实现白平衡校正，使算法可应用于更多的光照条件下也是未来研究的目标之一。

此外Android程序目前仅实现对单支香蕉果指的成熟阶段进行分类，然而实际中多以整把香蕉果蔬的形式销售，HU等[6]曾利用双层K-均值聚类算法，对整把香蕉果蔬进行阈值处理，达到将果梳分割为果指并去除其表面的损伤及斑点的目的，借鉴该方法使利用智能移动设备对香蕉果蔬的成熟阶段进行分类成为可能。

3.2平台搭建

INTARAVANNE等[20]针对手持设备相关研究提出过2种视觉系统布局方案：一是采取较大的箱体作为光照系统主体，其中放置样品与直管型光源，移动设备则放置于箱体外，属于传统的视觉系统布局，但对于移动设备来说过于庞大，不利于移动设备操作；二是将光源以圆型形态布置于移动设备镜头周围，直接对样品进行拍摄，但此法所设计的光源目前不易获得，且没有构造合适的封闭条件隔离外界光源，对环境要求较高。本研究为便于智能移动设备的操作结合现有条件，将2种方案相结合，缩小光照系统的体积，将直管型光源替换为较小的圆型光源悬挂于箱体顶部开孔周围，移动设备通过开孔对箱内样品进行拍摄。

同时需要说明的是，搭建光照平台虽能更为准确地对待测物体进行拍照分析，但若实现在自然光下直接对食品开展无损检测将大大拓展其应用价值。在室外计算机视觉无损检测中，面临的最大难题是色温的差异与待测对象表面反射的影响，这是由于自然光随着时间的改变其色温亦在改变，同时光线照射角度与待测样本形态均具有不确定性[24-25]，需要开展大量的试验。WANG等[26]曾针对3种室外光照条件下的660组樱桃样本进行计算机视觉分析，利用相机自带的闪光灯及樱桃表面绿色值的分布情况减小了室外条件带来的影响，总分类率在85%左右，这为本研究未来算法的改进与拓展提供了借鉴。

因此，在下一阶段的研究中将通过获取不同光照条件下及不同形式的香蕉样本颜色、纹理、形状等指标数据，联合化学指标，利用移动智能设备自带闪光灯及色温校正算法对香蕉的品质进一步分析分类，扩大智能移动设备开展无损检测工作的应用范围。

4　结论

利用搭载Android操作系统且具有后置摄像头的智能手机，通过开发相应检测程序，可替代计算机，完成对贮藏期内第1～8成熟阶段的香蕉鲜果进行图像获取、预处理以及颜色指标的提取。

优选香蕉表面R值与H值相结合构建DRH值，获取各成熟阶段分类阈值Tn作为智能移动设备判定不同香蕉成熟阶段的标准。经验证，对特定品种及标准白色光光照条件下的香蕉鲜果各成熟阶段检测正确率达80.95%以上，总分类率为87.24%。

[1]董涛, 陈新建, 凡超, 等. 我国香蕉产业面临的主要问题与对策[J]. 广东农业科学, 2013, 40(11): 220-223.

[2]李玉萍, 方佳. 中国香蕉产业现状与发展对策研究[J]. 中国农学通报, 2008, 24(8): 443-447.

[3]樊刚伦. 香蕉无伤采收及采后商品处理技术[J]. 农业与技术, 2012, 32(11): 104-104.

[4]CHENCR,RAMASWAMYHS.Colorandtexturechangekineticsinripeningbananas[J].LWT-FoodScienceandTechnology, 2002, 35(5): 415-419.

[5]胡孟晗, 董庆利, 刘宝林, 等. 基于计算机视觉的香蕉贮藏过程中颜色和纹理监测[J]. 农业机械学报, 2013, 44(8): 180-184.

[6]HUMH,DONGQL,LIUBL,etal.ThepotentialofdoubleK-meansclusteringforbananaimagesegmentation[J].JournalofFoodProcessEngineering, 2014, 37(1):10-18.

[7]工信部. 移动互联网白皮书[R]. 北京. 2013.

[8]ZHUF,BOSCHM,WOOI,etal.Theuseofmobiledevicesinaidingdietaryassessmentandevaluation[J].SelectedTopicsinSignalProcessing, 2010, 4(4):756-766.

[9]CATHALG,FRANKH,WOLFGANGH,etal.LectureNotesinComputerScience[M].Dublin:SpringerInternationalPublishing,2014:369-373.

[10]OLIVEIRAL,COSTAV,NEVESG,etal.Amobile,lightweight,poll-basedfoodidentificationsystem[J].PatternRecognition, 2014, 47(5):1 941-1 952.

[11]IQBALZ,ERIKSSONM.Classificationandquantitativeopticalanalysisofliquidandsolidsamplesusingamobilephoneasilluminationsourceanddetector[J].Sensors&ActuatorsBChemical, 2013, 185(8):354-362.

[12]MESAS-CARRASCOSAFJ,CASTILLEJO-GONZLEZIL,ORDENMSDL,etal.Real-timemobilephoneapplicationtosupportlandpolicy[J].Computers&ElectronicsinAgriculture, 2012, 85(5):109-111.

[13]谢勤岚. 图像降噪的自适应高斯平滑滤波器[J]. 计算机工程与应用, 2009, 45(16): 182-184.

[14]石锐, 陈中秋, 刘晶淼. 基于高斯加权和流形的高保真彩色图像降噪[J]. 计算机应用, 2013, 33(9):2 588-2 591.

[15]OTSUN,OHTSUN.Athresholdselectionmethodfromgray-levelhistograms[J].IEEETransactionsonSystemsManandCybernetics, 1979, 9(1): 62-66.

[16]齐丽娜, 张博, 王战凯. 最大类间方差法在图像处理中的应用[J]. 无线电工程, 2006, 36(7): 25-26, 44.

[17]沈春裕. 自适应阈值的运动目标检测技术研究[D]. 杭州：浙江工业大学, 2012.

[18]VONLOESECKEHW.Bananas.Chemistry,Physiology,Technology[M].IntersciencePublishers, 1950.

[19]MENDOZAF,AGUILERAJM.Applicationofimageanalysisforclassificationofripeningbananas[J].JournalofFoodScience, 2004, 69(9):E471-E477.

[20]INTARAVANNEY,SUMRIDDETCHKAJORNS,NUKEAWJ.Cellphone-basedtwo-dimensionalspectralanalysisforbananaripenessestimation[J].SensorsandActuatorsB:Chemical, 2012，168(7): 390-394.

[21]胡孟晗, 董庆利, 刘阳泰,等. 基于计算机视觉鉴别肉松与肉粉松[J]. 食品与发酵工业, 2013, 39(4): 180-185.

[22]胡孟晗, 董庆利, 刘宝林,等. 基于椭圆傅里叶描述子的香蕉形状识别[J]. 浙江农业学报, 2014, 26(1): 200-205.

[23]HUM,DONGQ,MALAKARPK,etal.Determiningbananasizebasedoncomputervision[J].InternationalJournalofFoodProperties, 2015,18(3)：508-520.

[24]VIBHUTEA,BODHESK.Colorcharacterizationofimagesinoutdoorillumination[C].EmergingTrendsinComputing,CommunicationandNanotechnology(ICE-CCN), 2013InternationalConferenceon.IEEE, 2013:319-321.

[25]HARONN,HALIMZA,SALEHJM,etal.WhiteLEDilluminationforimprovingoutdoorimageanalysisforpalmoilfruitripenessdetection[C].AdvancedComputerScienceandInformationSystems(ICACSIS), 2012InternationalConferenceon.IEEE, 2012:95-99.

[26]WANGQ,WANGH,XIEL,etal.Outdoorcolorratingofsweetcherriesusingcomputervision[J].ComputersandElectronicsinAgriculture, 2012, 87(3):113-120.

PotentialofimageanalysisfordeterminingbananamaturitystagebyAndroidmobilephone

LIUYang-tai，DONGQing-li*，QINZhi-xuan，LIUYang，FANXin-yi,HUMeng-han,LIUBao-lin

(SchoolofMedicalInstrumentandFoodEngineering,UniversityofShanghaiforScienceandTechnology,Shanghai200093,China)

Inthisresearch,anovelmethodfordiscriminatingbananamaturitystageusingasmartmobilebyanAndroidoperatingsystemwasdeveloped.AnAndroidbasedsoftware,suitableformobileterminalsusingAndroidversion1.6orhigher,wasusedforimageacquisitionandimageprocessing.ThisAndroidsoftwarewascompiledbyusingJavaDevelopmentKit7.0,Eclipse4.2,AndroidDevelopmentTools20.0.0andNativeDevelopmentKit.Bananasamplesofdifferentmaturitystagescontent(fromthefirsttotheeighthstage)wereusedfortestingundertheilluminationof6500Kcolortemperatureinthisnovelapproach.Thechangeofthebananas’surfaceRGB/HSVvalueswereobtaineddailyduringthestorage.ResultsdemonstratedthatthecombinationoftheRandHvaluescouldachievetotalclassificationaccuracyof87.24%.Hence,thisnovelmethodofusingasmartmobilecanfastdetectthebananamaturityatsaleplace.

banana;computervision;smartmobileterminal;huevalue;maturitystages

10.13995/j.cnki.11-1802/ts.201601039

硕士研究生(董庆利副教授为通信作者，E-mail：dongqingli@126.com)。

国家自然科学基金项目(No.31271896); 上海市科委长三角科技联合攻关领域项目(No.15395810900); 上海市科委重点支撑项目(No.13430502400); 上海“大学生创新活动计划”(No.SH2013128)资助

2015-07-01，改回日期：2015-07-28