张 柏，凌彩金，李露青，周巧仪，Zhenfeng Li，宋飞虎，宋春芳

基于数据融合策略的红茶发酵程度判别

张 柏1，凌彩金2，李露青3，周巧仪2，Zhenfeng Li1，宋飞虎1，宋春芳1※

（1. 江南大学机械工程学院/江苏省食品先进制造装备技术重点实验室，无锡 214122；2. 广东省农业科学院茶叶研究所/广东省茶树资源创新利用重点实验室，广州 510640；3. 安徽农业大学茶与食品科技学院/安徽农业大学茶树生物学与资源利用国家重点实验室，合肥 230036）

发酵是红茶加工过程中关键的一道工序，对红茶的品质形成有着重要影响。该研究以大叶种英德红茶中的英红九号为研究对象，试验收集了204份不同发酵时间的红茶样品并使用便携式近红外光谱仪和工业相机获取红茶发酵中的信息，基于近红外光谱数据、图像数据和数据融合策略分别建立了红茶发酵程度判别模型。通过分析茶多酚和儿茶素类含量的变化，将红茶的发酵划分为3个阶段，即发酵不足、发酵适度和发酵过度。采用Savitzky-Golay光滑对原始光谱进行预处理，利用竞争自适应重加权采样（Competitive Adaptive Reweighted Sampling, CARS）、连续投影算法（Successive Projections Algorithm, SPA）和主成分分析（Principal Components Analysis, PCA）对近红外光谱变量进行降维处理；相应地，图像进行去阴影后提取了9个颜色特征变量，采用皮尔森（Pearson）相关分析和主成分分析进行特征变量提取。最后采用线性判别分析（Linear Discriminant Analysis, LDA）和支持向量机（Support Vector Machine, SVM）分别建立了基于近红外、图像和两者数据融合的分类模型。结果表明，在建模数据相同的条件下，非线性的支持向量机模型性能优于线性判别分析模型。单一传感器数据建模效果不佳，近红外光谱和图像判别模型的预测集最大准确率仅为83.82%和73.53%。低层次数据融合建模效果较单一传感器数据建模无明显提升，而中层次的数据融合建模效果比单一数据建模均有显著提高，其中SPA提取光谱变量结合Pearson提取图像变量建立的判别模型效果较佳，校正集和预测集准确率分别达到了97.06%和95.59%。研究表明，近红外光谱和视觉结合的中层次融合策略可以作为一种快速判别红茶发酵程度的方法，研究结果为红茶发酵程度构建等级模型与判别奠定了一定的理论基础，为红茶发酵的自动化检测提供了重要依据。

近红外光谱；机器视觉；红茶发酵；数据融合；判别模型

0 引 言

茶是传统三大非酒精植物型饮料之一，它不仅美味可口，而且还有一定健康功能。在国际市场上，红茶是很受欢迎的茶类之一。近年来，随着红茶的药用价值和保健作用被科学实验进一步证实[1-5]，全球范围内红茶的消费量持续增长。英德红茶是中国主要名优茶之一，2018年的总产量达到7 700 t，品牌价值达20.78亿元[6]。茶叶主要产于广东省清远市英德市，因其浓厚、强烈、鲜爽的特征，在国内外市场中赢得了一致好评。研究表明，英德红茶水浸出物中茶多酚、总儿茶素、茶黄素和茶红素含量为国内红茶中最高，茶褐素含量最低[7]，这些物质的含量形成了英德红茶独有的风味。红茶的传统加工工艺包括萎凋、揉捻、发酵和干燥。其中，发酵过程被认为是最重要的步骤，因为在发酵过程中茶叶的化学成分发生了极大的改变，茶多酚和儿茶素类发生酶促氧化反应生成茶黄素、茶红素和茶褐素等物质[8-10]，从而形成了茶的色、香、味、质。传统功夫红茶的最佳发酵时间约在3 h左右[11-12]，而英德红茶因茶多酚含量高等的特点，所需发酵时间比传统红茶长。因此，确定适宜的英德红茶发酵时间至关重要，探索茶多酚、儿茶素类在发酵过程中含量的变化有利于确定适宜的发酵程度。

传统方法中，茶师们根据经验从发酵茶叶的香气和颜色的变化来判断红茶发酵的质量，该方法具有较高的主观性、不完全准确且重现性差，无法保证每批加工茶叶的质量[13]。目前，企业使用气相色谱-质谱分析法和高效液相色谱法等化学方法来检测品质成分，但这类方法的分析成本高、耗时长、需要员工具有一定的专业技能且无法及时反馈[11]，无法实现红茶加工的自动化、智能化。近几年，一些无损快速检测技术被应用在红茶加工过程中，如电子鼻[14-15]和电子舌技术[16-17]。然而，电子鼻和电子舌都受环境的影响很大，且设备成本高昂无法在工业中广泛应用。

近年来，近红外光谱技术（Near Infrared Spectroscopy, NIRS）由于其无损性和快速性在食品加工过程中得到广泛应用，尤其在茶叶领域取得了良好的效果，广泛应用于茶叶等级划分[18]、产地溯源[19]、掺假研究[20]、贮藏年限检测[21]和茶叶生化成分定量检测[22-24]。机器视觉（Computer Vision, CV）是一种仿生技术，使用工业相机模拟视觉功能来获取被测样品图像，通过图像处理来获取样品的颜色、纹理和形状等信息。目前, 机器视觉已经较为成熟地应用于农业和食品工程领域，如张瑞青等[25]提出了一种基于迁移学习的图像识别方法，可实现花生荚果等级识别；李小占等[26]利用卷积神经网络结合图像处理来检测哈密瓜的表面缺陷；李修华等[27]利用图像的颜色特征变量来检测叶片的叶绿素含量。已有研究表明，机器视觉可以检测红茶发酵质量[28-29]。由于红茶发酵过程的复杂性，颜色和风味的变化都涉及其中，单一的传感器很难对样本信息进行全面准确的描述。Jin等[12]的研究表明，将近红外数据与计算机视觉数据融合可以帮助提高评价红茶发酵程度准确率，但是该研究的设备为台式傅立叶近红外光谱仪，它体积庞大且价格昂贵，难以在实际的生产中使用。微型近红外光谱仪因其价格低廉、易于携带等特点被应用于茶叶领域[30-31]。研究表明，微型近红外光谱仪结合机器视觉可以较好地评价红茶发酵程度[32]，但是微型近红外光谱仪的数据传递途径为蓝牙，蓝牙传递数据的距离较短、速率较低且信号不稳定容易受环境影响。

因此，本研究采用便携式近红外光谱系统和自行搭建的图像采集系统分析红茶发酵质量。该光谱采集系统使用通用串行总线（Universal Serial Bus, USB）传输数据，信号较稳定、抗干扰能力较强；使用Y型光纤采集光谱可以使得数据采集端与数据接收端分离，避免光谱仪在高湿度的发酵环境下工作，更适用于实际生产。通过分析不同发酵时间的茶多酚和儿茶素类含量的变化规律，基于近红外光谱和机器视觉单独评价红茶发酵的性能，比较中低层次数据融合方法与单一传感器数据建模的优劣, 为红茶发酵程度构建等级模型与判别，红茶发酵的自动化检测提供依据。

1 材料与方法

1.1 材料与试剂

1.1.1 材 料

试验于2021年10月在广东省清远市英德市鸿雁茶叶有限公司进行，茶鲜叶品种为英红9号，以一芽两嫩叶方式采摘茶叶。茶鲜叶在萎凋槽中均匀分布，在24 ℃左右温度下风扇萎凋22 h左右，含水率为56%～58%。随后，通过皮带输送至揉捻机，揉捻约90 min。随后茶叶运输至发酵室，温度恒定控制在24 ℃，空气相对湿度为90% 以上，发酵时间延长至8 h使样本可以覆盖到过度发酵阶段，每0.5 h采集12个样品，本研究共采集204份样品。样品采集过程中，还进行了近红外光谱和计算机视觉试验。然后，将204份样品使用干冰保存运输至实验室，置于−80 ℃冰箱中保存待用。

1.1.2 试 剂

乙腈、甲醇、乙酸、乙二胺四乙酸二钠、抗坏血酸、碳酸钠、福林酚（国药集团化学试剂有限公司）；没食子酸、咖啡碱、没食子儿茶素、表没食子儿茶素、儿茶素、表儿茶素、表没食子儿茶素没食子酸酯、没食子儿茶素没食子酸酯、表儿茶素没食子酸酯、儿茶素没食子酯（上海源叶生物科技有限公司）。

1.2 仪器设备

自动化萎凋设备和揉捻设备组（广东省农业科学院茶叶研究所）；FA124C电子分析天平、HH-2数显恒温水浴锅（上海力辰邦西仪器科技有限公司）；TG-16G型高速离心机（上海川一实验仪器有限公司）；1260高效液相色谱仪（美国安捷伦科技有限公司）；T6紫外分光光度计（北京普析通用仪器有限责任公司）。

1.3 光谱采集

红茶发酵过程中，在24 ℃环境温度下，采用便携式近红外光谱系统以吸收模式在900～2 500 nm范围内扫描采集了所有茶叶样品的光谱信息。光谱仪积分时间设置为100 ms，每条光谱曲线为32次扫描结果的平均值，其平均扫描时间为3.2 s，光谱平滑窗口默认为0，每份样品采集3条曲线，取3次光谱平均值为该份样品的光谱曲线。该系统由一台笔记本电脑、一台便携式近红外光谱仪（NIR2500，上海复享光学股份有限公司）、一个卤素光源（HL2000，上海复享光学股份有限公司）、一个检测平台、一根7股Y型光纤（FIB-Y-200-NIR，上海复享光学股份有限公司）、一个校正白板（STD-WS，上海复享光学股份有限公司）和一根USB数据传输线组成。

1.4 图像采集

本研究采用自建的计算机视觉系统获取茶叶发酵过程中的图像信息。该系统包括一台笔记本电脑、一个（40×40×40）cm3的暗箱配有4个光源和一个工业相机。相机的镜头被固定在暗箱的顶部，以确保恒定的角度和拍摄距离。另外，在图像采集前20 min打开暗箱内光源，保持暗箱内环境稳定。试验中，每份样品称量10 g，放入直径8 cm的玻璃培养皿中并把茶叶样品的表面压平，然后将培养皿放在暗箱中摄像机的视场中采集图像。

1.5 品质成分检测

对试验样品其进行冷冻干燥并采用磨粉机进行磨粉。参照GB/T 8313-2018 《茶叶中茶多酚和儿茶素类含量的检测方法》[33]，发酵红茶中茶多酚含量的测定采用福林酚比色法，用紫外分光光度计在765 mm处测量被测溶液的吸收值；儿茶素类的含量使用高效液相色谱仪在流速1 mL/min、检测波长278 nm条件下测量。

1.6 数据融合

数据融合是将不同来源的数据进行融合，主要是利用互补的输入数据来增强组合技术之间的协同作用，以充分了解分析目标，获得良好的分类和预测结果。数据融合策略分为低层次融合、中层次融合和高层次融合。低层次数据融合为多传感器数据直接联合成一个矩阵进行多维变量分析；中层次的融合是提取每个传感器的特征变量并基于特征变量进行融合；高层次的融合处理每个传感器数据并做出判断，最后对所有决策进行融合，这需要精确的数据处理。根据文献结果[11-12,32]，本文选择了中低水平的数据融合进行数据处理。

2 结果与分析

2.1 红茶发酵程度品质成分分析

在红茶发酵过程中，茶多酚和儿茶素类物质在多酚氧化酶的作用下发生氧化聚合生成红茶特有的风味物质。茶多酚含量变化如图1a所示，茶多酚平均含量在发酵开始最高达到23.47%，在0.5～2.0 h之间，茶多酚含量迅速下降，降解率达到24.27%，表明茶多酚在此期间被迅速氧化；在2.5～3.5 h茶多酚含量持续下降，下降速率较之前有所变缓；在4.0～5.0 h之间茶多酚含量基本不变，降解率在29.75%～30.60%范围内，表明在此期间只有极少量茶多酚被氧化；5.5 h以后又有些许茶多酚被氧化并持续到8 h，最终降解率达到37.46%。如图1b所示，儿茶素类含量变化与茶多酚具有相似的变化规律，前期儿茶素类含量迅速下降，后放缓慢下降，在4～5 h趋于平缓，5 h后缓慢下降。

图1 发酵期间茶多酚和儿茶素类含量变化

在发酵前期，茶多酚迅速氧化降解生成茶黄素和茶红素[34-35]，随着红茶的持续发酵，茶多酚持续降解，在发酵4～5 h之间，茶多酚极少降解。在发酵过程中，茶黄素和茶红素同时会进一步氧化聚合生成茶褐素，从而形成红茶特有的风味[36]。5.5 h以后仅些许茶多酚被氧化，但在此期间茶黄素和茶红素会持续氧化聚合生成茶褐素，茶褐素过多会使得红茶颜色发暗，影响红茶的口感，导致过度发酵。因此，根据茶多酚和儿茶素类发酵过程中降解率的变化并结合茶叶现场评审专家的判断，将红茶发酵样品划分为3个阶段，即发酵不足、发酵适度和发酵过度。如表1所示，茶多酚降解率为0～28.16%，儿茶素类降解率为0～47.57%被划分为发酵不足；茶多酚降解率为29.75%～30.60%，儿茶素类降解率为49.41%～50.27%被划分为发酵适度；茶多酚降解率为32.23%～37.46%，儿茶素类降解率为53.86%～59.99%被划分为发酵过度。

表1 发酵红茶的分组

2.2 近红外光谱数据分析

2.2.1 光谱预处理

试验采集样品900～2 500 nm波长的近红外光谱曲线，光谱两端因噪声影响较大需要去除，故取950～2 400 nm范围内的波形。图2a为红茶发酵试验0～8 h每组样品的平均近红外光谱原始图，在光谱曲线上存在的许多粗糙毛刺清晰可见，这是由于光谱采集过程中产生的噪声干扰造成的，因此原始光谱需要进行预处理。本文采用Savitzky-Golay(S-G)光滑对发酵样品曲线进行预处理，预处理后平均光谱如图2b所示，毛刺的形貌明显改善，表明噪声降低。图2a和b中的光谱曲线显示，在1 140～1 160、1 430～1 450和1 920～1 940 nm三个波长范围内存在明显的吸收峰。1 150 nm的吸收峰可能与游离氨基酸的烯烃C-H二级倍频和儿茶素类的甲基C-H二级倍频有关；1 440 nm的吸收峰可能是由水的O-H一级倍频导致的；1 930 nm左右的吸收峰可归因于的水的O-H组合频[11,32]。

由于光谱变量数量较大，且含有与发酵茶叶信息无关的冗余变量，需要对光谱进行降维处理。本文采用了竞争自适应重加权采样、连续投影算法和主成分分析对光谱数据进行精简。

利用竞争自适应重加权采样（Competitive Adaptive Reweighted Sampling, CARS）对S-G光滑处理的光谱进行有效波长的筛选，本试验蒙特卡罗采样次数设置为50，采用10倍交叉验证建模来评估每个变量，其结果如图3a、b、c所示，当采样次数为22次时，其交互验证均方根误差（Root Mean Square Error of Cross Validation, RMSECV）最小，筛选出29个特征波长。连续投影算法（Successive Projections Algorithm, SPA）是一种前向特征变量选择方法，该方法可以有效地消除原始光谱矩阵中的冗余信息，运用SPA提取光谱的特征波长结果如图3d所示，共选出17个特征波长。

图2 茶叶样品的原始光谱和S-G光滑预处理光谱曲线

图3 竞争自适应重加权采样和连续投影算法筛选的特征波长

2.2.2 光谱变量降维

主成分分析（Principal Components Analysis, PCA）不仅可以对光谱数据进行降维处理，而且可以可视化红茶发酵过程中样品的分布。如图4所示，前三个主成分解释了总方差的92.76%（PC1=61.18%，PC2=19.97%，PC3=11.61%），图中可以看出三个发酵阶段的样本存在一定范围内的聚集，这表明对近红外光谱数据使用主成分分析并不能很好地判别红茶发酵程度。

图4 发酵红茶光谱数据的主成分分析

2.3 图像数据分析

不同发酵时间的红茶图像如图5a所示，从图中可以看出，茶叶颜色从青绿色逐渐向深红色变化，到4 h左右绿色几乎消失，这是由于随着发酵的进行茶多酚和儿茶素类被氧化生成茶色素，且叶绿素降解为脱镁叶绿素[37]。

对采集的图像进行一定的预处理后提取颜色特征值（,,,,,,,,），其结果如图5b,c,d所示。在发酵0～4 h期间，特征值呈现总体快速上升趋势，值变化趋势不明显，其余颜色特征均有明显的下降趋势，这与图1所示的化学成分变化趋势相一致。在4～5 h期间，达到最高峰值、达到最低峰值，叶片颜色的红色程度最高。5 h后，代表发酵叶片红色程度的、、值趋于平缓，代表黄蓝颜色通道的仍有下降趋势，发酵叶片呈现棕色，红茶的感官质量下降。

图5 不同发酵时间的茶叶图像及其颜色特征变量

采用皮尔森（Pearson）相关分析来评估颜色变量与多酚和儿茶素类浓度之间的关系，结果如图6所示。值与茶多酚和儿茶素类的相关性均很低，值与茶多酚（=−0.511）和儿茶素类（=−0.510）均呈一定的负相关，其他颜色变量均与多酚和儿茶素类浓度均呈显著正相关（>0.6）。、、与茶多酚相关系数分别为0.898、0.885、0.917，与儿茶素类相关系数分别为0.900、0.881、0.934，它们之间均显著相关，因此使用Pearson相关性分析提取了、和三个颜色特征。

注：红色和蓝色分别表示正相关和负相关，颜色越深、圆面积越大表示相关性越强; ‘×’表示显著性水平P>0.05。

对图像9个颜色特征变量进行主成分分析，结果如图7所示，前三个主成分很好地解释了总方差的99.91%（PC1=80.56%，PC2=11.14%，PC3=8.21%），图中可以看出三个发酵阶段的样本存在一定范围内的聚集，这与近红外光谱数据主成分分析结果相似，表明图像数据的主成分分析并不能很好地判别红茶发酵程度。

图7 发酵红茶图像数据的主成分分析

2.4 单一传感器数据建模

在建立预测模型之前，使用Kennard-Stone(K-S)法以2:1的比例将204份试验验样品划分为校正集和预测集。光谱数据和图像数据均建立了线性判别分析（Linear Discriminant Analysis, LDA）和支持向量机（Support Vector Machine, SVM）判别模型，校正集和预测集的建模判别结果如表2所示。通过比较LDA和SVM判别模型，可以发现SVM模型性能总体优于LDA模型，这可能是由于红茶发酵过程是不平衡的，非线性的支持向量机模型更适用于红茶发酵程度判别。近红外光谱数据的全光谱建模与三种降维方法CARS、SPA、PCA建立的SVM模型校正集准确率分别为72.79%、99.26%、98.53%、73.53%，对应的预测集准确率分别为70.59%、83.82%、77.94%、64.71%，光谱采集的较佳模型为采用CARS特征提取的SVM模型，校正集和预测集准确率均为80%以上，取得比较满意的结果。机器视觉图像9个颜色变量数据整体建模与Pearson、PCA处理方法建立的SVM模型校正集准确率分别为86.03%、84.56%、86.03%，相应的预测集准确率分别为73.53%、70.59%、72.06%，较佳模型的预测集准确率为73.53%，取得结果欠佳。这一结果表明，红茶发酵的化学变化是一个非常复杂的过程，单一传感器对发酵程度的判定并不能取得良好的结果。

2.5 数据融合建模

红茶发酵是一个复杂的过程，涉及颜色和多种风味物质化学成分的变化。因此，获取单一传感器数据来评价红茶发酵质量是不够的，需要结合两种传感器数据进行联合建模。本文采用低层次和中层次数据融合策略进行建模，模型判别准确率如表2所示。通过对比可以发现，通过特征提取的中层次数据融合策略建立的LDA和SVM模型效果均优于低层次数据融合策略，其原因可能是低层次数据融合直接融合全部光谱数据和图像数据建模，这些数据可能包含了与发酵程度无关的变量，导致了建模效果较差；SVM模型预测准确性皆比LDA模型高，这结果与单一传感器建模效果类似，可能因为红茶发酵过程是不均衡的，线性判别模型适用性会比较低。使用CARS特征提取光谱数据结合Pearson提取图像数据、SPA特征提取光谱数据结合Pearson提取图像数据和都使用PCA降维处理建立SVM预测模型的校正集准确率分别为100.00%、97.06%、99.26%，对应的预测集准确率分别为85.30%、95.59%、86.77%。对比单一传感器近红外较佳模型的预测集准确率83.82%和图像数据较佳模型的预测集准确率73.53%，中层次数据融合建模效果总体上比单一传感器数据建模有所提升。

表2 不同数据源的红茶发酵程度判别准确率对比

注：为误差惩罚因子，为核函数参数。

Note: Parameterrepresents error penalty factor, andrepresents kernel function parameter.

其中，使用SPA提取光谱变量结合Pearson提取图像变量建立的判别模型效果最佳，校正集和预测集准确率分别达到了97.06%和95.59%，模型具体判别效果如图8所示。在校正集中，模型可以很好辨别出发酵不足样品，有8.33%的发酵适度样品被误判为过度发酵，4.76%的发酵过度样品被误判为发酵适度；在预测集中，模型对发酵不足样品判别的准确率为100%，8.33%的发酵适度样品被误判为发酵过度，6.67%的发酵过度样品被误判为发酵适度。总体而言，中层次数据融合方法在红茶发酵适度判别中取得了比较令人满意的结果，来自两种传感器数据的互补很好地体现红茶发酵的特征现象，提高了发酵判别的准确率。

注：标签IF、MF、EF分别代表了发酵不足、适度发酵和过度发酵。

3 结 论

本文利用近红外光谱技术结合机器视觉来判别英德红茶的发酵程度并分析了其可行性。为了克服发酵过程的高湿环境，建立了一种便携式近红外光谱系统实现了光谱采集端与接收端的分离。试验主要结论如下：

1）近红外光谱和图像数据单独建模较优判别准确率分别为83.82%和73.53%，其效果不佳；

2）低层次数据融合建模效果较单一传感器数据建模没有明显提升，这可能是因为融合的数据中含有较多的无关变量；

3）中层次数据融合在评价红茶发酵度方面优于单一传感器，说明从单个传感器获得的信息不足以代表红茶发酵全部信息。基于连续投影算法（Successive Projections Algorithm, SPA）和皮尔森（Pearson）相关分析特征提取的中层融合支持向量机（Support Vector Machine, SVM）模型的分类准确率最高，校正集和预测集准确率分别达到了97.06%和95.59%。该研究结果为红茶发酵过程的自动化提供了理论基础，为实现便携式近红外光谱仪结合工业相机自动化监控红茶发酵过程提供科学依据。

[1] Shan Z G, Nisar M F, Li M X, et al. Theaflavin chemistry and its health benefits [J]. Oxidative Medicine and Cellular Longevity, 2021, 2021: 6256618.

[2] Zhang H, Qi R L, Mine Y. The impact of oolong and black tea polyphenols on human health [J]. Food Bioscience, 2019, 29: 55-61.

[3] Yan Z M, Zhong Y Z, Duan Y H, et al. Antioxidant mechanism of tea polyphenols and its impact on health benefits[J]. Animal Nutrition, 2020, 6(2): 115-123.

[4] Rasheed Z. Molecular evidences of health benefits of drinking black tea[J]. International Journal of Health Sciences-IJHS, 2019, 13(3): 1-3.

[5] Chakraborty K, Dey A, Bhattacharyya A, et al. Anti-fibrotic effect of black tea () extract in experimental pulmonary fibrosis [J]. Tissue & Cell, 2019, 56: 14-22.

[6] 位亚路，刘路星. 基于SWOT-PEST分析法的茶产业高质量发展研究：以英德红茶产业为例[J]. 清远职业技术学院学报，2022，15(1)：30-40.

Wei Yalu, Liu Luxing. Study on high quality development of black tea industry based on SWOT-PEST analysis: Taking Yingde black tea industry as an example[J]. Journal of Qingyuan Polytechnic, 2022, 15(1): 30-40. (in Chinese with English abstract).

[7] 范捷. 英德茶文化与英德红茶品质特征研究[D]. 长沙：湖南农业大学，2019.

Fan Jie. Study on Yingde Tea Culture and the Quality Characteristic of Yingde Black Tea[D]. Changsha: Hunan Agricultural University, 2019. (in Chinese with English abstract)

[8] Wang H J, Shen S, Wang J J, et al. Novel insight into the effect of fermentation time on quality of Yunnan Congou black tea[J]. LWT-Food Science and Technology, 2022, 155: 112939.

[9] Hua J J, Wang H J, Yuan H B, et al. New insights into the effect of fermentation temperature and duration on catechins conversion and formation of tea pigments and theasinensins in black tea[J]. Journal of the Science of Food and Agriculture, 2022, 102(7): 2750-2760.

[10] Dong C W, Yang C S, Liu Z Y, et al. Nondestructive testing and visualization of catechin content in black tea fermentation using hyperspectral imaging[J]. Sensors, 2021, 21(23): 8051.

[11] Wang Y J, Li L Q, Zhang Z Z. Enhanced quality monitoring during black tea processing by the fusion of NIRS and computer vision[J]. Journal of Food Engineering, 2021, 304: 110599.

[12] Jin G, Wang Y J, Li L Q, et al. Intelligent evaluation of black tea fermentation degree by FT-NIR and computer vision based on data fusion strategy[J]. LWT-Food Science and Technology, 2020, 125: 109216.

[13] Zhu H K, Liu F, Ye Y, et al. Application of machine learning algorithms in quality assurance of fermentation process of black tea based on electrical properties[J]. Journal of Food Engineering, 2019, 263: 165-172.

[14] Sharmilan T, Premarathne I, Wanniarachchi I, et al. Electronic nose technologies in monitoring black tea manufacturing process[J]. Journal of Sensors, 2020, 2020: 3073104.

[15] Ghosh S, Tudu B, Bhattacharyya N, et al. A recurrent Elman network in conjunction with an electronic nose for fast prediction of optimum fermentation time of black tea[J]. Neural Computing & Applications, 2019, 31(2): 1165-1171.

[16] Ren G X, Li T H, Wei Y M, et al. Estimation of Congou black tea quality by an electronic tongue technology combined with multivariate analysis[J]. Microchemical Journal, 2021, 163: 105899.

[17] Ouyang Q, Yang Y C, Wu J Z, et al. Measurement of total free amino acids content in black tea using electronic tongue technology coupled with chemometrics[J]. LWT-Food Science and Technology, 2020, 118: 108768.

[18] Ren G X, Wang Y J, Ning J M, et al. Highly identification of keemun black tea rank based on cognitive spectroscopy: Near infrared spectroscopy combined with feature variable selection [J]. Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy, 2020, 230: 118079.

[19] 陈琦，潘天红，李鱼强，等. 基于卷积神经网络和近红外光谱的太平猴魁茶产地鉴别分析[J]. 光谱学与光谱分析，2021，41(9)：2776-2781.

Chen Qi, Pan Tianhong, Li Yuqiang, et al. Geographical origin discrimination of Taiping Houkui tea using convolutional neural network and near-Infrared spectroscopy[J]. Spectroscopy and Spectral Analysis, 2021, 41(9): 2776-2781. (in Chinese with English abstract).

[20] Dong C W, Liu Z Y, Yang C S, et al. Rapid detection of exogenous sucrose in black tea samples based on near-infrared spectroscopy[J]. Infrared Physics & Technology, 2021, 119: 103934.

[21] Ou Q H, Li J M, Yang X E, et al. Identification of Pu’er raw tea with different storage years by infrared spectroscopy[J]. Journal of Food Processing and Preservation, 2021, 45(12): e16103.

[22] Zhang S S, Zuo Y M, Wu Q, et al. Development and validation of near-Infrared methods for the quantitation of caffeine, epigallocatechin-3-gallate, and moisture in green tea production[J]. Journal of Analytical Methods in Chemistry, 2021, 2021: 9563162.

[23] Guo Z M, Barimah A O, Shujat A, et al. Simultaneous quantification of active constituents and antioxidant capability of green tea using NIR spectroscopy coupled with swarm intelligence algorithm[J]. LWT-Food Science and Technology, 2020, 129: 109510.

[24] Chen S M, Wang C Y, Tsai, C Y, et al. Fermentation quality evaluation of tea by estimating total catechins and theanine using near-infrared spectroscopy[J]. Vibrational Spectroscopy, 2021, 115: 103278.

[25] 张瑞青，李张威，郝建军，等. 基于迁移学习的卷积神经网络花生荚果等级图像识别[J]. 农业工程学报，2020，36(23)：171-180.

Zhang Ruiqing, Li Zhangwei, Hao Jianjun, et al. Image recognition of peanut pod grades based on transfer learning with convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(23): 171-180. (in Chinese with English abstract)

[26] 李小占，马本学，喻国威，等. 基于深度学习与图像处理的哈密瓜表面缺陷检测[J]. 农业工程学报，2021，37(1)：223-232.

Li Xiaozhan, Ma Benxue, Yu Guowei, et al. Surface defect detection of Hami melon using deep learning and image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(1): 223-232. (in Chinese with English abstract)

[27] 李修华，卢显杰，奚金阳，等. 智能手机RGB图像检测植物叶片叶绿素含量的通用方法[J]. 农业工程学报，2021，37(22)：145-151.

Li Xiuhua, Lu Xianjie, Xi Jinyang, et al. Univeisal method to detect the chlorophyll content in plant leaves with RGB images captured by smart phones[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 145-151. (in Chinese with English abstract)

[28] Ren G X, Gan N, Song Y, et al. Evaluating Congou black tea quality using a lab-made computer vision system coupled with morphological features and chemometrics[J]. Microchemical Journal, 2021, 160: 105600.

[29] Dong C W, Liang G Z, Hu B, et al. Prediction of Congou black tea fermentation quality indices from color features using non-linear regression methods[J]. Scientific Reports, 2018, 8(1): 10535.

[30] Wang Y J, Li T H, Li L Q, et al. Evaluating taste-related attributes of black tea by micro-NIRS [J]. Journal of Food Engineering, 2021, 290: 110181.

[31] Li L Q, Wang Y J, Jin S S, et al. Evaluation of black tea by using smartphone imaging coupled with micro-near-infrared spectrometer[J]. Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy, 2021, 246: 118991.

[32] Jin G, Wang Y J, Li M H, et al. Rapid and real-time detection of black tea fermentation quality by using an inexpensive data fusion system [J]. Food Chemistry, 2021, 358: 129815.

[33] 国家质量监督检验检疫总局，中国国家标准化管理委员会. GB/T 8313-2018茶叶中茶多酚和儿茶素类含量的检测方法[S]. 北京：中国标准出版社，2018

[34] Chen L, Liu F, Yang Y F, et al. Oxygen-enriched fermentation improves the taste of black tea by reducing the bitter and astringent metabolites[J]. Food Research International, 2021, 148: 110613.

[35] Hua J J, Xu Q, Yuan H B, et al. Effects of novel fermentation method on the biochemical components change and quality formation of Congou black tea[J]. Journal of Food Composition and Analysis, 2021, 96: 103751.

[36] Yang C S, Zhao Y, An T, et al. Quantitative prediction and visualization of key physical and chemical components in black tea fermentation using hyperspectral imaging[J]. LWT-Food Science and Technology, 2021, 141: 110975.

[37] 金戈. 基于数字化技术的红茶发酵综合评价[D]. 合肥：安徽农业大学，2021.

Jin Ge. Comprehensive Evaluation of Black Tea Fermentation Based on Digital Technology[D]. Hefei: Anhui Agricultural University, 2021. (in Chinese with English abstract)

Discrimination of black tea fermentation degrees based on data fusion strategy

Zhang Bai1, Ling Caijin2, Li Luqing3, Zhou Qiaoyi2, Zhenfeng Li1, Song Feihu1, Song Chunfang1※

(1,,,214122,; 2,510640,; 3,,,230036,)

Fermentation is a key processing step for the quality of black tea. Tea polyphenols (catechins) are generally oxidized by the polyphenol oxidase and peroxidase to form the theaflavins and thearubigins. In this research, the Yinghong NO.9 of Yingde black tea was collected by the kind of one bud and two leaves. The data was collected during different black tea fermentation time using a portable near-infrared spectrometer and a Charge-Coupled Device (CCD) camera. A discriminant model was established for the black tea fermentation degree using near-infrared spectra, images, and the data fusion of spectra and images. Specifically, 204 samples of black tea at different fermentation time were collected to acquire the near-infrared spectrum and images. The content of tea polyphenols was determined using an ultraviolet spectrophotometer with a detection wavelength of 765 nm. The catechins concentration was measured by High-Performance Liquid Chromatography (HPLC) at a flow rate of 1 mL/min and detection wavelength of 278 nm. The contents of tea polyphenols and catechins decreased rapidly in the early period, tending to be flat at 4-5 h, and continued to fall off after 5.5 h. According to the changes in the tea polyphenols and catechins, the fermentation degree of black tea was divided into three stages: insufficient, moderate, and excessive fermentation. Savitzky-Golay smoothing was adopted to process the rough burrs of the original spectrum that were caused by noise interference. Then, the Competitive Adaptive Reweighted Sampling (CARS) and Successive Projections Algorithm (SPA) were applied to reduce the data dimensionality of near-infrared spectral variables, where the feature wavelengths were selected. Meanwhile, nine color feature variables were extracted from the images after shadow removal. Pearson correlation analysis between chemical components and color variables was conducted to extract the feature variables. In addition, the Principal Component Analysis (PCA) was employed to reduce the data dimensionality for the distribution of black tea fermentation samples. The PCA of spectral and image data showed the similar three fermentation stages were not separated significantly, indicating that PCA cannot effectively discriminate the fermentation stage. Finally, the discrimination models were established using the near-infrared, image, and their data fusion through Linear Discriminant Analysis (LDA) and Support Vector Machine (SVM). The comparison of the model showed that the performance of nonlinear SVM models was better than that of LDA models under the same conditions, indicating the unbalanced process of black tea fermentation. Furthermore, a single sensor failed to discriminate the fermentation degree. There was less performance in the models using a single sensor, due mainly to the complex change of fermentation information. In general, the maximum accuracies were only 83.82% and 73.53% for the prediction set of the discrimination models using near-infrared spectra and images, respectively. The performance of the middle-level data fusion models was significantly improved, compared with the models founded on a single sensor, or the low-level data fusion. The reason was that the low-level date fusion brought the variables irrelevant to the black tea fermentation. Among them, better performance was achieved in the SVM discriminant model that was established by SPA extraction of spectral variables and Pearson correlation analysis extraction of image variables, with 97.06% and 95.59% accuracies of calibration and prediction set. Consequently, a rapid and nondestructive method can be used to evaluate the degree of black tea fermentation under the middle-level fusion strategy using near-infrared spectroscopy and computer vision. A theoretical foundation was laid to establish a grade model and discrimination of black tea fermentation degrees. The finding can provide an important basis for the detection and automation of black tea fermentation.

near infrared spectroscopy; computer vision; black tea fermentation; data fusion; discrimination model

10.11975/j.issn.1002-6819.2022.15.037

TS272.3

A

1002-6819(2022)-15-0339-09

张柏，凌彩金，李露青，等. 基于数据融合策略的红茶发酵程度判别[J]. 农业工程学报，2022，38(15)：339-347. doi：10.11975/j.issn.1002-6819.2022.15.037 http://www.tcsae.org

Zhang Bai, Ling Caijin, Li Luqing, et al. Discrimination of black tea fermentation degrees based on data fusion strategy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 339-347. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.037 http://www.tcsae.org

2022-05-09

2022-07-14

广东省茶树资源创新利用重点实验室开放课题（2020KF02）；安徽农业大学茶树生物学与资源利用国家重点实验室开放基金资助项目（SKLTOF20210117）；广州市科技计划项目（202002020079）；以农产品为单元的广东省现代农业产业技术体系创新团队建设项目（茶叶）（2021KJ120）

张柏，研究方向：茶叶智能化加工。Email：dfuczb@126.com

宋春芳，教授，博士生导师，研究方向：农产品无损检测与控制。Email：songcf@jiangnan.edu.cn