多茶类CNN图像识别的数据...强优化及类激活映射量化评价_章展熠.pdf

茶叶科学 2023，43（3）：411423 Journal of Tea Science www.tea- 收稿日期：2023-02-14 修订日期：2023-04-19 基金项目：国家级大学生创新创业训练计划项目（202110341061）、2022 年丽水市茶产业专家团队项目（202203）、浙江省农业重大技术协同推广计划（2022XTTGCY04）作者简介：章展熠，女，在读本科生，茶学专业，。*通信作者：； 多茶类 CNN 图像识别的数据增强优化及 类激活映射量化评价 章展熠1，张宝荃1，王周立1，杨垚1，范冬梅1，何卫中2，马军辉3*，林杰1*1.浙江农林大学茶学与茶文化学院，浙江 临安 311300；2.丽水市农林科学研究院，浙江 丽水 323000；3.丽水市经济作物总站，浙江 丽水 323000 摘要：我国茶叶种类繁多，识别难度大。卷积神经网络（Convolutional neural network，CNN）图像识别具有客观性、适应复杂图片背景且可移植于移动端的优势。但当前茶叶 CNN 图像识别缺乏对数据增强优化和识别准确性客观评价的研究，限制了模型识别的鲁棒性和泛化能力。采集 29 种常见茶类共 6 123 张图像构建数据集，对比了 10 种图像数据增强方法的 ResNet-18（Residual network-18）训练效果；为了客观评价模型识别区域的准确性，构建了 2 个梯度加权类激活映射（Gradient-weighted class activation mapping，Grad-CAM）量化评价指标（IOB 和 MPI）。结果表明，网格擦除（Ratio=0.3）、分辨率扰动和 HSV（Hue，Saturation，Value）颜色空间扰动是较优的数据增强方法，准确率（Accuracy）、损失值（Loss）、IOB 和 MPI 等 4 个指标综合表现较优。进一步通过消融实验，得到了最佳的数据增强方法组合水平镜像翻转+网格擦除（Ratio=0.3）+HSV颜色空间扰动，其模型测试准确率达到了 99.82%、损失值仅有 0.64，且 IOB、MPI 指标也表现较优，体现了较好的图像识别区域准确性。本研究对茶叶图像数据增强方法进行了优化，训练得到了高鲁棒性的多茶类 CNN图像识别模型，构建的量化指标 IOB 和 MPI 也解决了 CAM 识别区域准确性客观评价的问题。关键词：茶类识别；卷积神经网络；图像识别；数据增强；类激活映射 中图分类号：S571.1，TP391.41 文献标识码：A 文章编号：1000-369X(2023)03-411-13 Data Enhancement Optimization and Class Activation Mapping Quantitative Evaluation for CNN Image Recognition of Multiple Tea Categories ZHANG Zhanyi1,ZHANG Baoquan1,WANG Zhouli1,YANG Yao1,FAN Dongmei1,HE Weizhong2,MA Junhui3*,LIN Jie1*1.College of Tea Science and Tea Culture,Zhejiang A&F University,Linan 311300,China;2.Lishui Academy of Agricultural and Forestry Sciences,Lishui 323000,China;3.Lishui Economic Crop Terminal,Lishui 323000,China Abstract:There are many kinds of tea in China,and subjective identification is easy to be confused and very dependent on professional experience.Convolutional Neural Network(CNN)image recognition applied to multi-tea identification has the advantages of objectivity,adaptability to complex image backgrounds and portability to mobile DOI:10.13305/ki.jts.2023.03.006412 茶 叶 科 学 43 卷 devices.However,the current CNN image recognition of tea lacks data enhancement optimization and objective evaluation of recognition accuracy,which limits the robustness and generalization ability of model recognition.In this study,a total of 6 123 images of 29 common tea categories were collected to construct a dataset,and the ResNet-18(Residual network-18)training effects of 10 image data enhancement methods were compared.To objectively evaluate the accuracy of the model recognition area,two gradient-weighted class activation mapping(Grad-CAM)quantitative evaluation indexes(IOB and MPI)were constructed.The results show that grid erasure(Ratio=0.3),resolution perturbation and HSV(Hue,Saturation,Value)color space perturbation are better data enhancement methods,with four indicators of accuracy,loss,IOB and MPI performing better.Furthermore,through the ablation experiment,the optimal combination of data enhancement methods“horizontal mirror flip+grid erasure(Ratio=0.3)+HSV color perturbation”was obtained.The accuracy rate of model test reached 99.82%,with a loss value of only 0.64,and the IOB and MPI indicators also performed better,reflecting good accuracy in image recognition.This study optimized the tea image data enhancement method,and obtained the multi-tea CNN image recognition model with high robustness.The constructed quantization indexes IOB and MPI also solved the problem of accuracy evaluation of CAM recognition region.Keywords:tea recognition,convolutional neural network,image recognition,data augmentation,class activation mapping 茶叶作为世界三大无酒精饮料之一，在我国有着悠久的历史，根据发酵程度不同分为绿茶、黄茶、白茶、乌龙茶、红茶、黑茶六大基本茶类。由于产地、茶树品种及制作工艺各异，茶叶又细分为多个种类。在过去的研究中，茶叶种类识别通常采用人工感官审评1、红外光谱成像技术检测2-3、多光谱图像颜色特征提取4等方法来完成。然而，人工感官审评存在评价环境缺乏独立性、审评人员的主观性差异等因素的干扰5。其他方法也存在设备专业性高、普适性较差及耗时较长等缺点。因此，亟需开发一种客观、便捷、快速的多茶类识别方法。近年来，随着卷积神经网络（CNN）的深度学习模型在众多计算机视觉任务中取得了巨 大 成 功，具 有 广 阔 的 发 展 前 景，随 着AlexNet6、VGG7、ResNet8、DenseNet9等网络模型的相继提出，它们在图像分类6-7,10、目标检测11-12、语义分割13-14等领域有着广泛的应用。目前，在茶叶领域中卷积神经网络虽已用于茶树病害识别15、绿茶种类识别和茶叶等级筛分16，但对多茶类的分类识别鲜有报道。由 He 等8提出的残差神经网络（ResNet）便于训练且性能优良，成为图像分类任务中最典型的卷积神经网络。图像增强能改善图像的视觉效果，有目的地强调图像的局部或整体特征，扩大图像中不同物体特征之间的差别，丰富图像信息量17。搭建神经网络模型需要大量的数据样本，由于个别茶类通过网络采集的图像数量有限，目前的茶叶数据集还缺乏大量的图像样本，以此为基础训练的模型容易造成过拟合问题，导致模型预测效果不理想18，而数据增强技术可以在有限的数据基础上创造更多符合要求的数据，从而有效增加样本的容量及多样性，提升模型的鲁棒性和泛化能力，解决过拟合问题19-20。尽管卷积神经网络在物体识别上表现了优异的性能，但由于卷积神经网络“端到端”的黑盒特性，其内部运作缺乏透明性和可解释性21。Grad-CAM 作为一种类激活映射可视化方法，具有高度的类区分性，能够使卷积神经网络模型更“透明”。ResNet-18 作为 CNN 模型，其训练速度快，识别准确率高，占用内存较少，具有轻量化、高效化的特点。ResNet-18 在花卉识别22、垃圾分类收运23等研究中都得到了良好的应用。本研究使用准确率（Accuracy）和损失值（Loss）作为指标能够准确评估模型的识别性能，由于 CNN 模型的“小黑盒”特性，仅用这些指标难以对模型的分类结果进行可视性3 期 章展熠，等：多茶类 CNN 图像识别的数据增强优化及类激活映射量化评价 413 解释。目前，基于类激活映射方法的可解释性研究，大多数只是根据类激活映射方法的热力图特点对模型进行定性评价，而缺乏对模型的定量评估24。本研究采集图像构建了具有复杂前景和背景的 29 种常见茶类的数据集，利用卷积神经网络 ResNet-18 进行图像识别训练，着重对不同数据增强方法的模型训练效果进行对比；在常规 CNN 模型性能评价指标外，构建类激映射量化指标 IOB 和 MPI 对 CNN 识别区域准确性进行客观评价，以期筛选得到较优的数据增强方法，并训练得到高鲁棒性的多茶类CNN 图像识别模型，从而为茶叶深度学习研究提供方法借鉴。1 材料与方法材料与方法 1.1 数据采集、数据集构建 使用深度学习技术进行识别茶叶的类别越复杂，种类越多，需要的数据就越多25。由于目前没有公开的茶叶数据集，为了建立真实有效的多茶类数据集，本研究从社媒平台、电商平台和搜索引擎等收集图像，比对相关茶类的产品标准，对外形特征不符、过度美化的图像予以剔除，由浙江农林大学茶学系和浙江大学茶学系多名专家经过多次筛查后建立了数据集，其中安吉白茶 205 张，白毫银针 208张，白牡丹 205 张，碧螺春 217 张，东方美人197 张，冻顶乌龙 205 张，都匀毛尖 193 张，恩施玉露 184 张，凤凰单枞 275 张，贡眉 287张，黄山毛峰 197 张，金花茯茶 200 张，金骏眉 268 张，九曲红梅 155 张，君山银针 177张，六安瓜片 197 张，六堡茶 208 张，龙井237 张，普洱生茶 220 张，祁门红茶 229 张，寿眉 202 张，熟普 205 张，太平猴魁 216 张，条形滇红 213 张，铁观音 208 张，武夷岩茶203 张，信阳毛尖 200 张，正山小种 216 张，竹叶青 196 张，共 6123 张。采集得到的多茶类图片数据集，有着复杂的前景、背景（不同背景、不同亮度、不同前景角度和不同茶叶数量），基于本数据集训练得到的模型能适应复杂背景下多茶类的识别，前景和背景复杂性如图 1 所示。1.2 数据增强方法 本研究通过对图像样本进行几何纹理变换与光学空间变换等操作引入细微的扰动从而实现数据扩充，有效减轻训练阶段的过拟合，提高模型的泛化能力。由于收集到的图像大小不一，模型训练前，预先将输入模型数据集的图像分辨率调整为 512512。本研究首先以CNN 数据增强中常用的水平镜像翻转作为基础增强方法进行图像数据加倍，再分别叠加 10 种其他数据增强方法进行二次加倍，增强后图片数量扩充为原数据集的 4 倍，11 种数据增强方法的效果如图 2 所示。具体步骤如下：（一）基础数据增强 水平镜像翻转：以图像垂直中线为轴翻转图像。（二）几何纹理变换 网格擦除（Ratio=0.3）：即 GridDropout，以网格形式按照 0.3 的区域比例对图片进行擦除。网格擦除（Ratio=0.5）：即 GridDropout，以网格形式按照 0.5 的区域比例对图片进行擦除。随机擦除：即 Random Erasing，以若干分辨率 8080 方块形式随机擦除图像部分信息。随 机 网 格 洗 牌（2 2）：即RandomGridShuffle，将图像以 22 网格形式生成 4 块，并随机打乱。随机网格洗牌（33）：即 RandomGridShuffle，将图像以 33 网格形式生成 9 块，并随机打乱。随机旋转：即 Random rotation，对图片进行随机旋转一个角度处理。随机旋转（N90）：对图片进行随机旋转 N 个 90。随机裁剪：即RandomCrop，随机裁剪图像分辨率为一定大小。分辨率扰动：即 RandomScale，随机缩放图像的分辨率。（三）光学内容变换 HSV颜 色 空 间 扰 动：使 用Albumentations数 据 增 强 工 具 中 的414 茶 叶 科 学 43 卷 HueSaturationValue 改变图像的色度、饱和度和明亮度，其中 Hue shift limit=20，Sat shift limit=30，Val shift limit=20。1.3 类激活映射可视化及量化评价 为了对 CNN 模型图像识别区域准确性进行客观评价，本研究在参考 Selvaraju 等26研究的基础上，构建了交集比（Intersection over bounding box，IOB）及 Grad-CAM 激活的平均比率（Mean position importance，MPI）两个量化评价指标来度量类激活映射的准确性。从茶叶图像集中随机选取 10 张具有背景干扰的图像作为测试图（即 10 次重复测定）。通过图像标注软件 Labelme 5.0.2 对测试图进行语义分割和标注，将茶叶从图像背景中分离出来，其他部分作为背景标注，得到带有茶叶边界点的 Json 格式文件，再经过掩膜交集处理得到目标区域的二值化图像，以白色标注茶叶区域，黑色标注背景区域。采用梯度加权类激 图 1 多茶类数据集的前景（茶叶）、背景复杂性示例 Fig.1 Examples of foreground(tea)and background complexity of a multi-tea dataset 不同数量 Different amounts 不同角度 Different angles不同亮度 Different brightness不同背景 Different backgrounds 注：（a）原始图像；（b）水平镜像翻转；（c）网格擦除（Ratio=0.3）；（d）网格擦除（Ratio=0.5）；（e）随机擦除；（f）随机网络洗牌（22）；（g）随机网络洗牌（33）；（h）随机旋转；（i）随机旋转（N90）；（j）随机裁剪；（k）分辨率扰动；（l）HSV 颜色空间扰动 Note:(a)Original image.(b)Horizontal mirrorflip.(c)Mesh erase(Ratio=0.3).(d)Mesh erase(Ratio=0.5).(e)Randomerase.(f)Random network shuffle(22).(g)Random network shuffle(33).(h)Random rotation.(i)Random rotation(N90).(j)Random clipping.(k)Resolution disturbance.(l)HSV colorspace disturbance 图 2 图像数据增强前后效果 Fig.2 Examples of image data augmentation 3 期 章展熠，等：多茶类 CNN 图像识别的数据增强优化及类激活映射量化评价 415 活映射（Grad-CAM）对训练得到的 ResNet-18模型的图像识别区域进行可视化，生成测试图的类激活热图。Grad-CAM 作为类激活映射方法之一，使用反向传播中获取的通道梯度均值作为通道权重生成热力图，具有良好的类别区分性，其原理如图 3 所示，可以对卷积神经网络的分类结果做出合理的解释，将网络模型可视化26-28。使用 Grad-CAM 方法生成类激活图的过程可公式化描述为：LGrad-CAMc=ReLU(kcAkk)（1）其中，Ak表示最高层特征图的第 k 个通道，kc表示针对该通道的权重，yc表示网络在未通过 Softmax 分类器激活前针对类别 c 的预测分数，Ak,i,j为第 k 个特征图中位置（i，j）的激活值，其计算公式如下：kc=1Z ycAk,i,jji（2）类激活映射量化评价指标 1IOB。原图像中的茶 叶 区 域 定 义 为 真 实 边 界 框 Bg（Ground-truth box），在 Grad-CAM 热图中分割出高于最大热点值 20%的区域，取包围分割 图 的 最 大 边 界 框 作 为 预 测 边 界 框Bh（Bounding box），得到 IOB 的计算公式为：IOB=Area(BgBh)AreaBh（3）类激活映射量化评价指标 2MPI。计算目标区域二值化图中茶叶部分的真实像素值 Sh及 Grad-CAM 类激活热图中的热点区域（高于最大热点值 20%的区域）总像素值 Sg，计算得到 MPI，公式为：MPI=SgShSg（4）1.4 试验测试平台、超参数设置 采用 ResNet-18卷积神经网络框架进行迁移学习，Batch size 设置为 8，优化器使用带动量因子的 SGD（Stochastic gradient descent）算法，动量因子（Momentum）设置为 0.9，初始学习率（Learning rate）设置为 0.001，学习率调度器为等间隔缩减（Step LR），等间隔系数（Step size）设置为 5；为加快模型训练收敛速度和提高模型训练效果，采用交叉熵作为损失函数。在经过 25 轮（Epochs）迭代后，模型基本收敛。通过Python语言完成模型的搭建与训练，基于 PyTorch 深度学习框架，并行计算框架使用 CUDA 11.1 版本。试验基于 Windows 11 操作系统，使用英伟达 GeForce RTX 3060 GPU显卡，处理器为 AMD Ryzen 75800H with Radeon Graphics3.20GHz。1.5 数据处理和评价指标 本试验采用 k 折交叉验证法（K-folder cross validation）进行重复交叉验证（k=5），将图像数据集随机分成 5 等份子集；依次遍历这 5 个子集，每次 CNN 训练把当前子集作为测试集，其余的 4 个子集作为训练集，进行模型的训练和评估；取 5 次的指标平均值来评价最终的模型训练、测试效果。k 折交叉验证中，所有数据都会参与到训练和测试中，能有效避免过拟合，并充分体现了交叉的思想29。采 用 方 差 分 析 进 行 差 异 显 著 性 分 析图 3 Grad-CAM 的原理 Fig.3 Principles of Grad-CAM 输入图像 Input image 梯度加权类激活映射Grad-CAM 特征图 Feature map 卷积层 Convolutional layer 416 茶 叶 科 学 43 卷 （P0.05），多重比较方法为 Duncan，分析软件为 SPSS 22.0。为了评价不同数据增强方法对于多茶类模型识别性能的影响，本研究选取准确率和损失值作为评估算法性能的评价指标。准确率反映了本研究算法整体性能的优劣，损失值则用来表示模型预测值与实际值的误差，损失值越小，模型的鲁棒性越好，计算公式如下：Accuracy=TP+TNTP+FN+FP+TN 100%（5）Loss=1Nlog（pn,i）Nn=1（6）其中，Accuracy 表示准确率，Loss 表示损失值，FP 代表预测错误的正样本数，TP 代表预测正确的正样本数，FN 表示预测错误的负样本数，TN 表示预测正确的负样本数。N表示总的样本数量；pn,i表示第 n 个样本为类别 i 的概率。2 结果与分析结果与分析 2.1 不同数据增强方法的模型训练效果对比 为评估得到较优的多茶类图像识别数据增强方法，本研究基于基础数据增强方法（水平镜像翻转），对比了 10 种数据增强方法（9种几何纹理变换和 1 种光学空间变换）的ResNet-18 网络框架训练效果。采用准确率、损失值这 2 个常规指标来评估模型性能，结果如 表1 所 示。基 础 数 据 增 强 后 训 练 的ResNet-18 模型准确率、损失值分别为 91.37%和 30.27，已较可观但仍需优化。经过 10 种数据增强方法优化数据集后，准确率进一步提升（从+1.90 到+7.45 不等），损失值从 30.27 下降到 3.9721.29，模型的鲁棒性提高。其中，叠加分辨率扰动、网格擦除（Ratio=0.3）和HSV 颜色空间扰动训练后模型的准确率分别提高至 98.82%、98.77%、98.66%，显著高于其他数据增强方法（P0.05）。叠加分辨率扰动后模型损失值仅为 3.97，显著低于随机擦除、随机裁剪、网格擦除（Ratio=0.5）、随机网 格 洗 牌、随 机 旋 转 N90 和 随 机 旋 转（P0.05）。综上所述，基于准确率、损失值评 估 模 型 性 能，分 辨 率 扰 动、网 格 擦 除（Ratio=0.3）和 HSV 颜色空间扰动对于模型性能的优化效果较好。2.2 类激活映射可视化的量化评价 通常 CNN 模型只以准确率、损失值等指标来衡量性能，而类激活映射（CAM）则作为 表 1 不同数据增强方法模型性能评价 Table 1 Model performances of different data enhancement methods 数据增强方法 Data enhancement methods 准确率 Accuracy/%损失值 Loss 基础数据增强（水平镜像翻转）Basic data enhancement（Horizontal image flip）91.370.38h 30.271.44a 水平镜像翻转+Horizontal image flip+网格擦除（Ratio=0.3）98.770.20a(+7.40)4.780.93fg 网格擦除（Ratio=0.5）97.930.02c(+6.56)7.530.21e 随机擦除 98.400.03b(+7.03)5.370.43f 随机网格洗牌（22）97.660.18d(+6.29)8.270.15d 随机网格洗牌（33）97.350.12e(+5.98)9.130.34de 随机旋转 93.270.04g(+1.90)21.290.64b 随机旋转 N90 94.180.06f(+2.81)18.790.23c 随机裁剪 97.950.06c(+6.58)7.440.38e 分辨率扰动 98.820.10a(+7.45)3.970.35g HSV 颜色空间扰动 98.660.10a(+7.29)4.770.38fg 注：数据为 5 次重复的平均值标准差（n=5）。同列不同小写字母表示在 P0.05 水平差异显著，括号内代表与基础数据增强方法的差值 Note:The data is the mean value standard deviation of five replicates(n=5).Different lowercase letters in the same column indicate significant difference at the level of P0.05,and the difference between the representation in brackets and the basic data enhancement method 3 期 章展熠，等：多茶类 CNN 图像识别的数据增强优化及类激活映射量化评价 417 模型的识别热点区域的可视化手段。但类激活映射可视化只是一种定性观测手段，缺乏量化结果。本研究为准确评估模型对茶叶识别的准确性及 Grad-CAM 的定位能力，创新性地构建IOB 和 MPI 两个量化指标进行量化评价。Grad-CAM 基于 4 种数据增强方法的类激活图、二值化图和量化评价示例分别如图 4 所示，图中仅示例了 HSV 颜色空间扰动、随机旋转、网格擦除（Ratio=0.3）和随机擦除 4种数据增强方法的 IOB 和 MPI 可视化结果。目标区域二值化图标示了多茶类识别的感兴趣区域（Region of interest，ROI）；理想状态下希望类激活映射能准确且充分地识别到ROI 区域。图 4 中某恩施玉露图片示例了 2 种数据增强方法的 Grad-CAM 量化评价优劣，Grad-CAM 热图显示，HSV 颜色空间扰动的识别热点虽然也有少部分落在背景干扰上（茶具、石头），但大部分落在了 ROI 区域（茶叶）内，且 IOB 预测框（蓝色）也更贴近真实框（红色）；而随机旋转有更多的识别热点落在了背景干扰中，且 IOB 预测框（蓝色）明显偏离了真实框（红色），此图片的模型在识别准确性指标上，HSV 颜色空间扰动要好于随机旋转。而 IOB 和 MPI 都显示 HSV 颜色空间扰动（IOB、MPI分别为 97.41%和 77.42%）比随机旋转（IOB、MPI 分别为 68.93%和66.36%）表现更好，与 Grad-CAM 主观判断一致。图 4 中某太平猴魁图片示例了 2 种数据增 强 方 法 的 Grad-CAM 量 化 评 价 优 劣，Grad-CAM 热图显示，网格擦除（Ratio=0.3）和随机擦除的识别热点大部分落在了 ROI 区域（茶叶）内，且 IOB 预测框（蓝色）也都较贴近真实框（红色），但主观细致观测下，预测框和识别热点准确性网格擦除（Ratio=0.3）要稍好于随机擦除；而 IOB 和 MPI 都显示网格擦除（Ratio=0.3）（IOB、MPI 分别为 98.69%和 66.79%）比随机擦除（IOB、MPI 分别为89.30%和 56.34%）表现稍好，与 Grad-CAM 注：以某恩施玉露图片的 HSV 颜色空间扰动和随机旋转，及某太平猴魁图片的网格擦除（Ratio=0.3）和随机擦除为例；IOB 可视化图中，红色框为目标区域真实边界框，蓝色框为模型预测边界框；MPI 可视化热图中，红色越深表示对图像识别结果贡献越大 Note:Take the HSV color space disturbance and random rotation of an Enshi Jade Dew picture,and the grid erasure(Ratio=0.3)andrandom erasure of a Taiping Houkui picture as examples;In the IOB visualization diagram,the red box is the real boundary of thetarget area,and the blue box is the predicted boundary of the model;In MPI visualization heat map,the deeper the red,the greaterthe contribution to the image recognition results 图 4 Grad-CAM 的量化评价可视化图 Fig.4 Visualization diagrams of quantitative evaluation of Grad-CAM 418 茶 叶 科 学 43 卷 主观判断完全一致。整体而言，IOB 和 MPI两个量化指标可以较好地客观表征 CNN 模型类激活映射的准确性，方便观测和对比 CNN模型识别性能。不同数据增强方法的类激活映射量化评价结果如表 2 所示。由于不同图片的量化指标波动较大，本研究选取了 10 张测试图片（即10 次重复）的 IOB 和 MPI 量化结果进行统计分析。随机网格洗牌的 2 种数据增强方法的目标区域识别准确性相对较低，甚至低于基础数据增强方法。而其他 8 种数据增强方法的 IOB和 MPI，虽然在均值上有差异，但在统计学上不存显著差异（P0.05）。其中 IOB 均值最高的是分辨率扰动，而 MPI 均值最高的是网格擦除（Ratio=0.3），虽然 HSV 颜色空间扰动的两个量化指标的均值均明显低于分辨率扰动和网格擦除（Ratio=0.3），但不同测试图片的量化评价结果波动较大，整体上不存在显著性差异。网格擦除（Ratio=0.5）相较网格擦除（Ratio=0.3），虽然 IOB 和 MPI 不存在显著差异，但性能指标的评价结果稍差且存在显著差异（P0.05），因此本研究优选网格擦除（Ratio=0.3）进入下一步研究。随机擦除也是图片信息擦除类的数据增强方法，但其 4 项指标的整体表现不及网格擦除（Ratio=0.3）。结合模型性能指标的评价结果，以及实际图片识别中分辨率变动和颜色扰动等常见情况，本研究优选网格擦除（Ratio=0.3）、分辨率扰动和HSV 颜色空间扰动 3 种数据增强方法进行后续的消融实验。2.3 消融实验 在对比了10种数据增强方法CNN训练效果 的 基 础 上，初 步 优 选 得 到 了 网 格 擦 除（Ratio=0.3）、分辨率扰动和 HSV 颜色空间扰动 3 种较优的方法。进一步开展消融实验，对比了不同数据增强方法组合的 CNN 训练效果，以期得到最佳的数据增强方法组合，结果如表 3 所示。使用网格擦除（Ratio=0.3）、分辨率扰动和 HSV 颜色空间扰动的数据增强方法两两组合时，准确率得到一定程度提升，都超过了 99%；损失值也得到一定程度下降，而类激活映射量化评价指标 IOB 和 MPI 未有显著提升（P0.05）。其中“水平镜像翻转+网格擦除（Ratio=0.3）+HSV 颜色空间扰动”组合的准确率达到了 99.82%，显著高于其他数 表 2 不同数据增强方法的类激活映射量化评价对比 Table 2 Comparison of quantitative evaluation of class activation for different data enhancement methods 数据增强方法 Data enhancement methods IOB/%MPI/%基础数据增强（水平镜像翻转）Basic data enhancement（Horizontal image flip）69.8715.93abc 58.5713.66bc 水平镜像翻转+Horizontal image flip+网格擦除（Ratio=0.3）75.9915.51ab(+6.12)65.0713.15a(+6.50)网格擦除（Ratio=0.5）75.3815.94ab(+5.51)63.5814.57ab(+5.01)随机擦除 71.7514.20abc(+1.88)60.9613.42abc(+2.39)随机网格洗牌（22）66.2819.08bc(-3.59)56.4111.88c(-2.16)随机网格洗牌（33）62.9015.08c(-6.97)56.1710.84c(-2.40)随机旋转 75.1712.43ab(+5.30)63.4912.33ab(+4.92)随机旋转 N90 77.3715.07ab(+7.50)64.3715.53a(+5.80)随机裁剪 76.3315.91ab(+6.46)62.6714.47ab(+4.10)分辨率扰动 79.9412.59a(+10.07)64.4615.53a(+5.89)HSV 颜色空间扰动 69.3715.93abc(-0.50)60.0713.78abc(+1.50)注：数据为 10 次重复的平均值标准差（n=10）。同列不同小写字母表示在 P0.05 水平差异显著，括号内代表与基础数据增强方法的差值 Note:The data is the mean standard deviation of 10 replicates(n=10).Different lowercase letters in the same column indicate significant difference at the level of P0.05,and the difference between the representation in brackets and the basic data enhancement method 3 期 章展熠，等：多茶类 CNN 图像识别的数据增强优化及类激活映射量化评价 419 据增强方法组合（P0.05），损失值仅为 0.64，且 MPI 的均值也达到了 68.44%，是所有数据增强方法组合中最高的，IOB 也达到 74.79%，整体而言是最佳的数据增强方法组合。而“水平镜像翻转+网格擦除（Ratio=0.3）+分辨率扰动+HSV 颜色空间扰动”组合的准确率不及“水平镜像翻转+网格擦除（Ratio=0.3）+HSV颜色空间扰动”组合，其他 3 个指标均值则不存在显著差异（P0.05），且该方法数据集更大，意味着需要更长的模型训练时间。消融实验的结果也表明，更多的数据增强方法组合扩充图像数据集，虽然可能提升模型性能评价指标，但在模型识别区域准确性指标上未表现出显著差异。2.4 多茶类图像识别的混淆分析 通 过“水 平 镜 像 翻 转+网 格 擦 除（Ratio=0.3）+HSV 颜色空间扰动”最佳数据增强方法组合训练得到平均识别准确率达到99.82%的 ResNet-18 模型，并记录该模型的训练与测试迭代表现（如图 5）。整体上，该ResNet-18 模型收敛速度较快，未出现收敛抖动状态，并在第 6 次迭代后准确率、损失值呈现稳定的