基于深度学习的粗骨料在线检测分割方法研究.pdf
《基于深度学习的粗骨料在线检测分割方法研究.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的粗骨料在线检测分割方法研究.pdf(7页珍藏版)》请在咨信网上搜索。
1、 仪 表 技 术 与 传 感 器Instrument Technique and Sensor2024 年第 3 期基金项目:泉州市科技计划项目(2022GZ3);福建省高校产学合作项目(2021H6029)收稿日期:2023-08-07基于深度学习的粗骨料在线检测分割方法研究冀效胜1,房怀英1,2,杨建红1,黄骁民3,张宝裕3,黄斐智11.华侨大学机电及自动化学院;2.福建省移动机械绿色智能驱动与传动重点实验室;3.福建南方路面机械股份有限公司 摘要:使用图像法检测骨料粒径时,图像分割的质量是影响骨料粒径检测的重要因素。目前,骨料图像分割已经从传统的分水岭算法和阈值分割算法发展到使用实例分割
2、算法对堆叠的粗骨料进行分割。针对 ISTR 模型未分割骨料较多的问题,提出了一种改进算法和评估网络模型的评价指标,对优化前后的网络模型进行对比实验。实验结果表明:与原网络模型相比,优化后算法 MIoU 提升了 3.4%,达到 82.6%;未分割的骨料占比降低了 8.2%,达到 9.4%;检测分割能力提升明显,证明所提方法在骨料检测分割任务中的可行性与有效性。关键词:粗骨料;粒径;机器视觉;深度学习;实例分割;图像处理中图分类号:TP391 文献标识码:A Research on Online Detection and Segmentation Method of CoarseAggregat
3、e Based on Deep Learning JI Xiaosheng1,FANG Huaiying1,2,YANG Jianhong1,HUANG Xiaomin3,ZHANG Baoyu3,Huang Feizhi11.College of Mechanical Engineering and Automation,Huaqiao University;2.Fujian Key Laboratory of Green Intelligent Drive and Transmission for Mobile Machinery;3.Fujian Nanfang Road Machine
4、ry Co.,Ltd.Abstract:When using the image method to detect aggregate particle size,image segmentation quality is an essential factor affecting the detection of aggregate particle size.At present,aggregate image segmentation has developed from the traditional wa-tershed and threshold segmentation algo
5、rithms to the instance segmentation algorithms to segment stacked coarse aggregates.Ai-ming at the problem of many undivided aggregates in the ISTR(end-to-end instance segmentation with transformers)network model,an improved algorithm and an evaluation index were proposed for evaluating the network
6、model.Finally,a comparative ex-periment was conducted on the network model before and after optimization.The experimental results show that compared with the original network model,the MIoU(Mean Intersection over Union)of the optimized algorithm has increased by 3.4%,reaching 82.6%,the proportion of
7、 unsegmented aggregates has decreased by 8.2%,reaching 9.4%,the detection and segmentation ability improves significantly,which proves that the feasibility and effectiveness of the proposed method in aggregate detection and seg-mentation tasks.Keywords:coarse aggregate;particle size;machine vision;d
8、eep learning;instance segmentation;image processing0 引言骨料是混凝土中不可或缺的组成部分,其性能与混凝土的强度和耐久性密切相关。骨料粒径作为一项重要的质量指标,对于混凝土的性能具有重要影响。合理的骨料级配可以在降低成本的同时提高混凝土的性能。因此,骨料粒径的检测在混凝土工程中具有十分重要的作用。随着科技的发展,数字图像处理技术凭借其快速处理的优势正在逐渐取代传统的检测方法。在过去的研究中,主要研究不粘连的粗骨料图像,很少涉及到堆叠状态下骨料级配的在线测量。然而,在实际应用中,对堆叠骨料进行在线测量具有更大的价值。为了获得准确的级配结果,必须
9、先对图像进行分割,而图像分割的质量直接影响后续的结果分析。一些学者对图像分割方法进行了广泛的研究。Q.Yao 等1通过检测粘连颗粒的凹角点,并利用最短欧几里得距离找到角点对,然后连接角点对将粘连颗粒进行分割,一定程度上解决了粘连颗粒的分割问题。刘娜2提出了一种结合数学形态学和形态分水岭算法的方法,有效避免了仅使用形态学分割的过度分割现象。08 第 3 期冀效胜等:基于深度学习的粗骨料在线检测分割方法研究 文献3将改进的分水岭分割算法应用到实际的矿石颗粒检测中,具有较好的应用价值。董柯等4提出了一个结合局部自适应阈值和改进的流域变换的算法。通过对积分图像的自适应阈值化分离区域,并对二值图像进行距
10、离变换和双边滤波,提高了算法的速度和对光照的适应性。李希等5针对图像处理中存在的误分割问题,提出了一种基于局部极大值点采集的图像处理方法,并成功应用于粘连颗粒图像的处理中,能够有效地将粘连颗粒进行分割。然而传统的图像分割大多采用分水岭或其改进算法,检测速度快但易受到光照、噪声等的影响,导致分割效果不稳定且容易过分割。对于物体堆积严重的图像,传统分割方法和分水岭算法难以满足精确分割的要求,并且严苛的检测条件限制了它们在复杂实际工况中的应用。目前,深度学习技术在图像分割和目标检测领域取得了显著成果,一些学者将注意力转向了该领域。文献6提出了一种基于深度学习的分割方法,用于解决矿石图像相互粘连和图像
11、阴影导致的分割不准确问题。该方法利用整体嵌套边缘检测(HED)模型提取图像的边缘特征,并采用表格查找方法来提取细化的边缘信息,通过区域标记得到最终的分割结果。M.Tao 等7针对盐矿图像识别问题,对 U-Net8进行改进,并根据数据特征进一步优化模型,增加了辅助功能、超列和深度监督等机制,并采用多个损失函数来提高模型的泛化能力,使模型在盐矿图像分割任务上取得了较好的效果。李鸿翔等9提出了一种基于GAN-UNet 的矿石图像分割方法,用于解决矿石图像棱线容易引起矿石边缘错误识别的问题。他们采用生成对抗网络进行图像分割,减小了图像分割误差,提高了分割的精度。X.Hu 等10提出在骨料分割中采用 M
12、ask R-CNN 网络模型,并与传统的分水岭分割算法进行了对比,实验结果显示,相比于传统分割方法,Mask R-CNN 网络模型在骨料分割任务上表现更好,具有更高的准确性和鲁棒性。以上研究表明,深度学习技术在颗粒分割方向的应用逐渐发展成熟,成为解决颗粒分割在实际工况应用上的新思路。然而使用深度学习算法进行颗粒分割时,仍然存在一定的欠分割和过分割等问题,另外,由于骨料堆叠的特性,堆叠在下方显示不完整的颗粒会对级配计算产生影响。因此需要进一步研究和改进算法,以解决欠分割和过分割等问题,并提高对于堆叠颗粒的识别和分割能力。针对 以 上 问 题,本 研 究 对 ISTR(end-to-end Ins
13、tance segmentation with transformers)网络进行了优化,命名为 ISTR-V。同时提出了一种评价指标,以便于评价网络模型的优劣,并对优化前后的网络模型进行了分割效果的对比。通过实验证明了所提出的方法在骨料检测分割任务中的可行性与有效性。1 实验设备与方法1.1 实验设备基于深度学习的粗骨料检测分割方法流程主要包括图像采集、网络模型训练和图像分割。首先,使用图像采集系统获取骨料实际工况的图像,并使用标注工具(如 Labelme)对图像进行标注,制作训练样本。然后,通过对标注样本进行网络模型训练,得到实例分割模型。接下来,将实例分割模型部署到工控机中,利用图像采集
14、系统获取实时图像,并对图像进行分割,得到粗骨料颗粒的掩膜轮廓。最后,利用相机标定系数和等效粒径11的方法计算出粗骨料的级配。粗骨料在线测量系统如图 1 所示,主要由 CCD 工业相机、传送带和 LED 灯、计算机处理系统组成。粗骨料被运送到传送带上的检测区域,CCD 工业相机被放置在传送带正上方,垂直拍摄粗骨料图像。为了得到均匀的光照,LED 灯被布置在传送带上方,以避免粗骨料的阴影对骨料图像的分割产生影响。图 1 粗骨料在线测量系统1.2 粗骨料分割模型构建方法1.2.1 粗骨料分割模型计算机的视觉任务主要包括图像分类、目标检测、语义分割、实例分割等,然而,由于骨料具有堆叠和粘连的特性,并且
15、需要对骨料轮廓进行准确检测,最适合的方法是实例分割。ISTR 是一种实例分割Transformer12,它是同类首个端到端框架13。ISTR使用循环优化策略进行检测和分割,相比于现有的自上而下14和自下而上15的方法,它提供了一种实现实例分割的新方法,在使用相同 Backbone 的基础上,ISTR 分割精度超过了 Mask R-CNN、BlendMask、Cen-terMask 等方法,展现出卓越的性能。ISTR 的算法框架如图 2 所示。其主要流程如下:ResNet16网络与 FPN17结合提取预处理后的图片特征金字塔的 P2 到 P5 级的特18 仪 表 技 术 与 传 感 器第 3 期
16、图 2 ISTR 算法框架图征,然后,利用初始化 K 个可学习查询框覆盖整个图像,通过带有 RoIAlign 的可学习查询框进行裁剪和对齐,提取 K 个 RoI 特征,形成对应的特征图(feature map),通过对特征图求和与平均得到图像特征。然后通过具有动态注意力的 Transformer 编码器融合图像和预测头的 RoI 特征,预测的边界框、类别和掩码在 N个阶段中反复细化。最后将多个候选框进行分类、边框回归和掩码生成。应用 ISTR 进行骨料分割时,存在未分割的骨料较多的问题,为了解决这个问题,本文将 VoVnet 作为特征提取网络,选择 ISTR 作为全局和局部尺度的特征提取模型,
17、并对该方法在骨料检测领域的适用性和有效性进行了分析。1.2.2 特征提取网络设计1.2.2.1 特征提取主干网络ISTR 网 络 通 常 采 用 ResNet(deep residual network,深 度 残 差 网 络)和 SwinT(swin transfor-mer)18作为其特征提取的主干网络。由于 SwinT 的检测耗时是 ResNet 的 4 倍,在实际应用中可能会存在效率问题。综合考虑分割精度和分割效率,本文选择ResNet 作为主干网络进行研究。ResNet 虽然一定程度上解决了网络退化和梯度消失问题,但它使用了很多超 参 数,计 算 过 程 复 杂。因 此,本 文 提
18、出 以VoVNet19为主干网络代替 ResNet 进行特征提取,相比于 ResNet 更偏向于精度模型的特点,VoVNet 兼顾了精度和效率,在推理速度、内存占用、GPU 使用率和精确率等方面都比 ResNet 更具优势。本文主要对比了 ResNet50 和 VoVNet39 2 种网络结构。除了卷积层的分布不同外,VoVnet 相比于ResNet 在每个阶段多 1 个 Concat 操作,表示执行了一次 OSA19模块,OSA 模块用于聚集在各个层提取到的特征,并最终进行 Concat 连接,这种设计简化了Bottleneck 结构,减少了模块的碎片化程度,从而在性能相差不大的情况下,减少
19、计算量。此外,使用 OSA模块使得每个阶段内部的通道数不变,可以降低内存访问成本,提高计算效率。通过使用 OSA 模块,VoVNet 在保证精度的同时,显著提高了运算效率。在卷积神经网络中,经过多次进行卷积后,获得的特征具有较大的感受野,更适合检测大物体,但对于小物体的检测效果不佳20。为了解决这个问题,ISTR 将 ResNet 与特征金字塔模型(feature pyramid network,FPN)进行了融合。FPN 网络模型将深层的强语义特征与浅层的集合信息进行了合并,能够实现对不同尺度目标的检测,并且几乎没有增加检测时间。FPN 通过将 ResNet 生成的特征图与 FPN 进行上采
20、样后相加,得到了 P2、P3、P4、P5 等特征图,用于预测物体的边界框、类别和掩码。为了消除上采样过程中的混叠效应,还使用了33 的卷积核进行处理。通过这种方式,FPN 在保持检测精度的同时,能够有效地处理不同尺度的目标。本文中采用了 VoVnet 作为特征提取的主干网络,相比于 ResNet,VoVnet 在小物体检测方面性能显著提高,但对于大物体的检测提升不足。因此修改后的ISTR-V 参考了 RetinaNet21的网络结构对 FPN 进行了优化,与 RetinaNet 相比,ISTR-V 保留了 P2 特征图。与 ResNet 相比,ISTR-V 通过在 P5 之后加 33的卷积层来
21、实现下采样,增加了 P6 与 P7 特征图,去掉了池化操作,并增加了卷积操作。保留 P2 增加 P7的原因是 P2 更适合小物体的检测,而 P7 更适合大物体的检测,使用卷积将 P6 和 P7 2 个特征图调整为与其他特征图相同的通道数,额外的 P6 和 P7 特征图更适用于多尺度的目标检测,可以减少未分割骨料的数目。通过对网络结构的修改,使得 ISTR-V 在处理尺度跨越较大的骨料图像分割任务时更加适用。在保持小物体检测性能提升的同时,也能更好地处理大物体的检测。修改后网络结构如图 3 所示。图 3 FPN 与 VoVNet 网络连接示意图1.2.2.2 感兴趣区域校准感兴趣区域校准(RoI
22、 align)是一种区域特征聚集28 第 3 期冀效胜等:基于深度学习的粗骨料在线检测分割方法研究 方法,取消量化操作,使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值,将整个特征聚集过程转化为一个连续的操作,很好地解决了 RoI Pooling 操作中 2 次量化导致的区域不匹配问题,提高了分割掩码的精度。本文中采用的 RoI AlignV2 与RoI Align 相比将所有 RoI 都移动了半个像素,能够创建更好的图像特征图对齐方式并且不影响性能。1.2.3 训练网络训练前,使用 Labelme 工具对图像进行标注,以获取目标信息,包括每个目标的分类标签、边框和掩码。在训练时,损失
23、函数由回归损失、分类损失、分割损失组成,其定义如式(1)所示:L=Lbax+Lcls+Lmask(1)式中:Lbax为回归损失;Lcls为分类损失;Lmask为分割损失。回归损失函数目前大多使用的是 GIoU22,如式(2)所示:LGloU=1-IoU+Ac-UAc(2)式中:Ac为最小闭包区;U 为预测框和真实框的并集。GIoU 与 IoU 类似,是一种用于度量检测框与真实框之间重叠程度的指标,它的优点是引入最小外接框解决检测框和真实框没有重叠时 Loss 等于 0 的问题,缺点是当检测框包含真实框时,GIoU 退化成 IoU,并且 2 个框相交时,在水平和垂直方向上收敛慢。为了克服 GIo
24、U 的缺点,本文提出以 SIoU 代替 GIoU 作为回归损失函数,SIoU 损失函数由 4 个成本函数组成,包括角度成本、距离成本、形状成本和 IoU 成本。计算方式如式(3)所示:LSloU=1-IoU+-2(3)式中:为距离成本;为形状成本。SIoU 在定义距离成本时考虑了角度成本,相比于GIoU 还添加了形状成本,这样的改进使预测框能更快地移动到最近的轴,并随后进行坐标 X 或 Y 的回归,从而实现更快的收敛,并且在推理阶段也能够展现出更好的性能。1.3 粗骨料分割模型评估方法在实例分割任务中,通常使用均值平均精度(mean average precision,MAP)进行评价,然而
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 骨料 在线 检测 分割 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。