基于深度学习的手术器械视觉图像高斯与椒盐噪声去除方法研究.pdf
《基于深度学习的手术器械视觉图像高斯与椒盐噪声去除方法研究.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的手术器械视觉图像高斯与椒盐噪声去除方法研究.pdf(7页珍藏版)》请在咨信网上搜索。
1、窑医疗卫生装备窑 2024年2月第45卷第2期悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造 窑 灾燥造援 45 窑 晕燥援 2 窑 February 窑 2024基于深度学习的手术器械视觉图像高斯与椒盐噪声去除方法研究苗保明1,2,3,陈炜1,2,吴航3,4*,余明3,韩思齐3(1.天津理工大学天津市先进机电系统设计与智能控制重点实验室,天津300384;2.天津理工大学机电工程国家级实验教学示范中心,天津300384;3.军事科学院系统工程研究院,天津300161;4.南开大学人工智能学院,天津300381)摘要目的院为消除手术器械视觉图像中的高斯与椒盐噪声,并恢复图像
2、的细节特征,提出一种基于深度学习的手术器械视觉图像高斯与椒盐噪声去除方法。方法院首先,构建由多特征融合编码器解码器网络、注意力引导网络和细节恢复渐进式网络3个部分组成的轻量级多任务渐进式网络,使用多特征融合编码器解码器网络预测视觉图像中的噪声信息,并从原图像中去除,使用注意力引导网络进一步去除图像中的残留噪声,使用细节恢复渐进式网络对去噪图像的底层细节特征进行恢复。其次,对轻量级多任务渐进式网络进行轻量化设计,将细节恢复渐进式网络中的部分常规卷积替换为深度可分离卷积。最后,在公开的CBSD68、Kodak24数据集和自建的手术器械噪声数据集上进行去噪实验,比较基于轻量级多任务渐进式网络的去噪方
3、法与经典去噪方法的去噪效果,ResNet-18模型和ResNet-34模型对采用轻量级多任务渐进式网络去噪后的图像的分类准确率,并分析轻量化设计前后的算力和内存占用情况。结果院在公开数据集上,所提出的方法较经典的去噪方法取得了更好的去噪效果。在手术器械噪声数据集上,ResNet-18模型和ResNet-34模型对采用轻量级多任务渐进式网络去噪后的图像分类准确率更高。经过轻量化设计的去噪方法的参数量和浮点运算数(floating point operations,FLOPs)分别减少了约27.27%和29.81%。结论院基于深度学习的手术器械视觉图像高斯与椒盐噪声去除方法具有优秀的手术器械视觉图
4、像去噪性能,且具有更少的算力消耗和内存占用。关键词深度学习;手术器械;视觉图像;图像去噪;高斯噪声;椒盐噪声中国图书资料分类号R318文献标志码A文章编号1003-8868渊2024冤02-0001-07DOI院10.19745/j.1003-8868.2024021Deep learning-based Gaussian and pepper noise removal method forvisual images of surgical instrumentsMIAO Bao-ming1,2,3,CHEN Wei1,2,WU Hang3,4*,YU Ming3,HAN Si-qi3(1.
5、Tianjin Key Laboratory for Advanced Mechatronic System Design and Intelligent Control,Tianjin University ofTechnology,Tianjin 300384,China;2.National Demonstration Center for Experimental Mechanical and ElectricalEngineering Education,Tianjin University of Technology,Tianjin 300384,China;3.Systems E
6、ngineering Institute,AMS,PLA,Tianjin 300161,China;4.School of Artificial Intelligence,Nankai University,Tianjin 300381,China)AbstractTo propose a deep learning-based method for removing Gaussian and pepper noises of the surgicalinstrument visual images so as to recover the detailed features of the i
7、mages.A lightweight multi-task progressivenetwork was constructed involving in a multi-feature fusion encoder-decoder network,an attention-guided network and adetail-recovery progressive network,which used the multi-feature fusion encoder-decoder network to predict and eliminatethe noise information
8、 in the visual images,the attention-guided network to remove the residual noise and the detail-recoveryprogressive network to restore the underlying detail features of the denoised images.Some of the regular convolutions in thedetail recovery progressive network were replaced with depth separable co
9、nvolutions to realize lightweight design of thenetwork constructed.Denoising experiments were conducted on the publicly available CBSD68 and Kodak24 datasets and theself-constructed surgical instrument noise dataset so as to compare the denoising effects of the network constructed and thetraditional
10、 methods and the classification accuracies of ResNet-18 model and ResNet-34 model for the denosied images bythe network and to analyze computing power and memory usage before and after the lightweight design.The networkconstructed gained better denoising effect than the classical methods for publicl
11、y available datasets,and ResNet-18 modeland ResNet-34 model had higher accuracies when used to classify the images denoised by the network for the self-窑研究与设计窑栽澡藻泽蚤泽论著苗保明,陈炜,吴航,等.基于深度学习的手术器械视觉图像高斯与椒盐噪声去除方法研究J.医疗卫生装备,2024,45(2):1-7.1 窑医疗卫生装备窑 2024年2月第45卷第2期悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造 窑 灾燥造援 45
12、窑 晕燥援 2 窑 February 窑 2024constructed surgical instrument noise dataset.Lightweight design had the parameter number and floating point operations(FLOPs)decreased by approximately 27.27%and 29.81%,respectively.The proposed lightweight multi-taskprogressive network behaves well in denoising surgical in
13、strument visual images with reduced computating power consump鄄tion and memory usage.悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造袁2024袁45渊2冤院1-7Key wordsdeep learning;surgicalinstrument;visual image;imagedenoising;Gaussian noise;pepper noise作者简介院苗保明(1990),男,硕士研究生,研究方向为神经网络轻量化、图像去噪和机器人,E-mail:。通信作者院吴航,E-mail:0引言
14、手术器械机器视觉识别是人工智能在医疗领域的典型应用,如器械护士机器人、手术流程分割等,是未来的发展趋势。高质量的视觉图像能够为手术器械的检测、分类等任务提供更多有效的特征信息,提高识别的准确率。然而手术器械视觉图像在采集、压缩和传输过程中容易受到环境噪声的干扰,如高斯噪声和椒盐噪声等,这些干扰会导致图像内容和色彩发生扭曲或退化,从而对视觉任务产生负面影响。图像去噪算法能够有效地去除噪声信息,从而提升图像质量。该算法旨在准确地去除噪声信息,同时保留图像的细节特征不被破坏,因此如何更好地平衡这2个方面成为该领域众多研究人员追求的目标。目前,人们尝试了许多方法去除图像噪声,主要包括传统的去噪方法和基
15、于深度学习的去噪方法。传统的去噪方法包括中值滤波去噪和小波变换去噪等。屈正庚等1提出了自适应中值滤波方法,该方法能够根据噪声大小自适应调整滤波模板的尺寸,具有很好的去噪效果。傅伟等2在小波去噪和小波域隐马尔可夫模型的基础上引入了方差不变性变换来调整原始图像的噪声模型为高斯噪声模型,将图像分解为不同频率的不同子带,并使用隐马尔可夫树模型来规划小波系数的边缘分布,使得图像保留了更多的边缘信息。谢玉霞等3将小波去噪方法用于去除体表胃电中的高频噪声,从而有效地改善了信噪比及提高了信号的分辨力。然而传统的去噪方法仍存在不足,如中值滤波用于去除复杂的噪声时容易破坏图像特征的几何形状;小波变换去噪的方向性较
16、弱,只能捕捉有限的方向信息等。基于深度学习的去噪方法具有更好的拟合噪声分布等优点,因此受到了更多的关注。Zhang等4提出了快且灵活的去噪卷积神经网络(fast and flexibledenoising convolutional neural network,FFDNet),该网络将可调噪声水平图作为输入,能够处理不同级别的噪声以及空间变化噪声。Kim等5提出了分组残差密集网络,该网络级联了多个具有残差结构的分组残差密集块,图像去噪的性能得到明显提高。此外,还有一些去噪方法将去噪过程划分为多个具有不同任务的阶段。如Tian等6提出了一个由多模块组成的注意力引导去噪网络,该网络能够在去除较复
17、杂噪声的同时增强了模型的表达能力,并生成干净的图像。Zhang等7提出了双任务互补网络,该网络能够在去除噪声的同时保留更多的细节特征。Tian等8提出了一个联合小波变换的三阶段去噪网络,该网络能够实现参数的动态调节、噪声抑制和图像重建。然而,大多数基于深度学去噪方法往往具有庞大的参数量,且在噪声去除和细节保留任务上仍有很大的提升空间。因此,本研究提出一种基于深度学习的手术器械视觉图像高斯与椒盐噪声去除方法,通过构建轻量级多任务渐进式网络去除图像噪声,减少去噪模型的算力消耗和内存占用。1轻量级多任务渐进式网络构建轻量级多任务渐进式网络主要由3个部分组成:多特征融合编码器解码器网络、注意力引导网络
18、和细节恢复渐进式网络。轻量级多任务渐进式网络的结构如图1所示。首先,将噪声图像输入到多特征融合编码器解码器网络中,用于噪声信息的预测,并将预测的噪声信息从图像中去除,得到粗粒度去噪图像。然后,将粗粒度去噪图像输入到注意力引导网络中,以去除图像残余噪声。最后,由细节恢复渐进式网络对无噪声图像中的细节特征进行恢复。1.1多特征融合编码器解码器网络多特征融合编码器解码器网络主要由编码器、多尺度扩张卷积模块和解码器组成。其中,多尺度扩张卷积模块由多个分支的扩张卷积组成,将来自不同扩张卷积的特征图合并,然后输入到1伊1卷积层。该模块可以有效地捕捉噪声的语义信息,以弥补由栽澡藻泽蚤泽论著苗保明,陈炜,吴航
19、,等.基于深度学习的手术器械视觉图像高斯与椒盐噪声去除方法研究J.医疗卫生装备,2024,45(2):1-7.2 窑医疗卫生装备窑 2024年2月第45卷第2期悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造 窑 灾燥造援 45 窑 晕燥援 2 窑 February 窑 2024图1轻量级多任务渐进式网络的结构图于编码器连续下采样导致的图像纹理损失。此外,在多特征融合编码器解码器网络中还加入了多个跳跃连接用来捕获不同的特征。1.2注意力引导网络注意力引导网络由稀疏块(sparse block,SB)、特征增强块(feature enhancement block,FEB)、注
20、意力块(attention block,AB)和重建块(reconstruction block,RB)4个模块组成,其中,稀疏块使用扩张卷积和标准卷积来扩大感受野,以提高图像去噪的性能和效率。特征增强块通过长路径集成注意力引导网络的全局和局部特征,以增强算法模型的表达能力。假设IN和IR分别表示输入噪声图像和预测残差图像,则稀疏块可表示为OSB=fSB(IN)(1)式中,OSB为稀疏块的输出,并将结果输入到特征增强块中;fSB为稀疏块的函数。特征增强块可表示为OFEB=fFEB(IN,OSB)(2)式中,fFEB为特征增强块的函数。注意力块用来降低图像背景特征提取的难度,其表达式为IR=fA
21、B(OFEB)(3)式中,fAB为注意力块的函数;IR为注意力块的输出。重建块主要用于无噪声图像的重构,其表达式为Iclear=IN-IR(4)式中,Iclear为预测的干净图像。1.3细节恢复渐进式网络细节恢复渐进式网络由多通道密集注意力渐进块组成,并且使用跳跃连接来获取不同的特征。多通道密集注意力渐进块的结构如图2所示。注意力机制具有关注有效信息和忽略无效信息等优点,因此在通道密集注意力模块7的基础上增加并行结构,形成并行通道密集注意力模块,如图3所示。并行通道密集注意力模块主要由3个并行式注意力模块组成,可以使模型在训练过程中更有效地进行特征融合和梯度下降。细节恢复渐进式网络由6个循环阶
22、段组成,每个阶段对应多通道密集注意力渐进块,以实现与其他阶段的参数共享。图2多通道密集注意力渐进块的结构图多尺度扩张卷积卷积+BN+ReLU扩张卷积+BN+ReLUCC扩张卷积+BN+ReLU扩张卷积+BN+ReLU扩张卷积+BN+ReLU多特征融合编码器解码器网络稀疏块特征增强块注意力块重建块注意力引导网络C细节恢复渐进式网络注:BN为批归一化,ReLU和Tanh为激活函数,LSTM为长短时记忆,DSconv为深度可分离卷积,C为堆叠。输入并行通道密集注意力模块卷积ReLU卷积输出ReLU垣伊卷积+BN+ReLU卷积+BN+ReLU卷积+BN+ReLU卷积+BN+ReLU卷积+BN+ReLU
23、卷积+BN+ReLU卷积+BN+ReLU注:ReLU为激活函数。-栽澡藻泽蚤泽论著苗保明,陈炜,吴航,等.基于深度学习的手术器械视觉图像高斯与椒盐噪声去除方法研究J.医疗卫生装备,2024,45(2):1-7.3 窑医疗卫生装备窑 2024年2月第45卷第2期悦澡蚤灶藻泽藻 酝藻凿蚤糟葬造 耘择怎蚤责皂藻灶贼 允燥怎则灶葬造 窑 灾燥造援 45 窑 晕燥援 2 窑 February 窑 2024图4部分手术器械的噪声图像1.4网络轻量化设计为了减少去噪模型的参数量和推理算力,将细节恢复渐进式网络中的常规卷积替换为深度可分离卷积。假设网络的输入特征图为DF伊DF伊M,输出特征图为DF伊DF伊N,
24、卷积核的大小为DK伊DK伊M伊N。其中,DF为特征图的长、宽尺寸,DK为卷积核的长、宽尺寸,M、N分别为输入通道数和输出通道数。卷积步长和填充均为1,以使输出特征图的长、宽尺寸与特征图相同,则普通卷积的计算量为DK伊DK伊M伊DF伊DF伊N(5)深度可分离卷积将普通卷积分解为深度卷积和点卷积,深度卷积的大小为DK伊DK伊1伊M,点卷积的大小为1伊1伊M伊N,则深度卷积的计算量为DK伊DK伊M伊DF伊DF(6)点卷积的计算量为M伊N伊DF伊DF(7)深度可分离卷积的计算量为DK伊DK伊M伊DF伊DF+M伊N伊DF伊DF(8)计算公式(8)和公式(5)的比值表示如下:DK伊DK伊M伊DF伊DF+M
25、伊N伊DF伊DFDK伊DK伊M伊DF伊DF伊N=1N+1DK2(9)可以看出,深度可分离卷积的计算量是普通卷积的1N+1DK2。2实验2.1数据集公开的训练数据集为用于去除高斯噪声的Waterloo Exploration数据集9和用于去除椒盐噪声的BSD432数据集10,其中,WaterlooExploration数据集包含3 859张彩色图像,BSD432数据集包含432张彩色图像。测试集为CBSD6811和Kodak2412图像噪声数据集。其中,CBSD68数据集和Kodak24数据集分别包含68和24张图像。由于手术器械噪声数据集的缺乏,本文基于BW-I型腹部外科手术器械包构建了手术器
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 手术器械 视觉 图像 椒盐 噪声 去除 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。