基于雾密度智能感知的腹腔镜图像去烟雾算法研究.pdf
《基于雾密度智能感知的腹腔镜图像去烟雾算法研究.pdf》由会员分享,可在线阅读,更多相关《基于雾密度智能感知的腹腔镜图像去烟雾算法研究.pdf(9页珍藏版)》请在咨信网上搜索。
1、生物医学工程学进展2023 年第 44 卷第 3 期 医学影像 237多张不同曝光度的图像。基于去雾模型的方法则在物理解释上相对欠缺。虽然使用深度学习等相关理论进行图像去雾研究取得了很多不错的成果,但目前将机器学习方法和深度学习算法部署在腹腔镜系统的FPGA芯片上的方案还不成熟,难以形成商业应用,所以本文使用改进的暗通道去雾模型及Retinex理论和灰度变换结合的方法进行腹腔镜图像去烟雾增强。本文以暗通道去雾模型为基础,提出了一种针对腹腔镜图像的雾密度智能感知去烟雾算法。所谓的智能感知,即对不同图像像素区域的指标值(如不同像素区域的含雾程度、光照条件和强度),依照图像具体像素区域的不同含雾程度
2、和明暗程度进行优化与调整,进行不同的处理操作,以达到更好的处理效果。通过比较分析,本文的方法在得到较好的去烟雾效果的同时,改善了图像质量和观感,并在无参考的去雾效果评价指标中得到了更高的分数。1 数据与方法 1.1 相关理论 1.1.1 经典暗通道去雾理论经典暗通道去雾理论 当前基于退化模型的去雾,最有效的模型之一是基于对大量有雾图像和无雾图像进行观察总结得到的图像映射关系,即文献4提出的暗通道去雾模型。该模型依照大气散射模型提出,大气散射模型如下。1xxxAxIJtt (1)式中,xI代表含雾图像;xJ代表无雾图像;A是全局大气光值;xt是传输函数,也称为透射率。该公式表示一幅含雾图像的形成
3、过程。暗通道先验知识如式(2)所示。式中,dark()xJ表示图像的暗通道值;x是以x为中心的图像区块;c表示图像的各个通道;cJy表示当前区域各通道的像素值。dark,()=minminccr g bxxy JJy (2)基于此先验知识,结合上述物理模型,需要计算出图像的透射率分布图和大气光值,即可将无雾图像从原始有雾图像中还原出来,透射率分布如式(3)所示,最终图像还原如式(4)所示。1minminccc xxA yIyt (3)0 max,xAxxtIJt (4)1.1.2 基于像素智能感知权重的大气光值基于像素智能感知权重的大气光值 在经典暗通道去雾理论中,大气光值计算的是基于图像整体
4、暗通道对应的最高亮度值,该方法具有原理简单、计算速度快的优点。但在腹腔镜图像中存在两个主要问题:(1)在腹腔镜图像视野中,不存在天空区域,且由于腹腔封闭空间和镜头光源的限制,腹腔内的光照具有很强的非均匀性;(2)不同于一般的含雾图像,腹腔镜视野中的内容仅有腹腔内各器官、组织、血管和黏膜,这使腹腔镜图像的红色通道分量值比一般图像高。因此,采用上述大气光值计算腹腔镜图像的大气光会出现较为严重的颜色偏离,R、G、B 3个通道采用相同的大气光,也会降低图像的去雾效果。本文根据文献10提出一种针对内窥镜智能感知大气光的计算方法,对内窥镜图像每个通道的每个像素定义像素智能感知权重,再根据权重计算智能感知大
5、气光。其中,定义像素智能感知权重如式(5)所示。meanstd1 1fxfxecPaw (5)式中,xcPaw为第c个通道对应的各个像素智能感知权重;meanf为图像整体像素的均值;stdf为图像整体的方差。通过该权重,大气光随像素区域的变化而得到的智能感知大气光如式(6)所示。2551xxxxcccAIPawPaw(6)式中,xcA为计算得出的智能感知大气光;xI为原始含雾图像的各像素值。通过上述计算,各像素自适应权重由当前像素值和图像整体均值方差决定。在腹腔镜图像中,上述方法只能感知到存在过高的红色通道值,通过计算得出的大气光值就会得到相应的纠正,减少由大气光造成的图像偏色问题。1.2 基
6、于雾密度智能感知的腹腔镜图像去烟雾方法 本文将腹腔镜图像去烟雾划分为两个步骤。首先,使用去雾算法对不同雾密度区域进行准确的感知和识别,从而对不同图像区域进行不同程度的去雾操作,以保证图像的质量。其次,保证去雾后的图像具有更加易于观察的视觉效果。故将去烟雾方法划分为基于透射率智能感知的图像增强和基于光照分量智能感知的图像增强两部分。生物医学工程学进展2023年第44卷第3期 医学影像 238 1.2.1 基于透射率智能感知的图像增强基于透射率智能感知的图像增强 在大气散射模型中,透射率描述了光在传播过程中尚未被吸收或尚未衰减的辐射亮度比例,可以认为,在去雾模型中,透射率是衡量雾密度的重要部分。因
7、此,对雾密度的感知可以通过更加准确的透射率感知模型实现。去雾的过程实际上是增强对比度的过程,但对彩色图像来说,现有的模型增强对比度会造成部分像素值的丢失和截断,使色彩饱和度升高。对于图像的物理去雾模型,决定图像去雾程度和对比度增强的变量是透射率值 xt。计算图像对比度的有效方法之一是使用均方误差 对比度公式,如式(7)所示。2MSE1 NcppJCNcJ (7)式中,,cr g b为3个通道之一;cJ为图像像素块 pcJ的均值;N为像素块的像素数量。均方误差对比度较好地衡量了去雾后图像颜色对比度的高低。增强对比度会造成图像颜色的溢出。如图1所示,图1(b)(f)分别将式(3)中的参数调整为0.
8、61.0。可以看到,随着图像饱和度的升高,缺失颜色的区域逐渐增大。(a)原始图像(b)=0.6 (c)=0.7(d)=0.8 (e)=0.9(f)=1.0 图 1 不同透射率的去雾效果 Fig.1 Defogging result of different t(x)文献5定义了一种去雾总体损失函数E。首先,定义由于去雾造成颜色缺失的损失函数,如式(8)所示。22loss,min 0,max 0,255r g b pEpp ccCBJJ(8)式中,B为对应的目标像素块,该公式可以进一步改写为式(9)。22255loss,0 255ccccccr g biiiAiAEAiAittccChh(9)式
9、中,ich代表第c个通道的直方图;c和c代表像素值发生截断的地方。该损失函数衡量了图像因对比度增强而造成的颜色丢失程度。生物医学工程学进展2023年第44卷第3期 医学影像 239其次,由均方误差对比度可定义因去雾不彻底导致的对比度损失函数,如式(10)所示。22contrast2,r g b pr g b pBBppENt N cccccBcBJJII(10)式中,t为针对当前像素块B计算的透射率值;BN为像素块数量。定义去雾总体损失函数如式(11)所示,表示两种损失的加权和,其中L为平衡两种损失的系数,本文取0.5。contrastloss LEEE (11)得到上述去雾总体损失函数后,本
10、文提出了一种智能感知透射率预测模型,通过感知像素块及图像各区域的雾密度,对各区域采取不同程度的去雾增强效果。通过智能感知方法得到图像各区域的含雾程度,迭代所有可能的去雾比例系数,寻找最适合当前像素块的透射率。具体做法为:将图像划分为10 10的像素块,根据其智能感知权重大气光值与式(3),对像素块进行透射率智能感知计算。迭代增加式(3)中的去雾比例系数,当前像素块去雾系数B满足式(12)时,将对应的记为当前像素块的比例系数,并计算相应的透射率值,其中每次迭代都将0增加0.05,最大迭代次数为16次。contrastlossargminBLEE (12)得到相应的大气光矩阵和透射率矩阵后,依据引
11、导滤波17算法对透射率三通道矩阵进行细化,使用式(4)得到去雾后的图像。1.2.2 基于光照分量智能感知的图像增强基于光照分量智能感知的图像增强 去雾后的图像经过亮度增强后可显著改善观感。为兼顾算法的简便性,本文提高了算法的自适应程度和效果。在亮度图指导的彩色图像增强方法18的基础上,本文提出了一种基于光照分量智能感知的图像增强方法。首先将图像转移至HSV空间,使用其亮度分量V,依据Retinex理论提取光照分量作为图像增强的基础。提取方法使用的高斯函数,x yG如式(13)所示。222,xycx yq eG (13)式中,c为高斯函数的尺度因子;q为归一化常数。利用式(13)选取不同尺度的高
12、斯函数对亮度分量图进行高斯滤波,并取均值作为图像光照分布图。依据图像光照分布图,本文提出了一种智能感知伽马函数自适应增强方法,如式(14)所示。,2550.52 5,5x yhhx yx yIFR(14)式中,,x yR为输出图像;,x yF为输入图像;,x yI为提取的光照分量;h为自适应感知因子,如式(15)所示。0.8 max,min,hx yx yII (15)通过上述增强,去雾后图像亮度得到增强,整体观感得到较大改善,优化了去雾效果。1.2.3 算法实现算法实现 根据上述内容,提出基于智能感知的腹腔镜图像去烟雾算法流程,如图2所示。首先将图像进行自适应大气光提取,并基于智能感雾密度估
13、计模型计算和细化图像透射率,再进行去雾处理,之后对图像进行光照分量提取和亮度增强操作,得到输出图像。图 2 算法流程 Fig.2 Flow chart 生物医学工程学进展2023年第44卷第3期 医学影像 240 2 结果与评价 2.1 图像数据 本文使用的腹腔镜图像数据来自某国产品牌的4K 分辨率高清腹腔镜系统保存的手术视频和某国外品牌的1080P分辨率腹腔镜系统保存的手术视频。两段视频包含了不同光照和烟雾条件下的腹腔镜手术过程。本文将这两段视频中有烟雾的视频段分别每间隔5帧提取视频帧,保存成静态图像。每段视频保存100帧,共200帧图像,作为算法评估数据集。2.2 结果 图3和图4分别展示
14、了1张1080P含雾腹腔镜图像和1张4K分辨率含雾图像对应的去雾结果,其中(a)为原始图像,(b)(e)分别为文献4、5、10及本文的去雾效果展示。2.3 主观评价 通过观察图3和图4可知,文献4的方法结果不够理想,且视野内边缘保持较差。文献5相比其他方法,对比度过增强导致图像颜色较深,不易观察。文献10在色彩还原、细节保持和去雾效果上较上述两种方法有一定改善。本文方法保留了文献10的优点,在两种分辨率图像上进一步减少了雾含量,并通过智能感知图像增强较为明显地改善了图像颜色和对比度,使去雾后的图像更加利于观察。(a)原始图像(b)文献4的结果 (c)文献5的结果(d)文献10的结果 (e)本文
15、的结果 图 3 1080P 结果展示 Fig.3 1080P result display 生物医学工程学进展2023年第44卷第3期 医学影像 241 (a)原始图像(b)文献4的结果 (c)文献5的结果(d)文献10的结果 (e)本文的结果 图 4 4K 结果展示 Fig.4 4K result display 2.4 客观评价 为了更加客观地说明图像的去雾效果,本文采用了一种无参考感知雾密度客观评价指标对各方法结果进行评估。该指标由Lark等19于2015年提出,通过不同类型的图像统计特征来确定图像的雾密度,无须依赖透射率图、原始无雾参考图像和人类评级辅助训练,是一种较为全面和客观的图像
16、去雾评价方法。通过衡量自然含雾图像和无雾图像的上述图像统计特征的代表值,针对当前待评测图像建立感知雾密度指标D,如式(16)所示。1fffDDD (16)式中,fD为根据上述12个指标计算的无雾图像统计量代表值与当前图像统计量的距离;ffD为含雾图像代表值与统计量的距离。图像含雾程度越高,其与含雾图像代表值的距离越近,图像感知雾密度越大。上述12个图像评价特征描述符如表1所示,其中序号1为图像MSCN系数的方差;序号2和3为目标像素垂直方向像素MSCN乘积的方差;序号4为局部标准偏差衡量的图像锐度;序号5为对应锐度的变化系数;序号68分别为灰度颜色、黄蓝通道和红绿通道的对比度能量;序号9为图像
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 密度 智能 感知 腹腔镜 图像 烟雾 算法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。