基于改进U-Net的面部红外热成像的分割.pdf
《基于改进U-Net的面部红外热成像的分割.pdf》由会员分享,可在线阅读,更多相关《基于改进U-Net的面部红外热成像的分割.pdf(6页珍藏版)》请在咨信网上搜索。
1、计算机时代 2023年 第10期0 引言面诊是指中医通过望、闻、问、切四诊法,对患者面部和五官整体观察,从而判断人体局部与整体的病变情况。望诊法是中医诊断中的诊法之一,几千年来许多中医一直沿用此简单有效的诊断方法。传统中医望诊聚焦于病人的面色及光泽,对于临床经验很少的中医来说,要基于这些非常有限的面部指标做出诊断是十分困难的。可见光自动化面诊技术受制于人体肤色和季节变化等因素,导致检测结果可能出现误差。相比之下,红外热成像技术能够通过观察人体表面的温度分布与变化,将中医的阴阳、虚实、寒热等信息以数字可视化的方式呈现,避免了可见光检测技术的限制。面部红外图像分割是面诊客观化中去除不规范操作如头发
2、遮挡、佩戴眼镜、帽子等造成的干扰背景,排除与体质、疾病等分类识别无关的因素的重要步骤,为后续面部红外热成像的疾病识别分类提供基础。通过传统的方法分割人体红外热成像,如区域生长1、水平集2、聚类3、图割4等,需要大量人工干预,无法实现图像分割自动化。Ronneberger5等研究者首次提出了将跳跃连接引入卷积神经网络的一种U形网络(U-Net)。Liu6等人提出了基于深层U-Net和图割的方法并平滑分割结果,此方法加深了特征提取网络的深度,以便于提取更高层次的特征,在腹部CT序列肝DOI:10.16644/33-1094/tp.2023.10.019基于改进U-Net的面部红外热成像的分割*詹文
3、栋,龚庆悦,朱金阳,万泽宇,黄敏,王锐(南京中医药大学人工智能与信息技术学院,江苏 南京 210046)摘要:本研究旨在实现对中医红外热成像面部图像的精准分割。使用Resnet50代替传统U-Net网络的主干特征提取模块,移除特征融合中复制与剪切里的剪切操作。该方法能优化特征融合,避免梯度问题,并提高模型通用性。分割实验表明,与传统U-Net相比,该方法具有更高的平均交并比mIoU值和准确率,mIoU值达98.20%,准确率达99.03%。该方法为基于红外图像的中医辅助诊断和疗效评估提供了技术支持。关键词:中医;红外热成像;图像分割;U-Net;Resnet50中图分类号:TP317.4文献标
4、识码:A文章编号:1006-8228(2023)10-89-06Research on facial infrared thermal image segmentation based on improved U-NetZhan Wendong,Gong Qingyue,Zhu Jinyang,Wan Zeyu,Huang Min,Wang Rui(Nanjing University Traditional Chinese Medicine,Nanjing,Jiangsu 210046,China)Abstract:This study aims to achieve accurate se
5、gmentation of facial images in TCM infrared thermography.Resnet50 is used toreplace the backbone feature extraction module of the traditional U-Net network,and the cut operation is removed from copy andcutinfeaturefusion.Thismethodoptimizesfeaturefusion,avoidsgradientproblems,andimprovesmodelversati
6、lity.Thesegmentation results show that compared with the traditional U-Net,this method has a higher mean intersection over union(mIoU)value and accuracy,with mIoU reaching 98.20%and accuracy reaching 99.03%.This method provides technical support for infraredimage-based TCM auxiliary diagnosis and tr
7、eatment evaluation.Key words:TCM;infrared thermography;image segmentation;U-Net;Resnet50收稿日期:2023-03-23*基金项目:国家级大学生创新创业训练计划项目(202210315092Z)作者简介:詹文栋(2002-),男,江苏镇江人,本科在读,主要研究方向:医学人工智能。通讯作者:龚庆悦(1972-),女,江苏常熟人,博士,副教授,主要研究方向:中医药信息学、医学人工智能等方向研究。89Computer Era No.10 2023脏肿瘤图像上具有较好的分割效果。江智泉7等将U-Net的主干特征提取网
8、络替换为VGGNet16的卷积层,并且对特征融合进行优化改进,实验证明该改进方法在舌象分割上取得了较好的分割效果。本研究对原始U-Net网络进行改进,将特征提取表现更好的Resnet50代替U-Net原始的主干特征提取模块,去除复制和裁剪(Copy and Crop)部分的Crop,改进后的模型优化了特征融合,并提高了模型的通用性,在中医面部红外热成像图片的分割上取得了较好的结果。1 模型设计1.1 本文设计的Facial Res-UNet模型结构首先借鉴江智泉7的方法,改进原始U-Net模型,下文简称为 Facial VGG-UNet 模型。将原始 U-Net模型的主干特征提取模块替换为VG
9、GNet16,由5个卷积核和ReLU激活函数构成的卷积模块和四个最大池化模块不断堆叠而成。将多个使用33卷积核的卷积层进行串联,可以看作是对使用一个大尺寸卷积核的卷积层的分解,比如三个33卷积核的卷积层串联相当于一个77卷积核的层,这么做的优势是,多个小尺寸卷积核堆叠起来的卷积层具有的参数比直接使用一个大尺寸卷积核的卷积层的参数少,在感受野相同的情况下,增加了网络的非线性,使得网络的判别性更强8。但该方法的主干特征提取网络存在缺陷:主干特征提取网络是通过对图像进行多次卷积和池化操作堆叠而成,而大量网络堆叠容易造成梯度消失和梯度爆炸问题9。同时,对解码部分进行优化:取消了五个初步有效特征层在上采
10、样过程中的剪切(Crop)操作,直接复制(Copy)特征层,从而提高网络模型的通用性。最终,改进的U-Net网络结构如图1所示。图1Facial VGG-UNet网络结构由于存在上文提到的梯度爆炸和梯度消失问题,在Facial VGG-UNet网络模型的基础上,我们又做出了新的改进。本文提出的改进 UNet 模型 Facial Res-UNet,采用ResNet50替换传统U-Net的主干特征提取模块,不仅能因残差块避免梯度爆炸和梯度消失的问题,还能保留 U-Net网络结构简单和训练数据量需求小的优势,非常契合中医面部红外热成像图片的对比度低、边界模糊等导致的特征提取效果差以及数据集量少的特点
11、。再对 U-Net 的解码区优化特征融合,去除初步提取特征层的剪切(Crop)操作,一方面使得输入图像与输出图像尺寸保持一致,增加模型的通用性,另一方面也能使得模型学习到更多细节信息,以便进一步对像素进行分类,提高模型的泛化能力。其网络结构如图2所示。图2中,主干特征提取网络Resnet50由两个基本模块组成,分别为Conv Block和Identity Block10。前者由于输入与输出的维度不同,因此Conv Block一般可用于改变网络的维度;后者输入与输出维度一致,因此一般选用Identity Block来加深网络深度。90计算机时代 2023年 第10期Conv Block可以分为主
12、路径和跳跃路径两个部分。主路径由二次大小分别为11和33的卷积操作和标准化(BatchNorm)、激活函数 ReLU、一次 11卷积操作和标准化(BatchNorm)组成。跳跃路径由11卷积操作和标准化(BatchNorm)组成。Conv Block最终由主路径输出和跳跃路径输出相加,并经过一次ReLU激活函数得出,结构如图3所示。Identity Block也可以分为主路径和跳跃路径两个部分。IdentityBlock的主路径与Conv Block的主路径相同,而跳跃路径直接与主路径的输出相加,最后经过一次ReLU激活函数得出总体输出结果,结构如图4所示。图3Conv Block图4Iden
13、tity Block2 数据收集与预处理2.1 数据收集本研究按照 中医红外热成像技术规范摄像环境11标准严格搭建数据采集环境。数据来源有效且符合伦理审查规范,且仅用于本次学术研究,遵循被采集图2Facial Res-UNet模型结构91Computer Era No.10 2023者意愿。数据集包含 300 张标准面部红外热成像图片,其中160张和40张分别作为训练集和验证集,100张作为测试集用于模型泛化性能测试。2.2 数据标注本研究使用Labelme工具对面部红外热成像样本进行标注,该工具基于多边形框对目标物体进行标注12,能够得到图像有效分割标签。本研究分割任务究其根源是二分类问题,
14、即对无关背景和面部进行分割,标签灰色部分和黑色部分分别表示红外热成像的面部和无关背景。中医红外热成像图片标注过程如图5所示。图5中医红外热成像图片的标注3 模型训练与性能评估3.1 模型训练使用160张面部红外热成像图片进行模型训练,Epoch设为100。为了使占用内存更少,计算效率更高,优化器选择Adam,学习率设置为0.0001,最小学习率设置为学习率的0.01倍。动量(Momentum)设置为0.9,这有助于跳出局部最小值,加速模型的收敛。权值衰减(weight_decay)可以防止模型过拟合,但由于采用的优化器是Adam,可能会导致权值衰减(weight_decay)发生错误,故wei
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 Net 面部 红外 成像 分割
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。