基于生成对抗网络的田间杂草图像超分辨率重建.pdf
《基于生成对抗网络的田间杂草图像超分辨率重建.pdf》由会员分享,可在线阅读,更多相关《基于生成对抗网络的田间杂草图像超分辨率重建.pdf(7页珍藏版)》请在咨信网上搜索。
1、1 5 4 中国农机化学报2 0 2 3年D O I:1 0.1 3 7 3 3/j.j c a m.i s s n.2 0 9 55 5 5 3.2 0 2 3.0 9.0 2 2何朝霞,朱嵘涛,徐俊英.基于生成对抗网络的田间杂草图像超分辨率重建J.中国农机化学报,2 0 2 3,4 4(9):1 5 4-1 6 0H e Z h a o x i a,Z h u R o n g t a o,X u J u n y i n g.S u p e r-r e s o l u t i o n r e c o n s t r u c t i o n o f i m a g e s o f w e e
2、d s i n t h e f i e l d b a s e d o n g e n e r a t i v e a d v e r s a r i a l n e t w o r k J.J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o n,2 0 2 3,4 4(9):1 5 4-1 6 0基于生成对抗网络的田间杂草图像超分辨率重建*何朝霞1,朱嵘涛1,徐俊英2(1.长江大学文理学院,湖北荆州,4 3 4 0 2 3;2.长江大学农学院,湖北荆州,4 3 4 0 2 3)摘要:针
3、 对 目 前 图 像 超 分 辨 率 方 法 生 成 精 度 以 及 性 能 方 面 的 不 足,以S R G A N(S u p e r-R e s o l u t i o n U s i n g a G e n e r a t i v e A d v e r s a r i a l N e t w o r k)模型为基础,探讨和构建一种生成对抗网络模型,在该模型的损失函数中引入卷积神经网络边缘检测损失,生成的高分辨率图像中保持图像更多的细节。以作物/杂草田地图像数据集作为测试集,开展一系列试验,本方法超分辨率生成图像较双三次插值、S R G A N、E S R G A N和深度残差的G A
4、 N模型,峰值信噪比P S N R分别高8.2 4 2d B、5.5 2 1d B、3.0 7 9d B、2.3 3 9d B;结构相似性S S I M分别高0.1 4 3、0.0 8 9、0.0 5 1、0.0 1 8;在A I识图中的识别准确率分别高1 0.6%、3.5%、3.9%、2.7%。该方法为田间杂草图像的相关研究提供思路,同时为田间杂草分类等应用研究做好前期数据准备。关键词:超分辨率;S R GAN;生成对抗网络;损失函数;边缘检测损失;田间管理中图分类号:S 4 5 1 文献标识码:A 文章编号:2 0 9 5 5 5 5 3(2 0 2 3)0 90 1 5 4 0 7收稿日
5、期:2 0 2 2年7月1 0日 修回日期:2 0 2 2年8月1 7日*基金项目:国家青年科学基金项目(6 2 1 0 1 1 1 4);湖北省教育厅科学研究计划指导性项目(B 2 0 2 2 4 7 4)第一作者:何朝霞,女,1 9 8 4年生,湖北黄冈人,硕士,副教授;研究方向为信号与信息处理。E-m a i l:1 3 6 1 7 2 5 7 4 2 71 6 3.c o m通讯作者:徐俊英,女,1 9 7 9年生,山西大同人,博士,副教授;研究方向为作物遗传育种与信息技术。E-m a i l:j y x uy a n g t z e u.e d u.c nS u p e r-r e
6、s o l u t i o n r e c o n s t r u c t i o n o f i m a g e s o f w e e d s i n t h e f i e l db a s e d o n g e n e r a t i v e a d v e r s a r i a l n e t w o r k sH e Z h a o x i a1,Z h u R o n g t a o1,X u J u n y i n g2(1.C o l l e g e o f A r t s a n d S c i e n c e,Y a n g t z e U n i v e r s i
7、 t y,J i n g z h o u,4 3 4 0 2 3,C h i n a;2.C o l l e g e o f A g r i c u l t u r e,Y a n g t z e U n i v e r s i t y,J i n g z h o u,4 3 4 0 2 3,C h i n a)A b s t r a c t:S u p e r-r e s o l u t i o n r e c o n s t r u c t i o n p l a y s a n i m p o r t a n t r o l e i n t h e f i e l d o f i n t
8、 e l l i g e n t a g r i c u l t u r e.I n v i e w o f t h e s h o r t c o m i n g s i n t h e g e n e r a t i o n a c c u r a c y a n d p e r f o r m a n c e o f t h e i m a g e s u p e r-r e s o l u t i o n r e c e n t l y,a g e n e r a t i o n a d v e r s a r i a l n e t w o r k b a s e d o n t h
9、 e m o d e l o f S R G AN w a s d i s c u s s e d a n d c o n s t r u c t e d.I n t h i s m o d e l,t h e c o n v o l u t i o n n e t w o r k e d g e d e t e c t i o n l o s s w a s i n t r o d u c e d i n t o t h e l o s s f u n c t i o n,a n d m o r e d e t a i l s o f t h e i m a g e w e r e m a
10、i n t a i n e d i n t h e g e n e r a t e d h i g h-r e s o l u t i o n i m a g e.A s e r i e s o f e x p e r i m e n t s w e r e c a r r i e d o u t u s i n g s e t s o f c r o p/w e e d f i e l d i m a g e d a t a a s t e s t s e t s,c o m p a r e d w i t h b i c u b i c i n t e r p o l a t i o n,
11、S R G AN,E S R G AN a n d G AN m o d e l w i t h d e p t h r e s i d u a l s,t h e P S NR w a s 8.2 4 2d B,5.5 2 1d B,3.0 7 9d B a n d 2.3 3 9d B h i g h e r,t h e S S I M w a s 0.1 4 3,0.0 8 9,0.0 5 1 a n d 0.0 1 8 h i g h e r,a n d t h e r e c o g n i t i o n a c c u r a c y i n A I w a s 1 0.6%,3
12、.5%,3.9%a n d 2.7%h i g h e r,r e s p e c t i v e l y.I t p r o v i d e d i d e a s a n d m e t h o d s f o r t h e r e l a t e d r e s e a r c h o f o t h e r i m a g e s o f w e e d s i n t h e f i e l d,a n d p r e p a r e d t h e p r e l i m i n a r y d a t a f o r a p p l i c a t i o n r e s e
13、a r c h o f i m a g e c l a s s i f i c a t i o n o f f i e l d w e e d s.K e y w o r d s:s u p e r-r e s o l u t i o n;S R GAN;g e n e r a t i v e a d v e r s a r i a l n e t w o r k;l o s s f u n c t i o n;l o s s o f e d g e d e t e c t i o n;f i e l d m a n a g e m e n t0 引言随着科学技术的发展和进步,智慧农业与精准农
14、业已成为现代农业的发展方向。杂草一直是影响农作物产量的主要因素之一,目前防治杂草的主要方式包括人工、化学、生物、机械除草等。随着国家对“三农”问题的重视,在当前信息时代下,农业生产中开始利用一些边缘设备(例如微型计算机、无人机主机等)和信第4 4卷 第9期2 0 2 3年9月中国农机化学报J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o nV o l.4 4 N o.9S e p.2 0 2 3第9期何朝霞 等:基于生成对抗网络的田间杂草图像超分辨率重建1 5 5 息技术(物联网、数字
15、图像处理技术等)。例如:通过摄像头实时采集田间图像数据,利用图像识别技术识别并定位杂草,再通过控制系统实行精准的除草剂喷洒1。这不仅降低了杂草对农业生产的危害和保障了农业生产的安全,同时可以提升农业生产的产量和质量,也能有效提升除草剂的利用率,保障粮食安全和减少环境污染。所以利用图像识别技术除草,在我国智慧农业发展过程中具有重要的意义。当前通过摄像头采集田间图像往往无法获得理想的高清视频及图像,要保证杂草识别的准确性,对采集的杂草图像进行超分辨率生成是必不可少的。图像超分辨生成是指低分辨率图像在经过转化后,形成高分辨图像的过程。超分辨率生成算法的研究始于2 0世纪6 0年代,最原始的图像超分辨
16、率生成算法利用图像像素与邻近像素点间的关系和连续性进行的,典型代表就是插值法。例如最近邻插值法、双线性插值法和双三次插值法等,它们的共同问题都是忽略了整张图像的语义含义,且生成的图像比较模糊,造成部分图像细节损失,图像的锐化效果差2。深度学习相关的论文在近年来呈井喷式出现,成为了人工智能研究方向的热点。D o n g等3第一次将深度学习运用到图像超分辨率生成的应用领域中,使用了三次插值算法将低分辨率图像扩大到目标图像尺寸,然后将图像送到一种三层结构的卷积神经网络中。S h i等4在C V P R大会上提出的利用亚像素卷积来加快图像生成。K i m等5提出了残差学习思想的神经网络,同时也提出了深
17、度递归卷积神经网络等。L u o等6提出了F S R C N N(F a s t S u p e r-R e s o l u t i o n C N N)方法,采用了反卷积层、修改特征系数以及通过共享的参数映射来加速和优化模型。上述方法都是利用了深度神经网络在特征提取方式上的优势,更好地学习高分辨率图像和低分辨率图像之间的特征映射关系7。生成对抗网络G A N由G o o d f e l l o w等8最早提出,标志着无监督学习的又一项重大进展。它颠覆了过去深度学习仅仅用于判别器的传统,将深度学习理论同时应用到了生成器和判决器中。生成对抗网络由两个神经网络组成,其中一个神经网络用作判别器,另一
18、个神经网络用作生成器,生成器用来模拟样本数据信息的分布,而判别器用来确定真伪,在对抗的生成和训练过程中实现二者的均衡9。生成对抗网络近几年提出了一些模型,2 0 1 4年M i r z a等1 0提出的条件生成对抗网络系统,2 0 1 5年R a d f o r d等1 1提出的深度卷积生成对抗网络系统;随 着 研 究 的 深 入,2 0 1 7年L e d i g等1 2提 出 了S R G A N模型,并首次将对抗生成网络应用到了图像超分辨率重建任务中,同时展示了很好的性能。近几年,基于S R GAN模型,学者们提出了许多改进模型1 31 4。针对目前模型超分辨率方法生成精度等性能方面的不
19、足以及应用范围的限制等,本文以作物/杂草田地图像数据集为基础,探讨和构建了一种基于S R GAN的生成对抗网络模型,该模型的损失函数中引入卷积神经网络的边缘检测损失,以期能够保持图像更多的细节。1 数据集简介本文以作物/杂草田地图像数据集为基础训练数据,该数据集包括田野、植被分割和作物/杂草植物类型,图像尺寸均为2 0 0像素1 1 3像素。生成对抗网络中需要高分辨率数据和低分辨率数据。传统方法是将原清晰图像进行降采样得到低分辨率图像,这个过程中,图像会损失掉许多有用信息,从而使得图像超分辨率重建的效果并不理想。本文的方法是将数据集的原始图像作为低分辨率图像,将原始图像利用A I系统无损放大四
20、倍,同时进行清晰度增强,作为训练中使用的高分辨率图像,最终构成5 0对高分辨率与低分辨率所对应的训练数据集。同时,为增强训练网络的泛化能力,完成对训练数据的随机翻转和旋转的增强操作。如图1所示,一对模糊清晰图像中,模糊图像(低分辨率图像)的大小为2 0 0像素1 1 3像素,清晰图像(高分辨率图像)的大小为8 0 0像素4 5 2像素,而数据集中清晰低分辨率图像对的P S NR值 为2 3.1 5 6,S S I M值为0.7 4 6,最后以文中所设计的数据集以及作物/杂草田地图像数据集作为测试集来证明本文所提出方案的有效性。(a)低分辨率图像(b)高分辨率图像图1 模糊清晰图像对F i g.
21、1 A p a i r o f f u z z y-c l e a r i m a g e2 网络结构和损失函数2.1 网络结构生成对抗网络的图像超分辨率重建,是输入一张模糊图像到网络中,通过训练好的网络得到相对应的清晰图像,生成对抗网络示意图如图2所示。本文的生成对抗模型主要从S R GAN模型出发,S R GAN模型主要由生成网络(图3)和判别网络(图4)所构成,其中生成网络将模糊图像作为输入,输出清晰图像,判别网络将输出的清晰图像和原始清晰图像作为输入,输1 5 6 中国农机化学报2 0 2 3年出判断结果真或假,整个过程中生成网络和判别网络彼此对抗,当判别网络无法区分输出清晰图像和原清
22、晰图像时,S R GAN 完成重建超分辨率图像的工作任务1 5。本文所提出的方法是在该模型的基础上,在损失函数设计上,通过边缘检测形成物体的轮廓形状界限和自然纹理特征,在训练中指导图像的正确生成,并控制非自然纹理细节的产生。网络模型如图5所示,其中L R表示输入的低分辨率图像,S R为生成的高分辨率图像,E L R为低分辨率图像的边缘检 测图像,E S R为输出的高分辨率图像边缘检测图像。图2 生成对抗网络示意图F i g.2 G e n e r a t i v e a d v e r s a r i a l n e t w o r k图3 S R G A N网络模型的生成器F i g.3 G
23、 e n e r a t o r o f S R GAN n e t w o r k m o d e l图4 S R G A N网络模型的判决器F i g.4 D e t e r m i n a t o r o f S R G AN n e t w o r k m o d e l图5 本文的生成对抗模型F i g.5 G e n e r a t i v e a d v e r s a r i a l n e t w o r k i n t h i s p a p e r图5的网络模型结构中,生成器和判决器仍采用S R G A N的结构。这里,生成器模型的主体是一连串大小相同的残差块相连,并使用
24、两个卷积层,一共可以生成6 4个通道的特征映射,卷积层后的批量标准化层(B N)和P R e L U作为激活函数。判决器模型的设计以V G G网络为核心,包含8个卷积层,特征通道数从6 4开始,后面每层都进行了加倍,最多到5 1 2个通道,随着通道数 的 增 加,使 得 特 征 数 量 也 进 行 了 加 倍。根 据R a d f o r d等总结的架构指南,利用了L e a k y R e L U(=0.1)激活同时防止整个网络模型的最大池化。为了保持图像更多的细节,利用边缘检测损失进行评估得出,利用卷积神经网络方法进行边缘检测时损失最小,所以本文边缘检测用到的是卷积神经网络方法进行边缘检测
25、。该模型中,输入通道数是3,输出通道数是1,卷积核大小为33。为了评价判决器的训练是否能够最大化正确判决实际数据和生成器的生成数据的真假,以及生成器是否能够增加判别器得出正确答案的概率。因此,本文方法的V(D,G)函数1 6m i nGm a xDV(D,G)=Ex-Pd a t a(x)(l o gD(x)+Ez-Pz(z)(l o g(1-D(G(z)+1Ex-PE d a t a(x)(l o gD(x)+2Ez-PE z(z)(l o g(1-DG(z)(1)式中:D 判决器;G 生成器;x 输入的高分辨率图像HR;z 输入的低分辨率图像L R;E 数学期望;Pd a t a 输入HR
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 生成 对抗 网络 田间 杂草 图像 分辨率 重建
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。