基于单目相机的深海微地形地貌高精度三维重建.pdf
《基于单目相机的深海微地形地貌高精度三维重建.pdf》由会员分享,可在线阅读,更多相关《基于单目相机的深海微地形地貌高精度三维重建.pdf(8页珍藏版)》请在咨信网上搜索。
1、基于单目相机的深海微地形地貌高精度三维重建曹又文1,2,刘庆省1,2,魏自浩1,张喜林2,孙治雷2,卢泽宇1,3,郭金家1*(1.中国海洋大学物理与光电工程学院,山东青岛,266100;2.青岛海洋地质研究所自然资源部天然气水合物重点实验室,山东青岛,266237;3.青岛海洋科技中心,山东青岛,266237)摘要:在深海矿产资源勘查和极端环境探测中,利用光学相机搭载水下移动平台获取海底的光学影像资料成为当前深海精细探测的重要方式。文中针对深海微地形地貌的高精度探测需求,开展了基于单目相机的深海微地形地貌高精度三维重建方法研究。通过水下遥控航行器搭载的单目相机,获取了我国海域水合物赋存区的大量
2、图像,基于此,利用运动恢复结构方法建立了典型海域内沙波区、碳酸盐岩区和冷泉区的海底三维模型,精细刻画出区域内的地形地貌特征和生物生态信息。研究结果表明,文中方法可为深海表生矿产资源勘查和极端环境探测提供重要支撑。关键词:单目相机;三维重建;运动恢复结构;深海微地形地貌中图分类号:U674.76;TJ630.34文献标识码:A文章编号:2096-3920(2023)04-0640-08DOI:10.11993/j.issn.2096-3920.2023-0081High-PrecisionThree-dimensionalReconstructionofDeep-SeaMicrotopograp
3、hyBasedonMonocularCameraCAOYouwen1,2,LIUQingsheng1,2,WEIZihao1,ZHANGXilin2,SUNZhilei2,LUZeyu1,3,GUOJinjia1*(1.College of Physics and Optoelectronic Engineering,Ocean University of China,Qingdao 266100,China;2.The KeyLaboratoryofGasHydrate,MinistryofNaturalResources,QingdaoInstituteofMarineGeology,Qi
4、ngdao266237,China;3.QingdaoMarineScienceandTechnologyCenter,Qingdao266237,China)Abstract:Intheexplorationofdeep-seamineralresourcesanddetectionofextremeenvironments,theuseofopticalcamerasmountedonmobileunderwaterplatformstoobtainopticalimagedataoftheseafloornowbecomesanimportantmethodofdeep-seafined
5、etection.Tomeetthedemandforhigh-precisiondetectionofdeep-seamicrotopography,thehigh-precisionthree-dimensional(3D)reconstructionmethodofdeep-seamicrotopographybasedonamonocularcamerawasstudied.Themonocularcameramountedontheunderwaterremotelyoperatedvehicleacquiredmanyimagesofthehydrate-richareasinCh
6、inawaters.Onthisbasis,the3Dseafloormodelsofthesandwavearea,carbonaterockarea,andcoldspringareainthetypicalseaareawereconstructedusingthestructurefrommotion(SFM)method,andthetopographicandgeomorphologicalfeatures and bio-ecological information were finely delineated.The results show that this method
7、can provide importantsupportfortheexplorationofdeep-seaepigeneticmineralresourcesandthedetectionofextremeenvironments.Keywords:monocularcamera;3Dreconstruction;structurefrommotion(SFM);deep-seamicrotopography收稿日期:2023-07-03;修回日期:2023-07-31.基金项目:国家重点研发计划项目(2022YFC2807700);崂山实验室科技创新项目(LSKJ202203500).作
8、者简介:曹又文(1998-),男,在读硕士,主要研究方向为水下三维成像.*通信作者简介:郭金家(1979-),男,教授级高级工程师,主要研究方向为海洋激光探测技术.第31卷第4期水下无人系统学报Vol.31 No.42023年8月JOURNALOFUNMANNEDUNDERSEASYSTEMSAug.2023引用格式 曹又文,刘庆省,魏自浩,等.基于单目相机的深海微地形地貌高精度三维重建 J.水下无人系统学报,2023,31(4):640-647.640JournalofUnmannedUnderseaSystemssxwrxtxb.xml-0引言海洋蕴藏着丰富的资源,海洋资源的开发利用对人类
9、的生存与发展具有着重要意义。近年来,光学三维成像技术在海洋矿产资源勘查和极端环境探测中逐渐受到重视,主要包括距离选通法1、结构光法2、激光雷达法3、立体视觉法4和运动恢复结构(structurefrommotion,SFM)法5等。从水下应用状况来看,对于海底地形地貌精细测绘,使用单目光学相机搭载于水下移动平台以获取海底的光学影像资料仍是目前的主流方式。相较于双目或多个光学相机而言,单目相机在实际探测过程中成本较低、易于使用,且不需要特别校准。借助一些外部辅助设备和图像处理方法,单目相机可以间接实现成像目标的三维重建,基于单目相机的光学三维重建方法可分为主动式和被动式 2 种6。其中主动式三维
10、重建常使用激光作为照明光源,而被动式三维重建采用的是普通白光照明光源。被动式三维重建方法可进一步分为2 种,一是使用预先校准的设备,将 2 个或多个相机放置在目标物体周围固定位置,这种方法在水下尤其是在深海中实施比较困难;另一种是 SFM方法,该方法使用 1 部相机从不同方向拍摄同一场景的连续照片,不需要地理参考目标和额外的硬件支持,利用重叠图片上的二维特征集合来恢复三维相机运动和三维场景结构。因其可以通过低廉的成本获得高分辨率的地形数据,已被广泛应用于各种地理测绘中,如监测沙丘移动和海滩变化7、冰川动力学分析测绘8、河流地形9、滑坡测绘10及土壤侵蚀11等。在海洋环境中,SFM 方法常被用于
11、从自主水下航行器(autonomousunderseavehicle,AUV)或水下遥控航行器(remotelyoperatedvehicle,ROV)上获取的视频数据来进行高分辨率海底三维重建,如Robert 等12基于 ROV 获取的视频影像资料,使用 SFM 方法对海底峡谷的悬崖进行精细刻画,重建了非常细腻的地形图,并利用这些数据进一步调查了深海珊瑚和冷水珊瑚的分布;Teague 等13采用 ROV 单目相机的视频资料,对希腊米洛斯岛古乔里湾周围的浅层热液喷口进行了三维重建,开展了不同范围的底栖生物栖息地的调查;Wright等14构建的 SeaArray 摄影测量系统对水下考古遗址进行了
12、测绘评估,通过与实时运动学标记方法、手工地图绘制方法的比较,验证了 SFM 方法在水下场景测绘中的高效性与准确性,典型的测绘结果表明 SFM 模型的水下测绘精度可达 5cm左右;Burns 等15则将 SFM 方法与地理空间软件相结合,用于夏威夷群岛珊瑚礁的三维建模,并通过其与珊瑚活体的对比,分析了珊瑚生态系统的健康状态。上述研究中 SFM 算法的实现大都基于商业化图像处理软件 AgisoftPhotoScan,封闭的软件环境限制了 SFM 算法改进优化的可能性。随着国内水下运载平台的快速发展,基于单目相机的海底调查研究已有很多报道,但目前多采用视频图像拼接,即通过多幅图像获得更大范围的二维图
13、像,如在我国南海北部冷泉区“探索4500”AUV 通过搭载光学相机拍摄了一系列海底图像,经过处理后获得了全景高分辨率地图16。然而,基于单目相机的三维重建报道较少,文中针对单目相机获取的海底光学图像,开展了图像增强和三维重建方法研究,完成了深海微地形地貌和生物生态、矿物岩石等信息的三维重建,支撑了我国水合物矿区的精细调查工作。1基于单目相机的三维重建方法1.1单目成像系统文中选用 4K 工业相机进行成像,采用互补金属氧化物半导体(complementarymetal-oxidesemi-conductor,CMOS)作为传感器,分辨率为 38402160,最大帧率为 25fps,可以较为稳定清
14、晰地获取目标的实时图像信息。相机封装在圆柱形铝合金防水舱内,前端装有 15mm 厚度的石英透明窗片以便透过光线。防水舱厚度 10mm,与石英窗片以锁紧盖和密封圈连接,后端通过水密线缆进行密封与数据传输,在下水前接受相当于最大工作深度 2000m 水压的打压测试,以保证系统的水密性与耐压性。系统搭载于“FCV3000”ROV,基于“海洋地质九号”深海考察船进行了深海原位测试,获得了大量携带海底地形地貌信息的视频图像资料,覆盖了陆坡区海底存在的一系列典型地形地貌。在海底工作时,将系统固定于 ROV 前端,并通过水2023年8月曹又文,等:基于单目相机的深海微地形地貌高精度三维重建第4期水下无人系统
15、学报sxwrxtxb.xml-641密线缆连接 ROV 实现供电与通信,当 ROV 到达海底后,控制其在距离海底大约 5m 的高度进行水平移动,扫过下方目标物,连续获取图像并存储。系统海上现场工作照片如图 1 所示。图1搭载在 ROV 上的单目相机Fig.1MonocularcameramountedonROV1.2水下图像预处理方法受海水、水中有机物和悬浮颗粒物等吸收和散射的影响,通常基于光学相机获取的海底图像具有亮度小、能见度差、对比度低及模糊等特征。为了得到高质量的海底图像,需要将图像进行预处理增强。文中针对海底光学成像的特点,使用了白平衡、伽马校正和瑞利分布函数拉伸图像相结合的图像增强
16、算法,首先对图像进行白平衡,之后进行伽马校正,调整各个颜色通道图像强度因子,最后再由三通道组成,流程如图 2 所示。白平衡伽马校正颜色通道分解限制红蓝通道对比度修正颜色通道组成输出增强图像输入原始图像图2图像增强流程图Fig.2Flowchartofimageenhancement基于传统的图像增强方法对光学图像进行了分析,包括直方图均衡化(histogramequalization,HE)、限制对比度自适应直方图均衡化(contrastli-mitedadaptivehistogramequalization,CLAHE)、单尺度Retinex(single-scaleretinex,SSR
17、)和多尺度Reti-nex(multi-scaleretinex,MSR)算法,如图 3 所示。分析表明,传统的图像增强方法只对照明相对较好的场景有效,并不适用于质量较差的图像,不能有效地提升对比度。文中方法在对比度和颜色方面都能起到显著增强的效果,能够最大程度保留原始图像特征的基础上,增强图像中的细节,并有效解决图像颜色衰退的问题。文中方法MSRSSRCLAHEHE原始图像图3不同增强方法预处理后的图像Fig.3Imagesafterpreprocessingwithdifferentenhance-mentmethods1.3SFM 方法基于 SFM 的海底成像系统工作模式如图 4 所示,
18、SFM 原理是收集相机在不同位置下获得的图像序列,通过求解图像序列间的几何约束关系,再利用算法重建出被测区域的三维信息。SFM 方法与其他被动重建方法相比,并不依赖于成像设备的位置和方向信息,可以自动确定相机内部几何、位置和方向,而不需要预先定义。图4基于 SFM 的海底成像示意图Fig.4SFM-basedseafloorimagingSFM 分全局式和增量式 2 类。全局式 SFM是先求得每幅图像的相对位姿,再通过三角测量获得场景点,最后进行一次捆集调整,效率较高但鲁棒性较差。增量式 SFM 是在三角测量、求解相机位置和姿态后进行局部捆集调整,随着图像数量的增加,调整后累积误差也会逐渐增加
19、,导致重建后的相机姿态与实际不符,并且每次都需进行捆集调整,较为耗时。由于海底图像资料较大,拆分出的图像数量多达上百张,对运算效率、精度和误差累积都有较高的要求,因此文中采用全局式SFM 进行三维重建,流程如图 5 所示。首先对输入图像序列逐一检测特征点,并进行特征符赋予,对相邻图像间进行匹配,保留满足几2023年8月水下无人系统学报第31卷642JournalofUnmannedUnderseaSystemssxwrxtxb.xml-何约束的最佳匹配,恢复相机内参和外参,使用三角测量法得到三维坐标,通过捆集调整进行优化,最后利用重建算法获得三维重建模型。1.4三维重建方法1.4.1稀疏三维重
20、建SFM 三维重建主要步骤如下:1)提取单个特征图像;2)求解每个图像对应的特征匹配和几何关系;3)初始化重建。根据对极几何模型中的基础矩阵与本征矩阵,依次对相邻两张图像进行重建,求解得到图像的位姿,2 个图像之间的公共点作为构建点云的输入。如果图像中有一组三维点和相应的二维投影,则校准相机姿态,以便记录新的点并加入到模型当中,在这个过程中通过三角化来确定匹配点的三维位置。然而,由于连续不断添加新的点集,累积产生的误差会越来越大,所以采用捆集调整算法,优化每个视图的三维结构和相机运动,使重投影误差最小化。最后通过重复捆集调整算法进行迭代,将计算出的三维坐标值与阈值比较,当大于阈值时判断为误差点
21、并删除。文中所用的数据是我国海域海底精细调查中,利用单目成像系统拍摄到的海底视频流,三维重建图像数据集由视频流中拆分的若干图像序列组成,如图 6 所示。利用图中实测数据进行三维重建得到的结果如图 7 所示。可以看出获得的海底稀疏点云只反映了大致轮廓,目标物体表面不清晰,不能够具象地体现出海底地形特征,点云表面存在大量的空洞。1.4.2密集点云重建由于 SFM 在检查 2 幅图像的对应关系点时只取了纹理点,忽略了局部极大值周围的点,导致存在较多空洞,因此,需要对稀疏点云数据进行稠密扩充。文中采用基于面片的多视图密集重建(patch-basedmulti-viewstereo,PMVS)算法17,
22、对不规则物体以及目标对象的细节特征进行空间深度的估计和融合,以达到密集点云重建的目的。PMVS 算法通过构建具有方向的矩形面片集拟合出三维物体表面的局部切面,不需要对边界外包进行初始化,具备自动检测和剔除异常点的能力。海底稠密点云重建结果如图 8 所示。图8海底稠密点云Fig.8Densepointcloudofseafloor1.4.3泊松表面重建泊松表面重建(Poissonsurfacereconstruction,PSR)是将点云的重建问题转化为求解空间内的泊松方程18。通常计算几何学中常用的 Delaunay 三角网和其对偶的沃罗诺伊图,对处理的点云质量特征提取特征匹配2D 关系求解基
23、本矩阵分解基本矩阵相机姿态RGB 图像序列三维重建非线性优化捆集调整三角测量3D 场景结构图5全局式 SFM 三维重建流程Fig.53DreconstructionbyglobalSFM图6视频流中拆分出的部分图像数据集Fig.6Partialimagedatasetsplitfromvideostream图7海底稀疏点云Fig.7Sparsepointcloudofseafloor2023年8月曹又文,等:基于单目相机的深海微地形地貌高精度三维重建第4期水下无人系统学报sxwrxtxb.xml-643有一定要求,遇到含噪声的点云往往需要先去噪后再进行重构。与之相比,PSR 将离散的点云信息转
24、化到一个连续表面函数上,构造出水密隐式表面,使得对夹杂的噪声不那么敏感。由于 PSR容易在非封闭的数据中产生不规则的伪曲面,影响曲面效果,因此,文中通过引入屏蔽因子来约束重建过程,以减少法向量的估计。根据 SFM 算法生成的点云数据及图像 RGB(red,green,blue)数据,通过开放图形库(opengraphicslibrary,OpenGL)完成纹理映射,结合相机参数和光学图像,将图像转换为纹理素材,估算点云模型的法向量并进行贴图,PSR 及其纹理映射如图 9 所示。图9泊松表面重建及纹理映射图Fig.9Poissonsurfacereconstructionandtexturema
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 相机 深海 地形 地貌 高精度 三维重建
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。