基于接触状态感知的羊胴体后腿自适应分割控制方法.pdf
《基于接触状态感知的羊胴体后腿自适应分割控制方法.pdf》由会员分享,可在线阅读,更多相关《基于接触状态感知的羊胴体后腿自适应分割控制方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、2023年9 月第54卷第9 期农报学业机械doi:10.6041/j.issn.1000-1298.2023.09.031基于接触状态感知的羊体后腿自适应分割控制方法谢 1.2 矫伟鹏1.2刘楷东1,2吴竞12温昌凯3陈仲举1,2(1.中国农业大学工学院,北京10 0 0 8 3;2.中国农业大学现代农业装备优化设计北京市重点实验室,北京10 0 0 8 3;3.北京市农林科学院智能装备技术研究中心,北京10 0 0 97)摘要:针对羊体后腿骨肉边界未知、尺寸多变和可见性约束限制造成的机器人自主分割精确度低与易受阻卡住的问题,提出一种羊嗣体后腿自适应分割控制方法,并开展羊体后腿分割试验进行验
2、证。该方法以接触状态感知为核心,有效提取接触类型特征、接触异常度特征和接触方向特征,通过构建深度时空神经网络识别接触类型,构建深度自编码网络估计接触异常度,采用主成分分析方法检测主要接触方向,实现接触状态多模态感知,机器人通过动态运动基元模仿学习人类操作技能,并结合接触状态感知信息实现关节运动的自适应调节。试验结果表明:深度时空网络模型在羊体后腿分割验证集上的识别准确率为98.44%;深度自编码网络模型能够较好地估计验证集样本的接触异常度,区分不同的接触状态。机器人基于自适应分割控制方法开展实际分割试验,与对照组相比,最大分割力下降幅度为2 9N,最大力矩下降幅度为7 Nm,证明该方法的有效性
3、;平均最大残留肉厚度为3.6mm,平均分割残留率为4.9%,分割残留率与羊体质量呈现负相关,证明该方法具有良好的泛化性和准确性,并且整体分割效果较好,满足羊躺体后腿分割要求。关键词:羊后腿;分割机器人;接触状态感知;深度学习;模仿学习;自适应控制中图分类号:TP251.5*3;T P18 3文献标识码:A文章编号:10 0 0-12 9 8(2 0 2 3)0 9-0 30 6-10OSID:Adaptive Segmentation Control Method of Sheep Carcass Hind LegsBased on Contact State PerceptionXIE Bi
4、n.2JIAO WeipengLIU KaidongWU Jing1,21,21,2WEN Changkai3CHEN Zhongjul.2(1.College of Engineering,China Agricultural University,Beijing 100083,China2.Beijing Key Laboratory of Optimized Design for Modern Agricultural Equipment,China Agricultural University,Bejing 100083,China3.Research Center of Intel
5、ligent Equipment,Beijing Academy of Agriculture and Forestry Sciences,Beijing 100097,China)Abstract:Due to unknown flesh and bone boundaries in the hind legs of sheep carcasses,variable sizeand visibility constraints,the robot autonomous segmentation accuracy is low and easy to be blocked.Anadaptive
6、 segmentation control method was proposed for the hind legs of sheep carcasses,and thesegmentation test of sheep carcass hind legs was carried out to verify it.The method was centred oncontact state perception and effectively extracted contact type features,contact abnormality features andcontact di
7、rection features.LSTM-FCN deep spatio-temporal neural network was constructed to identifycontact types,constructing deep self-coding network to estimate contact anomalies,and using principalcomponent analysis to detect the main contact directions to achieve multimodal sensing of contact states.The r
8、obot imitated and learned human manipulation skills through dynamic motion primitives,andincorporated contact state sensing information to achieve adaptive adjustment of joint motion.Theexperimental results showed that the recognition accuracy of LSTM-FCN model on the validation set ofsheep carcass
9、hind leg segmentation was 98.44%,with a high recognition accuracy.The DAE model canbetter estimate the contact anomalies of the validation set samples and distinguish different contact states.Robot conducted practical segmentation tests based on adaptive segmentation control method.Comparedwith the
10、control group,the maximum segmentation force was decreased by 29 N and the maximum torquewas decreased by 7 Nm,proving the effectiveness of the method.The average maximum residual meat收稿日期:2 0 2 3-0 3-0 9修回日期:2 0 2 3-0 4-15基金项目:国家重点研发计划项目(2 0 18 YFD0700804)作者简介:谢斌(197 3一),男,教授,主要从事农业装备智能化和农业机器人研究,E-
11、mail:x i e b i n c a u 12 6.c o m307谢斌等:基于接触状态感知的羊躺体后腿自适应分割控制方法第9 期thickness was 3.6 mm,the average segmentation residual rate was 4.9%,and the segmentation residualrate showed a negative correlation with the quality of sheep carcasses.It proved that the method had goodgeneralization and accuracy.An
12、d the overall segmentation effect was good,meeting the requirements ofsheep carcass hind leg segmentation.Key words:sheep hind legs;segmentation robot;contact state perception;deep learning;imitativelearning;adaptive segmentation control0引言整羊体深度加工的基础工序是四肢分割,良好的分割效果可以为消费者带来更高的肉质品质,也可为供应商提供更好的市场竞争力 。但
13、是,传统的羊体分割大多仍然采用人工辅助机械的流水线作业方式,机械化程度较低,不可避免的出现分割效率低、分割损耗多、工作环境差、人力成本大、卫生安全隐患大等问题 2-4。目前国内家畜分割装备在肉品切块分割工序中已得到应用,但还没有实现智能化分割,并且不适用于去腿、肋排分割和剔骨等更为精细的肉类分割工序。为改善这种作业方式,自动化和机器人化越来越受到肉类行业公司关注。因此,自主研发羊体智能化分割机器人,实现羊体安全、高效、精准分割,已成为羊体加工业的重要研究内容 5-7 。羊躺体后腿分割是一种柔顺交互任务【8 ,该任务主要通过接触状态感知和控制来实现相应功能 9,其中力觉信息的获取与利用是解决该问
14、题的关键。MITSIONI等10 针对多接触操作任务,提出一种基于运动学图像的接触分类方法,将力觉时序数据转换为图像并输人到神经网络,在推和切的操作任务中识别准确率最高为8 7%,还具有一定的提升空间。STRAIZYS 等 U针对多介质软组织的精确切割问题,提出一种基于二元介质分类器的闭环控制律,在柚子分割任务中的成功率为7 2%。目前的研究主要集中在力觉信息的分类识别上,但受限于可见性约束、操作空间约束与接触操作多变,仅依靠分类信息不足以确保该任务的安全和有效。在开展羊体后腿自主分割机器人研究时,为实现智能与精准分割,需融合模仿学习、深度学习 12-13 以及机器人运动控制等技术。WU等 1
15、4 提出一种基于动态运动基元的框架,使机器人能够学习人类演示任务并将技能转换为人机交互。GUIRE等 15 利用力位混合控制实现牛躺体剖分。本文需要分割的羊体后腿区域组织结构复杂,羊体尺寸多变,因此,上述方法在此复杂场景的适用性尚未得到验证,需要结合实际分割特征开展系统的机器人分割控制研究。针对羊体后腿骨肉边界未知、尺寸多变和可见性约束限制造成的机器人自主分割精确度低与易受阻卡住的问题,本文提出一种基于接触状态感知的自适应分割控制方法。基于构建的LSTM-FCN深度时空神经网络提取接触类型特征,深度自编码(D e e p A u t o En c o d e r,D A E)网络提取接触异常度
16、特征,主成分分析法(Principal component analysis,PCA)提取接触方向特征,从而实现接触状态多模态的实时感知。机器人通过动态运动基元(D y n a m i c m o v e m e n t p r i m i t i v e s,D M P)模仿学习人类示教轨迹,生成目标关节运动,实现人机技能传递。基于接触状态感知建立自适应分割控制方法,在不同接触状态下实现机器人关节运动的自主调节。最后对所构建的LSTM-FCN和DAE网络进行训练,评估网络模型的性能,开展羊躺体后腿实际分割试验,验证自适应分割控制方法的有效性、泛化性和准确性。1材料与方法1.1试验平台与数据采
17、集1.1.1试验平台搭建羊体后腿自适应分割试验平台如图1所示,主要组成是羊后腿夹持固定系统、感知识别定位系统和机器人分割系统。82736图1分割试验平台Fig.1Segmentation test platform1.夹持机械臂2.固定机构3.垂直模组4.水平模组5.相机6.六维力传感器7.ArUco标记8.机械臂羊后腿夹持固定系统包括多自由度固定台架和双手协调夹持机器人,多自由度固定台架对羊嗣体后腿骨区域进行固定,并能够通过水平模组、垂直模组与回转电机实现羊体在3个自由度上的任意移动;双手协调夹持机器人用于夹持羊躺体后腿,实农3082023年报学机业械现两条羊后腿向外侧的拉扯动作,便于羊后腿
18、的顺利分割。感知识别定位系统用于准确采集示教分割过程中刀具位姿数据,主要包括两个IntelRealsenseD435i深度相机和ArUco标记。机器人分割系统是主要的控制执行单元,该系统主要包括分割机器人、六维力传感器和普通刀具。此外,羊体后腿分割任务的操作模式有两种:示教分割模式和机器人自主分割模式,如图2 所示。在示教分割模式下,将刀具从机器人末端拆卸下来,操作员手持刀柄操作刀具完成分割任务,相机通过识别定位ArUco标记采集分割刀具位姿数据,六维力传感器采集分割过程的反馈力。在机器人自主分割模式下,刀具重新安装在机器人末端,机器人通过学习人类示教轨迹规划新的目标分割轨迹,根据控制算法在线
19、调节分割轨迹与分割力大小,最终实现自适应分割。(a)示教分割(b)机器人自主分割图2羊体后腿分割操作模式Fig.2Operation modes of sheep carcass hind legssegmentation1.1.2数据采集本文的接触类型识别模型和接触异常度估计模型均需要采集力觉时间序列数据,采集地点为中国农业大学工学院,采集设备为六维力传感器,采集频率为30 Hz,采集品种为波尔山羊。接触类型大致可以分为3类,分别为在空气中、与硬介质接触、与软介质接触。分割刀与羊躺体髋骨的接触操作表示与硬介质接触,在羊体后腿肉上的分割操作表示与软介质接触。人类手持分割刀具分别针对羊体髋骨和后
20、腿肉采集六维分割力数据,在数据采集过程中,以不同的姿态、轨迹和施加力在两种对象上执行分割操作,保证数据的多样性,共计获得的数据量为96 10 1。接触异常度估计模型需要采集人类示教分割羊体后腿数据,在人类示教分割模式下,采集力觉时序数据,共采集了18 8 0 个示教分割数据样本。对采集到的力觉时序数据进行预处理,为消除六维力传感器的高频信号噪声,采用卡尔曼滤波算法 16 处理数据。为提高模型的精度、收敛速度并增强其稳定性,对数据作归一化处理。设置滑动窗口的时间步长为2 0,窗口重叠率为50%,采用半重叠滑动窗口重采样分割数据,将重采样后的力觉时序数据堆叠为三维数组。构建接触类型识别网络数据集,
21、对3种接触类型的分类标签采用One-Hot编码,最终得到的数据集尺寸为(96 10,2 0,6)。构建接触异常度估计网络数据集,不需要进行数据标注,最终得到的数据集尺寸为(18 8,2 0,6)。1.2分割接触状态感知羊体后腿分割接触状态是基于力觉信息感知得到的,接触状态包括3种特征:接触类型、接触异常度和接触方向,本文通过LSTM-FCN网络、DAE网络和PCA方法提取3种接触特征,实现接触状态多模态的实时感知。1.2.1接触类型识别模型受到可见性约束的严重限制以及软组织变形的不确定性,分割接触类型无明显的区分界限并且是高度可变的。由于该任务构型空间维度高、操作多变、接触丰富,很难对接触动力
22、学用解析的方法进行描述与建模17-18为解决以上问题并使网络模型适用于分割接触类型特征的识别任务,将长短期记忆网络(LST M)【19 和全卷积神经网络(FCN)【2 0 相结合,构建一种并行LSTMFCN深度时空神经网络,该网络结构如图3所示。该网络有效结合了FCN模型提取时序数据局部特征的优势和LSTM模型善于学习时序数据长期依赖性的特点。LSTM-FCN模型一个显著优势是不需要复杂的特征工程和大量的数据预处理,避免手动提取特征。该网络模型设计为并行结构,LSTM通道模块能够学习长期的时间动态信息,FCN通道模块可以提取空间维度上的深层特征,因此LSTMFCN模型能在两个不同的视野中感知相
23、同的时序数据输入,在相同的训练条件下提取双倍的特征参数,从而有效获取分割接触过程的时空特征。其中,全卷积模块由3个堆叠的时序卷积块组成,每个时序卷积块都由1个一维卷积层、1个批量归一化(动量为0.99,学习率为0.0 0 1)和1个ReLU激活函数组成,每个卷积层的滤波器大小分别为128、2 56、12 8,卷积核大小分别为8、5、3,最后在卷积块后面使用全局平均池化以减少参数数量。在长短期记忆通道模块中,时序数据首先输入到维度混洗层,经过维度混洗转换后,数据集的随机性增加,随后经过具有10 个隐藏层LSTM的处理,并采用Dropout避免模型出现过拟合,其参数设置为0.6。309谢斌等:基于
24、接触状态感知的羊体后腿自适应分割控制方法第9 期anodouaanduTxeunJos128256128DimensionShuffle:维度混洗层LSTM:长短期记忆模块Dropout:丢弃层Concat:拼接层Conv1D:一维卷积层GlobalPooling:全局池化层BN:批量归一化ReLU:激活函数图3LSTM-FCN结构Fig.3LSTM-FCNstructure最后通过Concat层将LSTM与FCN的输出合并拼接,将拼接后的特征输人到Softmax进行分类。1.2.2接触异常度估计模型为了精准地调节分割力大小,需要获取当前分割力与示教分割力之间的接触异常度,机器人再根据接触异常
25、度来决定调节量。由于输人数据与参数变化会影响简单的有监督学习模型的性能,所以为了更深人地挖掘数据本身的特征与规律,提出一种深度自编码网络,用于接触异常度的估计,这是一种无监督学习的神经网络,网络结构如图4 所示。长短期记忆模块+丢弃层一维卷积层+丢弃层636编码阶段解码阶段图4DAE结构Fig.4DAE structure本文提出的DAE网络是以编码解码网络为总体框架,将LSTM与一维卷积相结合,左侧为编码阶段,右侧为解码阶段。DAE网络可以挖掘数据内部更抽象的特征,通过在编码器中加人多个LSTM单元,增强模型的长期记忆能力,深度编码与解码器能有效提取数据更深层次的特征。该网络通过学习重构人类
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 接触 状态 感知 胴体 后腿 自适应 分割 控制 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。