水果分拣机械手控制系统研究——基于BP神经网络和图像识别.pdf

水 果 分 拣 机 械 手 控 制 系 统 研 究基于 BP 神经网络和图像识别许娜,周炜明(河南工业职业技术学院,河南 南阳473000)摘 要:首先,构建了水果分拣机械手系统整理框架,并对工业相机的选型和相机标定进行分析研究;然后,基于 BP 神经网络实现了对目标水果的识别;最后,利用图像处理的模板匹配对目标进行实时定位,实现了水果分拣。试验结果表明:系统可以实现对多种水果的分类,准确性非常高,具有可行性。关键词:水果分拣;机械手;BP 神经网络;图像处理中图分类号:S226.5;TP391.41 文献标识码:A 文章编号:1003-188X(2023)12-0035-050 引言近年来,我国水果种植、水果加工产业等都有了快速发展,再加上电子商务以及网络营销水平的提高,水果产业即将进入全新的发展阶段,必将呈现出更好的发展前景。水果的产后处理流程包括上线、清洗、打蜡、烘干等步骤,比较单一;而水果的分拣相对比较复杂,系统需要实现对水果的识别和等级判断。为此,设计了一套基于 BP 神经网络和图像识别的水果分拣机械手控制系统。1 水果分拣机械手系统构建1.1 水果分拣机械手控制框架水果分拣机械手控制系统由工业相机、光源、传送带、图像采集卡、控制器及电脑和机械手等零部件组成,如图 1 所示。分拣过程中,不同的水果被随机放置在传送带上,被工业相机获取图像序列,经过电脑进行目标识别和坐标计算,将这些信息送给控制器,通过控制机械手完成水果的分拣工作。1.2 工业相机工业相机是水果分拣机械手控制系统的核心,系统对其部件要求甚高,需要同时具有高曝光率和高分辨率。综合设计需求和成本考虑,选用国内千里眼公司 5KF20 型号的高清工业相机。该相机采集速度高达 3000 帧,分辨率为 19201080。水果分拣机械手控收稿日期:2022-02-25基金项目:河南省科技厅科技攻关项目(212102210527)作者简介:许 娜(1987-),女,河南南阳人,讲师,硕士。通讯作者:周炜明(1987-),男,河南南阳人,讲师,硕士,(E-mail)xu-na163xn 。制系统采用 5V 外部触发控制器件对工业相机进行曝光控制,从而得到实时图像。图 1 水果分拣机械手控制系统Fig.1 The control system of fruit sorting manipulator1.3 相机标定为了实现相机坐标和实际坐标之间的转换,对工业相机进行了精准的标定。在电脑上生成 5?7 的棋盘方格,每个方格的尺寸为 3cm?3cm,如图 2(a)所示。利用打印机进行 1:1 打印,再从不同的角度对棋盘方格进行拍照,采集 30 张不同角度的照片,如图 2(b)、(c)所示。图 2 工业相机标定流程Fig.2 The calibration process of industrial camera采用图像处理算法对相机进行标定处理,通过张正友相机标定算法进行计算,可以得到相机内部参数R1和畸变参数 R2的表达式为532023 年 12 月 农 机 化 研 究第 12 期R1=326.30325.50359.2236.0001(1)R2=-0.518 0.534 0.066-0.138(2)2 基于 BP 神经网络的目标识别2.1 BP 神经网络算法人工神经网络是一种模拟大脑神经联系处理信息的一种数学模型,包含大量的神经元节点和细胞,用来对事物进行处理,在此采用 BP 神经网络进行水果的目标识别。BP 神经网络是一种成熟的人工智能算法,属于多层前向型网络,采用误差逆传播算法训练。该算法包括输入、隐含和输出 3 层网络,可以通过迭代学习获取和保存大量输入、输出的映射关系。BP 神经网络架构如图 3 所示。图 3 BP 神经网络算法Fig.3 BP neural network algorithm由图 3 可以看出:BP 神经网络输入层有 i 个神经元,采用的表达式为 X=(x1,x2,xi)T;隐含层包括 m个神经元,采用的表达为 O=(o1,o2,om)T;输出层包括 k 个神经元,其表示式为 Y=(y1,y2yk)T。BP 神经网络隐含层和输入层之间的关系为oi=fni=0vijxi()(3)其中,f 为 BP 神经网络隐含层的激活函数;v 为权重。同理,BP 神经网络输出层和隐含层之间的关系为yi=fni=0wijoi()(4)其中,f 为 BP 神经网络输出层的激活函数;w 为权重。网络模型训练预测和期望之间误差为E=12mk=1e2k=12mk=1dk-ok()(5)该算法模型在求优过程中采用梯度计算法,也就是在权值修正时迅速下降求优,计算表达式为wjk=0kyj=dk-ok()okm-ok()yj(6)vjk=ykxi=mk=10kwjk()yjm-yi()xi(7)其中,和 分别为 BP 神经网络学习速率和误差信号因子。2.2 基于 BP 神经网络的目标识别过程为了精确地对目标进行识别,需要采用大量的数据样本对 BP 神经网络进行反复训练,包括训练输入和期望输出。训练输入是指采集到的图像的某些特征量,期望输出则是图像对应的代号,即识别结果。在使用样本对 BP 神经网络进行训练过程中,由于环境等因素,图像中包含很多干扰信息,会增加网络算法训练的复杂度,故采用不变矩的策略对干扰因素进行过滤。基于 BP 神经网络的目标识别过程如下:1)采集目标图像信息,利用工业相机从不同角度获取待识别目标的图像。2)图像预处理,采用灰度化对图像进行处理。3)计算不变矩,利用高度浓缩的图像特征作为目标识别的依据。4)输出训练和识别两种样本。将从各个角度获取的目标图像进行预处理后,对每张图像进行不变矩求值,把组成的向量和图像对应的代号结合起来,形成了一个训练样本。若去除掉训练样本,剩余的则都是待识别的样本。5)建立 BP 神经网络。单隐含层的 BP 神经网络实现对目标水果的识别,网络结构如图 4 所示。其包括 55 个神经元的隐含层,该层传递函数为 S 函数。本文待识别的水果有苹果、梨子、桃子和李子等 4 种,因此将输出层设置为 4 个神经元,且传递函数采用线性函数。图 4 BP 神经网络结构示意图Fig.4 The structure diagram of BP neural network632023 年 12 月 农 机 化 研 究第 12 期6)训练 BP 神经网络。为了使 BP 神经网络算法同时满足局部收敛性和具有梯度下降法,采用性能非常稳定的 LM(Levenberg-Marquardt)算法。7)识别目标。经过大量不变矩样本训练后的 BP神经网络权重趋于稳定,当给出需要识别的图像时,该模型可以快速通过映射给出精准的识别结果。基于 BP 神经网络的目标识别流程如图 5 所示。图 5 基于 BP 神经网络的目标识别流程图Fig.5 The flow chart of target recognition based on BP neural network3 水果分拣系统的目标定位3.1 图像处理的模板匹配模板匹配是指在 1 幅待识别图像中寻找和给定目标模板对应关系的一种技术。该技术将建立的模板图像称为模板图像,将需要进行识别的图像称为匹配图像。根据模板匹配的概念可以得知:若需要在被识别的图像中寻找到和模板图像相似的子图像,需要对模板图像和匹配图像的相似度进行计算。当相似度高时,表示匹配上了;反之,则表示没有匹配上。正常情况下,模板图像和匹配图像在方向上和尺寸上都会存在差异,故在匹配过程中需要考虑目标物体的尺寸和方向。创建模板匹配主要包括以下几个步骤:获取作为模板的图像;在图像中选择需要创建模板的区域,构建一个模板;从实时的图像中查找模板;得到匹配的结果。图像处理的模板匹配流程如图 6所示。图 6 图像处理的模板匹配流程图Fig.6 The flow chart of template matching in image processing基于灰度值进行模板匹配,并对目标图形进行匹配,也就在模板滑动过程中先对模板灰度值和待测目标灰度值计算差值,再对差的绝对值求平方。本文采用 SSD 相似性对模板图像和匹配图像进行计算。SSD是模板和图像之差的平方和,其计算表达式为ssd r,c()=1nu,v()Tt u,v()-f r+u,c+v()2(8)其中,c+v 为模板图像 T 第 r 行、第 c 列的灰度值;f(r+u,c+v)为目标图形第 r+u 行、第 c+v 列的灰度值。模板匹配的原则是:当模板图像和目标图像的差别越大时,相似度的函数值也就越大,为了提高匹配准确性,需要寻找相似度最小值。3.2 目标定位在水果分拣机械手控制系统中,需要获取目标水果中心点的三维坐标以及表面在绕 x、y 和 z 的旋转角度。为此,采用圆搜索区域检测目标水果的圆心边缘点,通过拟合这个圆心获取目标物体的坐标位置。假设经过相机标定后两个相机内部参数相同,两相机在 x 轴的距离为 B,任意一个目标物体 P(xc,yc,zc)在左右两相机成像为 PA(xa,ya,za)和 PB(xb,yb,zb),PA 和 PB 两点在图像坐标系分别对应为 pL(uL,vL)和 pR(uR,vR),vL=vR。双目相机三维坐标示意如图 7 所示。图 7 中,根据三角相似定理,可得zcB=zc-FB-dx uL-u0()-dx u0-uR()(9)732023 年 12 月 农 机 化 研 究第 12 期zc=FBdx uL-uR()=BaxuL-uR(10)由相机投影原理可得uLzc=axxc+u0zc(11)vLzc=ayyc+v0zc(12)最后,可以计算出 P 的三维坐标为xc=B uL-uo()uL-uRyc=BaxvL-vo()ayuL-uR()zc=BaxuL-uR(13)由此得到 P 在空间坐标系中的坐标,则水果分拣机械手便可对目标物体进行抓取装箱。图 7 双目相机三维坐标示意图Fig.7 The schematic diagram of 3D coordinate of binocular camera4 试验为了检验水果分拣机械手系统的可行性,将苹果、梨子、桃子和李子等 4 种水果混在一起,每种水果取 3 个,进行编号。首先,进行人工测量和特征采集;然后,确定水果的类别;最后,利用水果分拣机械手进行实际的识别和分拣。分拣结果如表 1 所示。表 1 水果分拣机械手分拣结果Table 1 The sorting results of fruit sorting robot序号水果分拣机械手系统分类识别果径/mm抓取成功?人工识别与测量分类识别果径/mm符合性1苹果88是苹果89符合2苹果86是苹果85符合3苹果84是苹果84符合4梨子66是梨子65符合5梨子62是梨子63符合6梨子65是梨子64符合续表 1序号水果分拣机械手系统分类识别果径/mm抓取成功?人工识别与测量分类识别果径/mm符合性7桃子51是桃子51符合8桃子53是桃子53符合9桃子55是桃子56符合10李子36是李子35符合11李子31是李子31符合12李子34是李子33符合 由表 1 可以看出:基于 BP 神经网络和图像识别的水果分拣机械手系统得到的结果和人工识别高度一致,只是在果径测量上稍有误差。这表明,系统具有可行性。5 结论设计的基于 BP 神经网络和图像识别的水果分拣机械手系统,可以同时实现对多种水果的区分分拣,填补了水果分拣领域的空白。系统基于 BP 神经网络和图像处理对目标水果进行种类识别,再利用图像处理的模板匹配对目标进行实时定位,最后控制水果分拣机械手进行分拣和装箱。试验结果表明:系统可以实现对多种水果的分类,准确性非常高,具有可行性。参考文献:1 叶星晨,任玲,王宁.基于 BP 神经网络 PID 的移栽机双闭环调速系统J.农机化研究,2022,44(4):12-18,79.2 刘俊,郭磊磊,郭琳.基于 PLC 的球形水果大小自动分拣系统设计J.工业控制计算机,2021,34(5):126-127,132.3 陈阳,姚丽萍,谢守勇.基于 BP 神经网络的静液压变速器控制研究J.重庆大学学报,2021,44(5):104-114.4 朱智强,朱熀秋.基于 BP 神经网络左逆的无轴承永磁薄片电机无速度传感器控制研究J.微电机,2021,54(4):56-61,79.5 岳朗,孟令启,李进.基于模糊神经网络 PID 控制的打捆机控制系统设计J.滁州学院学报,2021,23(2):42-48.6 贾贇贺,张昕,周媛媛.基于神经网络模糊 PID 控制的无刷直流电机控制系统研究J.时代汽车,2021(7):112-114.7 桑晶,卢彬,杨淑琴.柑橘类水果采摘机器的设计与应用探讨J.南方农机,2021,52(6):74-75.8 郑明明,王军,董兴法.基于 BP 神经网络的紫外光源自适应固化控制研究J.激光杂志,2021,42(3):58-62.832023 年 12 月 农 机 化 研 究第 12 期9 张玲玲.基于 BP 神经网络 PID 控制的风电叶片静力加载系统J.煤炭加工与综合利用,2021(2):88-91.10 徐振飞.基于机器视觉的手机玻璃丝印在线检测方法研究J.自动化与仪表,2021,36(2):99-101,104.11 梁斌,牛延博.基于 BP 神经网络的采煤机自动调高 PID控制系统研究J.煤矿机械,2021,42(2):165-167.12 闫向彤,杨琦.基于 BP 神经网络和模糊控制的智能通风系统设计J.煤矿机械,2021,42(2):174-176.13 胡国喜,王超,刘宇珩.基于改进光滑滑模阻抗控制的水果分拣机械人夹持机构控制方法J.食品与机械,2021,37(2):130-134.14 杜俊波,李文正.基于阈值分类器的水果识别系统设计J.物联网技术,2020,10(12):69-71.15 赵小霞,李志强.基于 PLC 和机器视觉的水果自动分级系统研究J.农机化研究,2021,43(8):75-79.16 李麒,赵寒涛,聂洪淼.分拣机械手在果蔬储运集散行业的应用研究J.自动化技术与应用,2020,39(1):151-155.17 蔡鑫垚,何开纪,张晨阳.果蔬智能分拣系统中的目标提取算法的实现J.西南民族大学学报(自然科学版),2019,45(2):178-184.18 李颀,王俊,高一星.基于图像处理的果蔬分拣系统设计J.农业与技术,2019,39(3):1-4.19 李梅,李雅琼.基于 PLC 控制的水果分拣自动线系统设计J.韶关学院学报,2018,39(6):61-65.20 闫岩,孙彩堂,周逢道.BP 神经网络曲线识别技术及在探雷上的应用J.中国测试,2016,42(3):90-93,134.21 苟爽,张宁,张云伟.基于计算机视觉的草莓等级判别研究J.安徽农业科学,2015,43(21):370-373.Research on the Control System of Fruit Sorting Manipulator Based on BP Neural Network and Image Recognition Xu Na,Zhou Weiming (Henan Polytechnic Institute,Nanyang 473000,China)Abstract:It firstly constructs the frame of sorting robot system,analyzes the selection and calibration of industrial camer-as,then realizes the recognition of target fruit based on BP neural network.Finally,it realized the real-time positioning of the target by using the template matching of image processing to realize the fruit sorting manipulator system.The results show that the system can classify many kinds of fruits,and the accuracy is very high,which proves the feasibility and ac-curacy of the system.Key words:fruit sorting;manipulator;BP neural network;image processing932023 年 12 月 农 机 化 研 究第 12 期