基于立体视觉的公交车客流量统计方法研究_刘彬.pdf

第 51 卷收稿日期：2022年8月11日，修回日期：2022年9月19日作者简介：刘彬，男，硕士，研究方向：机器视觉、深度学习。魏海峰，男，博士，副教授，研究方向：电机控制、船舶电力系统。张懿，女，博士，副教授，研究方向：船舶电力系统。李垣江，男，博士，副教授，研究方向：故障诊断、视觉传感。1引言公交车客流量统计有着重要的社会价值和现实意义，不仅为公交线路规划提供精确的客流数据支持，而且对交通配置和公共安全也都有着重要的作用。当前基于视觉的统计方式一般分为单目和双目（立体），其中立体视觉统计方式通过采集场景的深度信息，可有效克服单目视觉对光线、阴影变化较敏感的问题。本文在嵌入式硬件平台上用立体视觉来进行客流量统计。首先对双目摄像头进行同步标定1，然后用优化的MC-CNN2网络进行立体匹配3得到视差图，在此基础上恢复公交车内真实的深度图像4，通过获取乘客人头轮廓进行跟踪和计数，从而解决乘客遮挡、拥挤以及光线变化带来的客流统计精度较低的问题。系统实现框架如图1所示。图1公交车客流量统计系统框图总第 401 期2023 年第 3 期计算机与数字工程Computer&Digital EngineeringVol.51 No.3基于立体视觉的公交车客流量统计方法研究刘彬魏海峰张懿李垣江（江苏科技大学电子信息学院镇江212003）摘要针对公交客流统计中因光照、拥挤等引发的统计精度较差问题，提出一种适用于硬件平台的立体视觉客流统计方法及系统。通过优化后的MC-CNN网络获取由双目视觉匹配得到的视差图，处理转化为深度图像去实现乘客头部轮廓的分割、识别、跟踪与计数，有效解决了因遮挡、光线变化等带来的虚假目标和统计精度变差的问题。关键词双目视觉；特征提取；立体匹配；公交车客流量中图分类号TP39DOI：10.3969/j.issn.1672-9722.2023.03.028Research on Bus Passenger Flow Statistics Method Based onStereoscopic VisionLIU BinWEI HaifengZHANG YiLI Yuanjiang（School of Electrical and Information，Jiangsu University of Science and Technology，Zhenjiang212003）AbstractIn order to solve the problem of poor statistical accuracy caused by illumination and congestion in bus passengerflow statistics，a method and system of stereo vision passenger flow statistics suitable for hardware platform are proposed.Throughthe optimized MC-CNN network，the parallax map obtained by binocular vision matching is obtained，and the processed image isconverted into a depth image to realize the segmentation，recognition，tracking and counting of passenger head contour，thus effectively solving the problem of false targets and poor statistical accuracy caused by occlusion and light change.Key Wordsbinocular vision，feature extraction，stereo matching，bus passenger flowClass NumberTP396902023 年第 3 期计算机与数字工程2双目的相机标定与同步双目摄像头的标定与同步是获得正确客流计数的首要步骤。对两个同一型号的双目摄像头进行标定，再将标定好的两个双目摄像头装设于公交车前门的正上方，并采用DSP对双目摄像头进行同步控制5。图2双目标定示意图如图2所示，空间任一点的世界坐标系（X，Y，Z）和像素坐标系（u，v）对应关系为17Zc|uv1=|fusu00fvv0001RT01|XYZ1=M1M2|XYZ1（1）M1与M2是双目摄像头的内外参数矩阵，由双目摄像头完整的内部参数构成内参矩阵M1；由双目摄像头的旋转矩阵与平移向量构成外参矩阵M2，由此判断双目摄像头在立体空间中的坐标位置以及方向。为使标定结果更加精确，本文采集30副棋盘格图像对双目摄像头进行标定，得到左摄 像 机 内 参 数Cx：665.15838，Cy：359.54200，fx：1148.45760，fy：1148.78469，右摄像机内参数 Cx：590.80168，Cy：403.00080，fx：1157.66228，fy：1156.92762，左 相 机 的 畸 变 系 数 D1 0.02286-0.07553-0.00186 0.00218 0.00000，右相机的畸变 系 数 Dr 0.04343-0.11692 0.00215-0.001670.00000，根据约束条件，可求出旋转矩阵 R和平移向量 T-60.23329-0.62472 1.65832。通过DSP判断同一帧中的左右两幅图像的场同步信号下降沿间有无时间差异来判断左右双目摄像头是否同步。通过DSP判断出哪副图像超前，并记录超前的时钟个数，并抑制超前摄像机相应的时钟数量，实现摄像机的同步。3基于优化MC-CNN的立体匹配算法为了在DSP+FPGA硬件平台上高效快速的完成双目视觉的立体匹配以及视差计算，本文在MC-CNN基础上，通过优化网络结构获得双目视差。3.1MC-CNNMC-CNN 网络架构分为精准架构 MC-CNN-acrt和快速架构 MC-CNN-fst两种，其中前者的耗时大约是后者的百倍14。输入左图像块输入右图像块卷积层卷积层激活函数层激活函数层卷积层卷积层4归一化向量点乘相似性度量图3MC-CNN-fst快速网络架构图如图3所示，通过两个分支网络提取左右图像的特征向量并做点积运算，最后进行相似性打分 8。MC-CNN-fst先将左右视图的图像块分别输入两个分支的特征提取部分，分别得到一个输出特征向量Gw（x1）、Gw（x2），然后建立两个特征向量距离度量，作为输入图像块的相似度计算函数。网络的两个分支所用的权值9、网络结构都是一样的，网络的前半部分提取图片的特征向量，网络的最后一层用来定义计算特征向量之间相似度的损失函数。3.2网络结构优化如图4所示，本文基于MC-CNN-fst提出优化的双目立体匹配的结构。其改进之处在于：图4双目立体匹配网络架构691第 51 卷1）在卷积层后面加入最大池化层，能够在尽可能保留图片空间信息的前提下，降低图片的尺寸，增大卷积核感受野，另外还能减少网络参数和计算量，加快计算过程。2）把 ReLU 激活函数替换为 ELU（exponentialliner units）激活函数10，不仅解决了 ReLU 激活函数没有负值部分导致神经网络的下一层产生偏差的问题，另外还能保证失活状态时的噪声鲁棒性。3）将特征提取网络中的卷积层由4层增加到6层，计算精度更高，对图像特征的提取能力变强。在选择图像像素点局部支持窗作为匹配基元的时候，不仅要能和其他像素点的基元区分，而且要能很好的表示当前的像素点，故本文选择1515的窗口来进行基元选配，各层参数如表1所示。表1各层网络参数网络层L1L2L3L4L5L6L7L8L9L10网络层类型输入层卷积层卷积层池化层卷积层卷积层池化层卷积层卷积层池化层核大小555533333333333333移动步长112112112输出维度1515215153221515322773227748277482334823364233642116423.3算法实现过程1）通过将输入的图像作为输入数据，通过MC-CNN网络模型获取输出的特征向量。2）对两个输入特征向量进行正则规范化处理和内积运算，构建稀疏损失体，计算匹配损失。3）重采样损失体到原始图片尺寸，使用 Softmax函数将匹配损失值转化为双目视差的概率分布，最后使用视差回归函数来输出亚像素的预测视差。4乘客头部识别经过立体匹配得到的视差图，经过进一步处理可得到深度图。如图5，图中b为双目摄像头的基线距离，f为双目摄像头的焦距，P1（u1，v1）和Pr（ur，vr）分别为双目相机左右成像平面的坐标点，得到深度Z与视差d的关系Z=bf/d，其中d=（u1-u2）。在本次试验中使用Meanshift算法11对深度图像进行预处理即只需要特征空间的样本点，不需要额外的先验知识，就可快速的实现视差图像。在Meanshift 向量中对于 d 维空间中的 n 个样本点（X1-Xn）有以下定义：Mh(x)=1Kxi=sh(xi-x)（2）Sh(x)=y:(y-x)T(y-x)h2（3）P（uL，vL）P（uR，vR）fbYZXfP（x，y，z）x，y，z图5相机成像模型上式中，xi为概率密度函数f（x）中采样得到样本点，sh代表由全部满足上式所示的y点组合成的高维球区域，其半径为h，（Xi-X）为样本点xi的偏移量，k代表在区域sh中有k个样本点落入，Mh（x）是sh区域中的平均偏移量12。通过上式推算目标区域的概率密度分布函数。同时在接下来的目标区域中，做圆心为点 x、半径为 h的圆。然后把圆心 x作为起始点，落在这个圆内的所有点和圆心都会对应一个向量，把所有的产生的向量相加最后得到一个向量，即为Meanshift向量。再以Meanshift向量的终点作为圆心，继续上述过程直到收敛到局部概率密度分布极大点。由于乘客头顶是整个拍摄范围的局部最高点，使用区域生长法来对乘客的头部进行识别及分割，将乘客头部的局部最高点作为生长种子，乘客头间距的灰度梯度13作为阈值，从而判断生长种子是否进行生长或者终止，进而识别乘客。5实验结果及分析5.1立体匹配实验本文在 KITTI2015 图像数据集上评估本文提出的立体匹配网络。KITTI2015数据集包含有400组不同的遮挡、光照等不同场景的图像数据，并且可以对改进的立体匹配算法进行测验。为了探究不同数量的特征提取模块以及池化层的有无对于双目图像立体匹配精度的影响，使用层数不等的卷积层和池化层构建的卷积神经网络进行立体匹配误差实验。实验结果结果如表2所示，有六层卷积层的卷积神经网络立体匹配效果最好，匹配误差最小，另外在卷积层数相同时，有池化层的情况下立体匹配效果更好。刘彬等：基于立体视觉的公交车客流量统计方法研究6922023 年第 3 期计算机与数字工程表2不同层数卷积层的匹配误（N=2、3、4）卷积层数446688池化层平均视差误差13.8914.588.248.458.3828.56本文给出的立体匹配方法不仅能有效减少多步骤产生的误差累积，而且避免了不同模块间的相互影响，把双目图像的立体匹配完全转变为定位回归问题，能够有效实现双目目标的特征约束表达，具有较高的匹配精度。5.2目标跟踪与计数本文根据公交车客流量统计的要求，选用基于质心空间欧氏距离最短法来对乘客运动目标进行跟踪14。将识别出来的乘客形心坐标作为目标质心坐标，然后使用空间欧式距离最短法15对目标质心匹配关联和绘制轨迹，最后根据乘客质心的运动轨迹来判别乘客下车或上车，并对判别结果进行统计，算法具步骤如下：1）参数初始化：假设当前视频帧数为L帧，其图像帧中有ML个乘客，前一帧中含有的乘客数目为ML-1，则Zi（L）=（Xi，Yi）=（Zix，Ziy）代表L帧中的第i个乘客的质心坐标向量，i的取值范围为（1，ML）。2）关联匹配：视频帧中第L帧第i个乘客目标与前一帧中ML-1个乘客运动目标质心最小欧氏距离为dijmin=argminj(1,ML-1)Zi(L)-Ze(L-1)（4）因此如果第L-1帧中的第e个乘客运动目标的质心坐标向量和L帧中的第i个乘客运动目标相匹配，就完成了视频帧中L帧的第i个乘客的匹配跟踪，用同样的方法完成视频L帧中其他乘客运动目标的匹配跟踪。3）客流统计：假设总匹配的乘客运动目标为m，当m=ML-1=ML时表明公交车中没有乘客上下车，当mML-1时表明在第L帧有目标乘客消失，记录乘客消失的坐标点和数量；同理，当mML时，表明公交车中有新的乘客目标出现，找出并记录新出现乘客目标的坐标位置和数量，对增减乘客目标起始点的距离和位置坐标设置阈值判断乘客上下车并进行统计。图6为对乘客运动目标的检测过程，其中图6（a）、（b）为公交车前门获取的双目视图。为增加拍摄环境的复杂性，有多位乘客戴有黑色头巾；图6（c）是经过改进的神经网络立体匹配得到的视差图；图6（d）是经过Meanshift预处理后的深度图像（已过滤公交车图像中的冗余嘈杂信息）；图6（e）是经过区域生长法筛选后的人头轮廓；图6（f）是公交车中目标乘客人头检测结果，用白圈在目标乘客质心位置标记。（a）左视图（b）右视图（c）视差图（d）预处理后的深度图（e）筛选后的人头轮廓（f）检测结果图 6实验结果系统运行界面如图7所示。为验证本文客流统计方法有效性，在公交车的前后门各配置一套基于双面视觉的客流统计系统。在各个系统中，双目摄像头垂直向下固定安装在公交车前后门正上方以获取乘客头顶部区域特征，同时使用窗帘和灯光调节公交车内的光线，并分别进行不同客流密度下的试验。在设计实验时，人员穿着不同颜色的衣服，从公交车前后门上下车，当前后门统计的数据与实验预设人数一致时，认为人数统计正确。重复上述实验 50 次，结果如表 3 所示，在光线较好（100lux550lux）时客流统计的平均准确率达到了94.6%，而在光线较暗（5lux60lux）的情况下，正确率达到了92.1%。结果证明，本文设计的方法有效降低光线、遮挡对客流统计精度的影响，基本满足白天与夜晚条件下公交客流统计的要求。前门左摄像头图像后门左摄像头图像前门右摄像头图像后门右摄像头图像前门乘客标记图像后门乘客标记图像开始暂停重置前门进入前门离开后门进入后门离开进入乘客总人数离开乘客总人数当前客流量时间47373554381614：38返回退出系统图7系统运行界面693第 51 卷6结语实现精准的客流量统计对于线路的规划以及车辆的调度都有重要意义，本文对公交车在不同光线和客流拥挤情况进行分析，并对因干扰和遮挡导致客流量统计不准确的问题进行研究。首先根据双目立体视觉原理来在对双目摄像机进行标定和校正，使用优化的 MC-CNN网络架构进行立体匹配来获得视差图，同时在KITTI2015 数据集上测试改进算法的有效性，证明本文立体匹配算法的有效性。在此基础上采用Meanshift与区域生长算法对乘客的头部特征进行识别和计数。实验结果表明，采用立体视觉方法进行公交车客流量统计能够有效克服拥挤和遮挡以及光线变化等外部环境的影响，具有很强的实用性和推广前景。本系统仅在公交车中进行实际测试，未来，计划在公交车站以及地铁等客流量大的环境中对系统进一步测试验证及改进。参 考 文 献1Lin S，Chen J，Chao H.Estimation of number of peoplein crowded scenes using perspective transformationJ.Systems Man&Cybernetics Part A Systems&HumansIEEE Transactions on，2001，31（6）：645-654.2bontar，Jure，Lecun Y.Stereo Matching by Training aConvolutional Neural Network to Compare Image PatchesC/CVPR，2015.3Shaked A，Wolf L.Improved stereo matching with constant highway networks and reflective confidence learningC/Roceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos：IEEEComputer Society Press，2017：6901-6910.4卢艳军，王诗宇，张太宁，等.针对目标跟踪过程的双目视觉测距方法研究 J.电光与控制，2020，27（01）：60-63.LU Yanjun，WANG Shiyu，ZHANG Taining，et al.Research on binocular vision ranging method for target tracking processJ.Electronic Optics&Control，2020，27（01）：60-63.5朱秋煜，唐利，郁铭，等.一种基于立体视觉的公交车客流计数方法 J.中国图象图形学报，2009，14（11）：2391-2395.ZHU Qiuyu，TANG Li，YU Ming，et al.A method forcounting bus passenger flow based on stereo visionJ.Journal of Image and Graphics，2009，14（11）：2391-2395.6Beymer D，Mclauchlan P，Coifman B，et al.Person Counting With Stereo J.Computer Vision&Pattern Recognition，2000：495-501.7Luo WJ，Schwing AG，Urtasun R.Efficient deep learningfor stereo matching C/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.LosAlamitos：IEEEComputerSocietyPress，2016：5695-5703.8Huang X，Li L，Sim T.Stereo-based human head detection from crowd scenes C/Image Processing，2004.ICIP04.2004 International Conference on.IEEE，Singapore，2004，2：1353-13569何扬名，杜建强，汪灿华，等.虚拟双目视差法在公交客流统计中的应用J.微电子学与计算机，2014，31（05）：90-93.HE Yangming，DU Jianqiang，WANG Canhua，et al.Application of Virtual Binocular Parallax Method in Bus Passenger Flow StatisticsJ.Microelectronics&Computer，2014，31（05）：90-93.10张文，邵小桃，杨维，等.基于卷积神经网络的高效精准立体匹配算法 J.计算机辅助设计与图形学学报，2020，32（01）：45-53.ZHANG Wen，SHAO Xiaotao，YANG Wei，et al.Efficient and Accurate Stereoscopic Matching AlgorithmBased on Convolutional Neural NetworkJ.Journal ofComputer-Aided Design&Computer Graphics，2020，32（01）：45-53.11王广龙，田杰，朱文杰，等.RGB-D与MeanShift相结合的实时目标跟踪 J.中南大学学报（自然科学版），表 3不同密度和光照情况下客流量统计精确度的比较光线强度较好光线100lux550lux较差光线5lux60lux客流密度空旷正常拥挤空旷正常拥挤客流数/人进223038202650出610224812测试结果/人进202634182246出610204810准确率/%测试20次969491949288平均准确率/%测试300次94.692.1（下转第711页）刘彬等：基于立体视觉的公交车客流量统计方法研究6942023 年第 3 期计算机与数字工程（4）：640-651.3Ronneberger O，Fischer P，Brox T.U-Net：Convolutional Networks for Biomedical Image Segmentation C/2015Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention.Berlin：Springer，2015：234-241.4Chen L C，Papandreou G，Kokkinos I，et al.Semantic Image Segmentation with Deep Convolutional Nets and FullyConnected CRFs J.Computer Ence，2014（4）：357-361.5Chen L C，Papandreou G，Kokkinos I，et al.DeepLab：Semantic Image Segmentation with Deep ConvolutionalNets，Atrous Convolution，and Fully Connected CRFs J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.6W.Ouyang，X.Wang，C.Zhang，and X.Yang.Factors infinetuning deep model for object detection with long-taildistribution C/CVPR，2016：864-873.7C.Huang，Y.Li，C.ChangeLoy，and X.Tang.Learning deeprepresentation for imbalanced classi ficationC/CVPR，2016：5375-5384.8L.Shen，Z.Lin，and Q.Huang.Relay backpropagationfor effective learning of deep convolutional neural networksC/ECCV，2016：467-482.9Y.-X.Wang，D.Ramanan，M.Hebert.Learning to model thetailC/Neural Information Processing Systems，2017：7029-7039.10Q.Dong，S.Gong，X.Zhu.Class rectification hard mining for imbalanced deep learningC/ICCV，2017：1868-1878.11X.Zhang，Z.Fang，Y.Wen，Z.Li，Y.Qiao.Range lossfor deep face recognition with long-tailed training dataC/CVPR，2017：5419-5428.12Everingham M，Eslami S M A，Van Gool L，et al.Thepascal visual object classes challenge：A retrospectiveJ.International Journal of Computer Vision，2015，111（1）：98-136.13K.He，X.Zhang，S.Ren，J.Sun.Deep residual learningfor image recognition C/CVPR，2016：770-778.14陈天华，郑司群，于峻川.采用改进DeepLab网络的遥感图像分割 J.测控技术，2018，37（11）：40-45.CHEN Tianhua，ZHENG Siqun，YU Junchuan.Remotesensing image segmentation using improved deeplab networkJ.Measurement and Control Technology，2018，37（11）：40-45.15 Badrinarayanan V，Kendall A.Cipolla R.Segnet：Adeep convolutional encoder-decoder architecture for image segmentation J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.16Cui Y，Jia M.Class-Balanced Loss Based on EffectiveNumber of Samples C/CVPR，2019：9268-9277.17Lin T Y，Goyal P，Girshick R，et al.Focal Loss forDense Object DetectionJ.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017（99）：2999-3007.2019，50（09）：2163-2170.WANG Guanglong，TIAN Jie，ZHU Wenjie，et al.Real-time Target Tracking Combined RGB-D and MeanshiftJ.Journal of Central South University（Science&Technology），2019，50（09）：2163-2170.12Whelan，Thomas，Kaess，et al.Real-time large-scaledense RGB-D SLAM with volumetric fusion J.International Journal of Robotics Research，2015，34（4/5）：598-626.13KendallA，MartirosyanH，DasguptaS，etal.End-to-end learning of geometry and context for deepstereo regressionC/Proceedings of the IEEE International Conference on Computer Vision.Los Alamitos：IEEE Computer Society Press，2017：66-75.14李炯，赵凯，张志超，等.一种融合密度聚类与区域生长算法的快速障碍物检测方法 J.机器人，2020，42（01）：60-70.LI Jiong，ZHAO Kai，ZHANG Zhichao，et al.A fast obstacle detection method combining density clustering andregion growing algorithmJ.Robot，2020，42（01）：60-70.15陈俊超，李刚.一种抗遮挡的多运动目标跟踪改进算法 J.小型微型计算机系统，2012，33（02）：307-310.CHEN Junchao，LI Gang.An Improved Algorithm forAnti-occlusion Multi-moving Target TrackingJ.Journal of Small and Microcomputer Systems，2012，33（02）：307-310.（上接第694页）711