基于FPGA的输电线路舞动视频监测研究.pdf

电子设计工程Electronic Design Engineering第31卷Vol.31第16期No.162023年8月Aug.2023收稿日期：2022-04-10稿件编号：202204061作者简介：赵艺诣（1995），女，江苏宿迁人，硕士。研究方向：嵌入式系统与测量仪器。近年来，我国境内的输电线路舞动事故逐年频繁发生，对国家电网的稳定运行产生了巨大的破坏1-3。线路舞动灾害对电力系统和国民经济造成巨大的危害，亟需采取方法进行舞动研究、防治及监测4-7。舞动监测系统可对输电线路进行相关舞动参数和舞动状态的实时监测，得到舞动参数，对各地区的舞动研究防治提供科学依据和全面数据，便于工作人员展开应急措施8-11。该文通过舞动模拟实验，证明在各个天气环境下都有良好的舞动目标识别效果。通过坐标数据分析可得到舞动运动波形、幅值、频率等信息，验证了该文提出的方法可实现舞动监测功能。基于FPGA的输电线路舞动视频监测研究赵艺诣1，张佳庆2，刘建国3，贾云飞1（1.南京理工大学 机械工程学院，江苏 南京210000；2.晋西工业集团有限责任公司，山西 太原 030000；3.中国航天科工集团8511研究所，江苏 南京 210000）摘要：针对解决传统的图像监测法在数据的传递和处理上存在不便的问题，提出了以 FPGA 为核心，目标检测为手段的输电线路舞动监测方法。通过图像识别算法定位目标点的位置，结合对线路舞动的环境背景进行分析以及对目标识别算法进行探索，该文创新性地提出了基于FPGA的“运动”与“颜色”特征的舞动目标监测方法，实现了运动目标监测与颜色目标监测的算法融合，弥补了单一的运动监测算法的不足，提高了目标监测的准确度。通过实验可知，在光照充足的条件下，整体识别准确度可达到90%以上，在光照不足的条件下，整体识别准确度在70%以上。关键词：FPGA；图像监测；目标识别；舞动目标监测中图分类号：TN06文献标识码：A文章编号：1674-6236（2023）16-0056-06DOI：10.14022/j.issn1674-6236.2023.16.012Research on transmission line waving video monitoring based on FPGAZHAO Yiyi1，ZHANG Jiaqing2，LIU Jianguo3，JIA Yunfei1（1.School of Mechanical Engineering，Nanjing University of Science and Technology，Nanjing 210000，China；2.Jinxi Industries Group，Taiyuan 030000，China；3.No.8511 Research Institute of CASIC，Nanjing210000，China）Abstract:To solve the problem that the traditional image monitoring method s inconvenience in datatransmission and processing，this paper proposes a new method with FPGA as the core，to detect andmonitor the transmission line waving.The image recognition algorithm is used to locate the position oftarget points.Analyzing the transmission line waving environment combined with the background andexploring the target recognition algorithms.This paper puts forward the innovation based on FPGA“movement”and“color”waving in the characteristics of the target detection method，has made themoving target detection and color target detection algorithm fusion come true，and compensated theshortcomings of single movement monitoring algorithm greatly improves the accuracy of target detection.The experiment shows that the overall recognition accuracy can reach more than 90%under the conditionof sufficient illumination，and more than 70%under the condition of insufficient illumination.Keywords:FPGA；image monitoring；target recognition；waving target monitoring-561舞动监测系统总体方案设计舞动监测的主要技术难点在于舞动监测的精确定位，首先是舞动参数获取不易。舞动参数的获取需要设置一个具有唯一特征的“目标点”。舞动监测目标点既要克服舞动时强大的冲击力，保持与线路相同的运动特征；还要与输电线缆、输电塔杆、天空背景等有所区别，以便进行目标识别12。其次，通过目标识别得到目标点的运动位移数据，在“运动”特征的基础上进行其他特征的“二次识别”，从而实现舞动监测目标点的高空定位。此外，还需克服复杂环境识别不易的问题。舞动多发生在温度低、湿度高、风力强的极端天气，因此舞动监测还应该具有良好的天气适应性。不同天气下，摄像机的成像是有很大的不同，需保障在各个天气环境下都能有良好的舞动监测功能。基于 FPGA的输电线路舞动视频监测方法整体结构图如图1所示。图1监测系统总体方案示意图通过舞动监测目标点、舞动参数采集以及上位机处理中心协同工作以实现全天候全方位的舞动监测。舞动监测目标点是外观有一定特征的物体，是目标识别的对象；舞动参数监测部分主要由FPGA 主控模块、摄像机模块、4G 通信模块、气象传感器等组成，负责完成图像数据的采集，舞动监测目标点的识别、定位，气候数据的采集，以及数据的无线发送；上位机终端对目标点坐标数据接收处理，得到舞动幅值、舞动频率、舞动环境气候数据等参数信息，并对以上数据进行保存、调取、归档处理等。系统工作时，将监测目标点安装于输电线路上，当输电线路开始摆动时，舞动监测目标点会随输电线一起运动。此时的监测目标点具有“颜色”与“运动”双重特征，摄像机拍摄到运行状态的视频图像后传递给FPGA，再通过图像处理算法对目标点进行目标特征识别，得到每帧图像中的目标点的位置。根据相机的成像比例尺与目标点的位置，将一系列的坐标点连接起来得到目标点的位移-时间曲线，最终通过计算得到舞动幅值、舞动频率等参数信息。2图像识别处理与实现2.1颜色特征阈值的选取准确地进行运动识别与颜色特征识别，需要设置合理科学的阈值范围13-16。在运动帧间差分法的阈值设定上，阈值太高会导致无法完整地监测到运动目标；阈值过低，环境中一些像素点的亮度变化也会被误检测为运动目标。经过多次测试，将运动阈值设置为10。因为环境有明暗的区别，同一个颜色标志物在不同天气、不同光照下的成像结果是有区别的，因此选定的颜色特征判断阈值必须尽可能囊括各种光照条件。因此在不同光照环境下拍摄舞动监测目标点的照片，最终将各环境下的舞动目标点照片都转换为 HSV格式及 HSV三分量单独显示，效果如图2所示。赵艺诣，等基于FPGA的输电线路舞动视频监测研究-57电子设计工程 2023年第16期图2舞动检测装置HSV显示图观察对比“天空”、“输电线缆”以及“舞动监测目标点”三大区域的 HSV 及其分量图可知，在光线充足的晴天，光线稍暗的阴天、傍晚以及光线微薄的 夜 晚，舞 动 监 测 点 与 周 围 的 环 境 都 有 很 大 的颜色区分度。尤其转到 HSV格式后，区分效果更加明显。2.2静态数据采集舞动监测点输出的是像素坐标值，为了确定成像比例尺和监测得到的位移的精度，该文进行静态实验。在进行舞动监测时，摄像机的视角与焦距是固定的，因此每帧图像的视野是相同的。计算识别框的大小与舞动目标点实际尺寸的比值，获取相机的成像比例尺，得到舞动的真实位移。安装舞动监测目标点并固定好相机。此时的舞动目标点只有“颜色”特征，保持颜色阈值不变；将帧差法的阈值降低为2，可以过滤掉光场亮度变化而产生的噪声点，使得在舞动目标点静止时，也可进行识别框绘制。静态实验识别效果如图3所示。图3静态实验监测计算 100 组数据得到矩形框平均像素尺寸：30.2 Pixel29.8 Pixel，而 舞 动 目 标 点 的 真 实 尺 寸为 7.51 cm7.51 cm，得到成像比例尺约为 0.6130.592 Pixel/cm。在得到成像比例尺后，进行静态实验：1）保持摄像机与舞动目标监测点的垂直距离、运动识别、颜色识别的阈值不变。2）舞动目标点的运动范围有限。将舞动监测点静止时的位置设定为基准点。改变舞动目标监测点的空中水平位置、空中垂直位置，每次移动50 cm，共计移动8次，示意如图4所示。图4静态实验示意图3）舞动目标点在观测点静止时，进行目标识别，记录每一个位置的坐标数据。4）根据得到的成像比例尺与矩形框坐标，计算得到舞动监测目标点的位置偏移量，并做好记录。设水平方向为 X，竖直方向为 Y，则得到的位移数据如表1所示。表1静态实验位移数据表位置点12345678X位移偏移量/cm55.0445.6947.4253.1353.7744.72精度（%）89.991.194.793.692.389.4Y位移偏移量/cm45.2147.9044.8553.6552.3545.83精度（%）90.595.889.792.795.391.6根据得到的坐标偏移量，可知横向位移综合计算精度约在 91.8%左右，纵向位移综合计算精度在92.6%左右。X与 Y方向的位移误差都在 10%以下，为下文舞动模拟实验的位移量计算，提供了精度保证。2.3舞动数据采集由于该方法选定的摄像机没有夜视功能，为了确保在夜晚等条件下可以保持监测效果，因此使用工业照明灯提供一定的光照。根据得到的像素坐标位置，乘以成像比例尺后，以白天为例，得到的舞动幅值情况如图5所示。-58图5舞动位移曲线将采集到的数据绘制成三维曲线后，可以看出整体舞动的位移曲线，但在不同的光照条件下，舞动位移监测效果各有差异。其中白天的效果最佳，随着视场亮度的下降，识别率开始降低，在夜晚进行舞动监测，得到的误差点是最多的。其中不同时刻的识别率如表2所示。表2舞动监测识别情况报表天气环境白天傍晚阴天夜晚正确识别帧/帧1 4421 4081 3811 046未正确识别帧/帧5892119434识别准确度（%）96.193.992.171.1该文提出的基于 FPGA的输电线路舞动监测方法可以实现舞动的监测。在亮度较好的环境下，识别准确度均超过90%；在光线不好的夜晚环境，识别准确度在70%上下。3舞动监测实验搭建3.1舞动监测目标点设计舞动监测目标点应与输电线路的运动保持一致，且不影响输电线路的正常运行，具有显著的颜色特征，便于目标识别。因此，在 Solidworks平台上设计结构。舞动监测目标点质量仅为 150 g 左右。目标点体积小，结构简单，不会过多增加输电线路的载荷。此外，考虑到电流互感电磁感应等影响，舞动监测目标点是无源工作的，不会对输电线的输电工作产生影响。输电导线从舞动监测目标点的中心孔穿过去，当线路舞动时，其随着线路一同摆动，保证了舞动监测目标点的运动特征。在其表面覆盖反光材料，在仅有微弱光线的情况下，具有可观的夜视效果，保证了其颜色特征。3.2模拟输电线路模型搭建为了尽可能地还原真实线路舞动的场景，选择在某写字楼的天台上进行实验，其天空背景、光照强度、风速等级比在室内或者平地上进行实验，更接近真实场景。搭建的实物仿真平台如图6所示。图6线路舞动模拟实验平台图 6中 1为舞动监测目标点，2为温湿度传感器与风速传感器，3为舞动监测节点。3.3舞动监测识别验证搭建好舞动试验台后，将舞动参数监测节点固定在一侧的支架上，进行舞动监测实验，检验不同天气光照下的监测效果，显示效果如图7所示。图7舞动监测实验效果图舞动检测装置在各个光照条件下均有良好的识别效果。在线路发生舞动时，舞动监测装置通过目标识别与颜色识别可以准确的识别到悬挂固定在线路上的舞动监测目标点，有着良好的天气适应性。4数据分析与处理4.1舞动误差分析以傍晚采集到数据波形图为例进行误差分析。将波形图局部放大，如图8所示。赵艺诣，等基于FPGA的输电线路舞动视频监测研究-59电子设计工程 2023年第16期图8傍晚舞动波形图局部放大实验中存在两类误差点，A 类误差点代表某帧没有识别到运动的舞动监测点；B 类误差点是指在图像识别中，错误判断了具有运动与颜色特征的物体。上述两类误差点属于粗大误差，其代表的意义严重歪曲了真实的物理涵义，因此应对其进行误差剔除。该文采集处理了 60 s共 1 500帧图像，其中，58帧的数据是误差帧。总体误判率为 3.9%，绝大多数（大于 95%）测量点的位置是正确的，代表物体真实的运动情况。而误差点代表的物体位置与相邻点位置跳转很大，因此可通过与相邻数据的差值是否发生突变来判别误差点。需要对粗大误差进行剔除并实现修正：1）数据采集完成后，得到n组数据，计算得到xt、yt后，分别计算相邻点的差值：xt=xt-xt-1yt=yt-yt-1,t=1,2,n（1）2）固定坐标误差点(xt,yt)=(32,24)，将其标记为A类误差点，并用相邻 2个点的平均位置替代，则修正后的坐标(xtA,ytA)应为：xtA=xt-1+xtytA=yt-1+yt（2）3）B 类误差点的坐标不是固定的，但是其值与时域上相邻的点是突变的，判断条件为：|xt|(|xt-1|+|xt-2|+|xt-3|+|xt-4|+|xt-5|)|yt|(|yt-1|+|yt-2|+|yt-3|+|yt-4|+|yt-5|)（3）当|xt|或|yt|其中一个满足上述判定条件，则标记为 B 类坐标点，将其剔除后，进行修正，如式（4）：|xt|=(|xt-1|+|xt-2|+|xt-3|+|xt-4|+|xt-5|)/5|yt|=(|yt-1|+|yt-2|+|yt-3|+|yt-4|+|yt-5|)/5（4）式中，|xt|为理想xt与xt-1的差值的绝对值，|yt|为yt与yt-1的差值的绝对值。xt、yt的正负分别与xt-1，yt-1保持一致，则插值后的 B 类坐标点(xtB,ytB)应为：xtB=xt-1+xtytB=yt-1+yt（5）4.2舞动参数计算在进行舞动实验时，通过人为地拨动线路使其摆动来模拟线路发生舞动时的运动状态。因此在一个完整的模拟舞动周期中，纵向运动轨迹：最低点-最高点-最低点-最高点-最低点，而横向运动轨迹：最低点-最左侧-最低点-最右点。纵向振动频率是横向振动频率的2倍左右。将数据用误差剔除方法剔除后，进行舞动参数的获取。以傍晚时刻为例，剔除误差点后的局部波形如图9所示。图9舞动波形局部（傍晚）分析波形可知在上述时间段内：X 向舞动最大振幅 Ax为 62.83 cm，平均振幅为59.2 cm，平均横向舞动周期为 1.66 s，横向舞动频率为0.6 Hz；Y向舞动最大振幅Ay约为30.57 cm，平均振幅为26.16 cm，平均纵向舞动周期约为 0.84 s，Y向舞动频率为1.19 Hz。上述的误差点剔除方法适用于整体误差率较小的情况，当夜晚进行舞动监测时，整体误差率较大，无法根据上述的方法将其插值替换。因此将夜晚舞动数据的波形图直接局部放大，分析波形可知，在上述时间段内：X向舞动最大振幅 Ax约为 45.36 cm,平均振幅为38.39 cm,横向平均舞动周期为1.45 s，横向舞动频率为0.69 Hz；Y向舞动最大振幅Ay约为36.70 cm，平均振幅为24.73 cm，纵向舞动周期约为 0.72 s，Y向舞动频率为1.39 Hz。-60将在夜晚监测得到的数据点绘制成舞动波形后，虽能看出整体舞动波形的轮廓，但整体的误差点较多，监测效果仍需进一步改善。从四组数据可知，该文设计的舞动监测方法是可行的，经过数据处理分析后，可以得到舞动频率与舞动振幅等参数信息。5结论该文完成了具有显著颜色特征与线路相同运动特征的舞动目标监测点的设计，搭建了输电线路舞动实验平台，确定了目标检测的阈值，对数据模块及上位机的数据采集处理功能进行验证。结果表明，对目标检测算法的舞动监测在各个天气各个光照条件都可以实现舞动监测点的识别功能。此外，静态实验时，静态位移精度可保持在90%以上；动态实验时，在光照充足的条件下，整体识别准确度可达到90%以上，光照不足条件下，整体识别准确度为 70%以上。该文算法实现了运动目标检测与颜色目标检测的算法融合，弥补了单一运动监测算法的不足，提高了目标检测的准确度。参考文献：1 聂永,施火泉.基于改进EMD法对线路舞动位移测量的修正J.江南大学学报(自然科学版),2014,13(2):152-155.2 刘豫,刘佳鑫,贾云飞,等.基于OMP算法的舞动监测系统J.测试技术学报,2019,33(6):524-528.3 龚彧,赵峰,李冬华,等.基于压缩感知的架空线路舞动波形重构方法J.电力系统保护与控制,2021,49(9):97-104.4 尹晖,张晓鸣,李小祥,等.基于视频监测的输电线路舞动信息提取与频谱分析J.高电压技术,2017,43(9):2889-2895.5 黄军凯,马晓红,许逵,等.高压输电线路舞动机理及防治措施J.科学技术与工程,2018,18(23):177-184.6 李园,高家祺,马小霞,等.基于FPGA图像处理的研究现状与热点分析J.电子技术,2021,50(7):1-3.7 钱宏文,刘会,付强,等.基于FPGA的高清HD-SDI视频采集系统设计与实现J.电子设计工程,2021,29(1):172-176.8 Deng H M,Cai W,Song Y,et al.Fiber bragg gratingmonitors for thermal and stress of the compositeinsulators in transmission linesJ.Global Energy.Interconnection,2018,1(3):382-390.9 Zhang X P,Ye F,Fan S C,et al.An adaptive securityprotocol for a wireless sensor-based monitoringnetwork in smart grid transmission linesJ.Securityand Communication Networks,2016,9(1):60-71.10王涌,肖顺文,郑瑞,等.基于FPGA的实时图像采集与显示系统设计J.西华师范大学学报(自然科学版),2020,41(2):221-226.11苗春生.应用于光纤复合架空地线的光纤分布式振动的测量J.激光与光电子学进展,2018,55(4):80-84.12李振家,冯尚庆,王淑娴,等.基于数字图像处理技术的输电线路舞动监测J.工业控制计算机,2010,23(6):36-37.13陈虎,陈倩.基于 FPGA 的 MEWTOCOL-COM 与MODBUS RTU协议快速转换的设计与实现J.电子技术应用,2019,45(11):112-116.14裴正雄,彭安金.基于FPGA和OV5640的图像采集和处理系统设计J.机电信息,2019(32):159-160.15Hao Y Q,Liu N N,Kun Y,et al.Online ice-coatingmonitoring research on overhead transmission lineswith Brillouin optical time domain reflectometryJ.Optical Fiber Technology,2020,60(2):102339.16Zheng W J,Li C Q,Yang B,et al.Identification ofhidden dangers in transmission line corridorsbased on hybrid algorithmsC.Proceedings of Joint2019InternationalConferenceonUbiquitousPower Internet of Things(UPIOT 2019)&2019 3rdInternational Symposium on Green Energy andSmart Grid(SGESG 2019),2019:336-341.赵艺诣，等基于FPGA的输电线路舞动视频监测研究欢迎订阅2023年度 电子设计工程（半月刊）国内邮发代号：52-142国际发行代号：M2996订价：15.00元/期 360.00元/年-61