基于Python的科考数据的实时采集与存储.pdf

282024年2 月交流中国修船基于Python的科考数据的实时采集与存储钟金波，李湘湘（中国科学院深海科学与工程研究所，海南商三亚572000)摘要：针对目前国内科考船作业任务多、外部数据种类多样、数据独立且缺乏方便的采集和存储接口，同时科学家对于作业点位的导航数据及环境数据存在时效性需求的问题，文章设计了一个系统，该系统基于Python编程，通过软硬件设计实现科考作业导航数据、环境数据的实时采集并分发到每一个实验室，能实时采集所需要的数据并保存到本地电脑。该数据的采集与存储系统已经在“探索一号”和“探索二号”科考船上得到了实践应用，使用结果表明该系统具有良好的可复制性和可扩展性，满足科学家对于船舶数据的实时采集和存储，将提供更加实用和方便的方式。关键词：科学考察船；数据实时采集与存储；Python编程中图分类号：U672文献标志码：Adoi:10.13352/j.issn.1001-8328.2024.01.007Abstract:Scientific research vessels in China currently face problems of multiple tasks,diverse types of ex-ternal data,and a lack of convenient collection and storage interfaces of independent data.In addition,scientistshave timeliness requirements for navigation data and environmental data at work points.In view of these,this ar-ticle designs a system based on Python programming and achieves real-time collection and distribution of scientificresearch navigation data and environmental data to every laboratory through software and hardware design,enablingreal-time collection of required data and storage of the data in local computers.The data collection and storage sys-tem has been applied in practice on the“Tansuo-1 and“Tansuo-2 research vessels and the results show thatthe system has good replicability and scalability,meeting the needs of scientists for real-time collection and storageof ship data,and it is more practical and convenient.Key words:scientific research vessel;real-time data collection and storage;Python programming海洋科学调查工作近几年有了突飞猛进的发展，由于海洋环境的复杂性和多变性，对于后续样品的分析，必须附带有GPS、风速风向、温盐深（CT D）等数据作为支撑。对于科学家来说，人为记录数据存在以下问题，一是不具备连续性；二是海洋科考工作强度较大，没有精力去实现人为记录；三是采集这些数据的传感器分布在全船各处，对于在甲板或者在实验室采集数据的科学家来说不方便手动记录。基于此，迫切需要能在实验室或者甲板工作区有实现实时采集相关数据的接口，而且能实现数据的实时保存。现在大多数的科考船都配置了信息采集系统，在物理架构上，可以实现数据的采集。从实船实验室的采集和使用设备来看，具有设备多样性、接口的需求多样性、数据格式的多样性、文献 1 和文献 2 强调了数据的采集和存储实现的可行性，侧重整个数据包的采集和存储，没有有效手段对数据包进行针对性的处理，以满足不同设备对数据格式的不同需求。基于这种需求，“探索一号”船作为国内科考船改造的成功典范，自然将该项工作提到了日基金项目：国家重点研发计划（Y620071）作者简介：钟金波（19 8 7-），男，湖南常德人，工程师，大学本科，研究方向为船舶电气设备自动化控制和船舶智能信息化。29第37 卷第1期技钟金波，等：基于Python的科考数据的实时采集与存储交流程，在已有的硬件架构上，通过软件的开发，基于Python编程语言的可扩充性、免费、开源、可移植性、可扩展性、可嵌人性等优点，可以有针对性地满足不同设备对不同数据的特殊性需求。1系统设计1.1系统总体硬件框架本系统硬件主要包括4个部分。1）数据源设备层。主要包括分布在驾驶台的导航设备和科学调查设备。这些设备能够提供各种数据源，其中导航数据来自CPS、罗经、计程仪、测深仪、风速风向仪等，科学调查设备数据包括CTD、多波束等，通过双绞线以RS422或者RS232的串口通讯的数据格式接入采集设备。2）数据的采集单元。该设备布置在驾驶台，由信号转换单元和串口服务器2 部分组成。信号转换单元主要是将双绞线的串口数据转换成网线输出的串口数据，串口服务器选用的是MOXA的NPort563016，其功能是将以双绞线接入该串口服务器的COM1、C O M 2 多个串口的数据，通过该串口服务器转换成对应的网络端口40 0 1、40 0 2，该串口服务器可以同时将所需的16 种数据传送给串口服务器，而且还可以选用32 口的串口服务器，对于后续的数据扩展提供了比较方便的路径。3）数据的转发单元。该设备布置在数据处理中心，由2 部分组成，包括串口服务器、客户端。串口服务器选用的是MOXANport6650-32服务器，其作用是端口的控制，该服务器选用的是32 端口的服务器，通过参考NPort_6600_Series_QIG_v6资料，可以配置不同端口的数据传输形式，既可以选择RealCom的数据传输模式，也可以选择TCPServer的传输模式，基于该功能，可以在各实验室获取所需要的数据格式。客户端的作用就是通过安装的TJ-IDAS软件配置上述服务器的32 个不同端口的数据源，实现数据的采集、转发。4）数据接收单元。从串口服务器分别布置2条网线到各实验室和其他处所，通过分布在各实验室各区域的网络接口，科学家可以随时采集和存储所需要的数据。系统硬件框架图如图1所示。GPS客户端罗经测深仪信号转换单元串口服务器实验室网口面板计程仪串口服务器生活住舱风速风向仪网口面板CTD公共区域多波束网口面板图1系统硬件框架图1.2系统软件实现1）通过串口实现数据转发。由于科学考察需求的不同，经常会有专业设备软件（ADCP、人工地震作业、Globalmap等）需要临时接人GPS、罗经、CTD等的数据，所以该系统经过2 次重要的升级，第一次是在控制终端实现数据的采集和存储，在控制终端通过TJ-IDAS程序配置不同的端口。串口转发程序配置界面图如图2 所示，图2中，串口号即实验室实际的物理端口号，串口类型选择发送，在串口数据源端口中，选择所需要分发的数据源，例如GPS、CT D 等，然后在串口参数中配置波特率、数据位、停止位和校验位等相应的参数，在对应的实验室接口就可以获取实时的串口数据。该软件方案提供了2 种工作模式：采集模式和采集并存储模式。在采集模式下可以实现数据的采集和停止，而且可以实时查看所有源端口的数据格式和报文。在作业工况下提供采集并存储模式，可以实现所有数据边采集边存储，也可以实现对某一所需通道数据的采集和存储，可以更高效地利用数据和存储空间。串口数据源配置串口号串口类型串口数据源端口COM接收发送无串口参数串口名称波持率48:00端口编号数据位流控制RTC/CTSXON/XOFF停止位存做控制校验none口DTR口RTS确定消图2串口转发程序配置界面图该次升级的软件版本问题在于数据种类的增加，串口采集服务器可以随时增加不同的数据类302024年2 月读取与存储。解析和计算。三要用于文件的个库主要用于时间datetime库是thon常用的他计算机的数据，也可以向其他计算机发送数据。种方式。通过socket约定，台计算机可以接收其种约定或库。进行通信的SoCK6datetime 和time文件读写存的CSV库库 3-4方库文件的第包括网口数据的采集socket1导人库。用import语句导人所需要使用以在实验室访问该串口服务器。端口对应的输出端口配置成TCPServer模式，就可Nport6650-32服务器的配置界面上将实验室的某只需要在MOXA上实现网络数据的通信器可以配的通讯形式在物理链路同时获取多种数据形式。MOXANport6650-32服务小程序来实现件升级，通过使用P语言开发信就可以实现该功能。基于该目标需要第二次软理链路上同时传输多种数据形式，而通过网络通条物迫切需要能在类型多路数据的需求增加种数据形式由于对多种链路上只能同时传输条物理2）Py th o n 程序的实现。串口通信在件需要再次级的主要原因是软串口传输网线，在实现上存在很大的困难，区域同时接收多种数据，就需要同时布置多条种数据，想要在某一个串口端口只能同时传输型，由于从服务器去各个实验室采用串口传输，交流中国修船Oa=mysock.recv(512)i f l e n(a)1:break?a=a.decode(utf-8)?a=a.split()#把a的数据按 n切割（3）数据的选择与截取。为了获取所需要的数据内容，可以通过判断语句“ifGGA/HDTintext_split，并将指定的数据增加到out_gga，然后每读取一条内容，就在后面增加读取该内容的时间。fortext_split in a:ifGGAintext_split：#切割出来一条，判断一条out_gga.append(text_split)now_time=datetime.datetime.nowO).strftime(%Y-%m-%d%H:%M:%S)out_gga.append(now_time)（4）数据的保存。用withopen（）命令，来建立csv文件，再通过csv.writer（)命令将获取的内容保存在新建立的csv文件里。i mp o r t s o c k e ti mp o r t d a t e t i mei mp o r t c s vi m p o r t t i m e（2）文件的获取。通过mysock.connect（）命令，可以指定需要访问的网络IP和端口号，用my-sock.recv()命令可以获取端口的数据内容，并将该端口获取的内容赋值到a，由于端口获取的数据内容杂乱，可以利用 n将所有的数据按换行符来切割成不同的行赋值给a。mysock=socket.socket(socket.AF_INET,socket.SOCKSTREAM)mysock.connect(192.168.1.254,4001)out_message=out_gga=whileTrue:with open(gps_out.csv,a,newline=)as fw r i t e r=c s v.w r i t e r(f)writer.writerow(out_gga)3f.close()print(out_gga)o u t _g g a=l lout_message=t i me.s l e e p(2)通过该Python程序，能够获取指定的数据内容，对于不同的网络端口，只需要更改中的IP地址和网络端口号，就可以获取其他数据内容，比如40 0 2 对应的罗经数据，40 0 3对应的计程仪数据等。同样，如果需要截取端口内的部分内容，也可以通过的判断语句来截取。3）程序的封装。通过PyCharm软件自带的Pylnstaller库的功能 5，将该程序封装成exe执行程序，可以安装到不同的电脑上，很方便地实现不同实验室不同数据的实时采集和存储功能。2试验测试与结果分析为了验证该系统的稳定性，“探索一号”科考船的TS21航次中，在地球物理实验室实时采集和31第37 卷第1期收稿日期：2 0 2 3-0 2-2 7交流钟金波，等：基于Python的科考数据的实时采集与存储存储GPS数据，得到比较理想的结果。在该测试中，选用GPS数据作为测试目标，由于GPS发过来的数据包有很多不同类型的数据格式，包括GGA、GLL、R M C等 6 ，其大部分数据都具有重复性。所以在该测试中，只读取以$GGA开头的语句作为存储GPS的坐标，为实现该目的可以利用在Python编程语句中的判断语句“ifGGAintext_split”等来实现。也就是说，从socket读取的数据a不是全部采集保存，只有以GGA开头的语句才保存在输出的文档里。数据样本保存结果如图3所示，通过对比图3，处理后的语句实际已包含经纬度、时间、航速等重要的数据，已删减无用或者重复的数据。只读取该语句的数据，不仅满足科学家对于GPS数据利用的需求，也可以大大节省存储空间。$GPGBS,015013.00,0.81.3,2.1,*4E$GPGLL,1813.9931,N,10929.5135,E,015014.00,A,A*60$GPRMC,015014.00,A,1813.9931,N,10929,5135,E,00.0,000.0,090722,.,A*69$GPVTG,000.0,T,00.0,X,00.0,K,A*40$GPZDA,015014,09,07,2022,08,00*60$GPAPB,AA0.00,LN,V.V,041.4,M,001,041.4,M041.4,MA*66$GPB0D,041.4,T,041.4,M001,000*46$GPBWC,015014.00,2241.030,N,11340.000,E,041.4,T,041.4,M,356.3,H,001,A*72$GPHMT,000.0,T*35$GPXTE,A.A.0.00,L,N,A*03$GPDTM,W84,0.0000,N,0.0000,E,0.0000,W84*5F$GPGGA,015015.00,1813.9931,N,10929.5135,E,1,10,00.8,0031,M0010,M,*43$GPGNS,015015.00,1813.9931,H,10929.5135,E,A10,00.8,0031,0010,*28$GPGES,015014.00,0.8,1.3.2.1,*49$GPGLL,1813.9931,N,10929.5135,E,015015.00,A,A*61(a）原始数据样本GPCA.091338.1813.9929.N10929.5101.8.10.2.0.21.4-8.3.L+6F2022-1-1017:13SCPCCA,091340,1813.9929,#10929.5101,E，8,10,2.0,2 1.4，-8.3,L，#6 02022-1-1017:13$GPCCA,0913421813.9929,#,10929.5101,E,8,10,2.0,21.4，8.3,#[phone]:13$CPCCk,0913451813.9929,n,10929,5101,E,8,10,2.0,21.4,-8.3,#*642022-1-1017:14GGCA,091346,1813.9929,N,10929.5101,E,8,10,2.0,21.4,，8.3,L，[phone]:14#GPCCA,091348,1813.9929,N10929.5101,E,8,10,2.0,21.4，8.3,，*6 82022-1-1017:14$GPCGA,091350,1813,9929,N,10929.5101,E,8,10,2.0,21.4,-8.3,#,，6 12022-1-1017:14CPCCA,091352,1813,9929,#10929.5101,E,8,10,2.0,21.4#8.3,#，￥6 32022-1-1017:14CFCGA,091354,1813.9929,N,10929.5101,E,8,10,2.0,21.4,#,8.3,#，*6 52022-1-1017:14$CPCCA,091356,1813.9929,#10929.5101,#，8,10,2.0,2 1.#，8.3,#，*6 72022-1-1017:14PCCA,091358,1813.9929,#109295101,E,8,10,2.0,21,4，8.3,#*6 92022-1-1017:14CPCCA,091400,1813,9929,m，10 9 2 9.510 1,E,8 10,2.0,2 1.4,#8.3,#，[phone]:14GPCGA,091402,1813.9929,m,10929.5101,E,8,10,2.0,21.4,#，-8.3,，*6 12022-1-1017:14$CPCCA,091404,1813.9929,#,10929.5101,E,8,10,2.0,21.4,#-8.3,#，[phone]:14SCPGCA,091406,1813.9929,N,10929.5101,E,8,10,2.0,21.4,-8.3,L，*6 52022-1-1017:14$CFCCA,091408,1813.9929,期，10 9 2 9.510 1,E8,10,2.0,21.4,，8.3,，6 B2022-1-1017:14$GPCCA,091410,1813.9929,购，10 9 2 9.510 1,E,8,10,2.0,21.4,#，8.3,#，*6 22022-1-1017:14GPCCA,091412,1813.9929,#,10929.5101,E,8,10,2.0,21.4,#8.3,#,[phone]:14$GPCGA,091414,1813.9929#，10 9 2 9.510 1,E，8,10,2.0,2 1.4,，-8 3#，#6 62022-1-1017:14GFCC，0 9 1416,18 13.9 9 2 9,m，10 9 2 9.510 1,E，8,10,2.0,2 1.4，8 3,#，*6 42022-1-1017:14#CCCh,091418,18139929,#,10929.5101,E，8,10,2.0,2 1.4,8.3,#,，*62022-1-1017:14（b）处理后实际获取的数据样本图3数据样本保存结果在“探索一号”科考船上，已经写好了目前所使用的7 种数据的语言包，并封装成不同的小软件。在实际使用中，只需要插上网线，将本地电脑设置成19 2.16 8.1.*网段的IP，直接打开对应的小软件，就可以获取所需要的数据，并保存在本地电脑里。3结束语综合多航次的实际使用情况，该设计的软硬件的使用在实践上已经获得了科学家的认可，为他们保存了大量的科学考察数据。随着中国科考事业的发展和科考工作的完善，数据的采集和存储将得到更大程度地利用和重视，这种基于Python或者其他语言的数据实时采集与存储系统的便利性和可复制性将得到更广泛的运用。参考文献1】余勇林，陆小科，张远飞。关于科考船信息系统的配置方案J.广东造船，2 0 2 0，39（6)：6 2-6 4，55.2张俊明科考船综合数据采集、传输、存储系统 J.舰船科学技术，2 0 14（S1)：6 7-7 0.3欧军，吴清秀，裴云，等.基于socket的网络通信技术研究 J.网络安全技术与应用，2 0 11（7：19-2 1.4蒋达.基于Socket的网络接口编程 J.办公自动化（办公设备与耗材），2 0 18（2 3)：2 9-30，32.5王瑞文，王圣辉，边润根，等.Python程序打包成exe可执行文件的方法探究 J.无线互联科技，2 0 17（12)：52-53.6钱德俊，张哲，胡晨.NMEA0183协议解析J.电子器件，2 0 0 7(2)：6 9 8-7 0 1.