基于流水线模式的河系径流预报并发计算研究.pdf

第4期2023年8 月D0I:10.19364/j.1674-9405.2023.04.009基于流水线模式的河系径流预报并发计算研究水利信息化Water Resources InformatizationNO.4Aug.2023胡友兵，陈邦慧，徐时进，王凯，陈红雨，冯志刚，马亚楠(淮河水利委员会水文局（信息中心），安徽蚌埠2 330 0 1)摘要：在河系径流预报计算中，受单站水文过程计算复杂性及下游站点依赖上游关联节点的制约，现有洪水预报系统多采用串联模式计算。但在河系预报节点多、模型方法复杂时，串联模式计算效率较低。为提高河系径流预报计算效率，引入流水线并行模式，将河系径流预报站点初始化、单元产汇流计算、河道洪水演算、校正分析等模块进行拆解，构建流水线式工作站，将径流预报站点按水力联系连续入站，实现河系节点集径流过程的平行并发计算。选取淮河正阳关以上流域50 余个断面进行模拟试验，结果表明：构建的并发计算方法结果可靠，与串行模式结构相比，并发计算效率提升3倍多，能够有效提高河系径流预报效率，满足洪水预报实时性要求，尤其适用于B/S模式对系统响应效率的需求。关键词：河系径流预报；流水线；并发；洪水预报系统；准河水系中图分类号：P3380引言流域水文系统在某种程度上具有开放且复杂的巨系统特征，流域河系径流预报是利用降雨径流预报方法，对流域各控制节点的径流过程进行连续模拟分析的计算过程-3。降雨径流预报方法大体可以分为经验相关法和水文模型法2 类4。经验相关法是相对成熟、有一定理论依据的常用方法，描述的是自变量与因变量间的统计规律及物理成因联系5-7 。水文模型法是模拟水文系统内在关系的方法，目的是描述水文现象间内在的联系与变化过程18-10 。对于大流域河系降雨径流预报来说，往往存在几十个甚至上百个预报控制节点。为实现河系径流预报计算，我国业务生产部门和相关研究单位结合业务实际和流域特点，先后推出了一系列各具特色的洪水预报系统1-1。现有洪水预报系统中，在断面预报次序上，多根据流域内各预报断面上下游水力关系进行编号排序并依次进行分析计算；在单站径流计算中，多根据配置方案依次进行产汇流计算。在河系径流计算中，普遍存在数十乃至上百个预报节点，且节点间径流演进依赖度高。近年来，随着以B/S架构为基础的具有预报调度一体化特色的新一代水文模拟收稿日期：2 0 2 3-0 2-2 0基金项目：水利部重大科技项目（SKR-2022032；SK R-2 0 2 2 0 13)；水利青年人才发展基金资助项目（准河流域中小河流洪水预测预报关键技术研究与应用）作者简介：胡友兵（19 8 6 一），男，安徽池州人，博士，高级工程师，主要从事水文学及水利信息化等方面工作。E-mail：y o u h u l 1 16 3.c o m文献标识码：A文章编号：16 7 4-9 40 5(2 0 2 3)0 4-0 0 50-0 4系统不断发展4-151,对河系径流计算效率提出了新要求。为发挥现代CPU多核性能，提升河系径流预报计算效率，函须建立一套适合河系产汇流并发演算的架构体系。本研究借鉴流水线作业模式，将河系径流预报断面初始化、产流过程计算、区间汇流计算、河道洪水演算、校正分析等模块进行拆解，构建流水线式工作站，实现河系径流预报的并发计算，为一体化洪水预报调度类专业应用系统提供基础技术支撑。1酒河系径流计算并发模式构建1.1流水线模式随着多核处理器的普遍推广，线程级并行应运而生。线程级并行通过多核技术并行执行多个线程，从而增大吞吐量，实现性能加速16-18 。并发算法虽然可以充分发挥多核处理器的性能，但并非所有的计算都可以改成并发的形式，在执行过程中有数据相关性的运算一般难以实现并行化。如在河系径流预报计算中，一方面断面自身产流、汇流等过程具有相关性，另一方面下游断面出流过程依赖上游断面计算结果，因此，难以直接对各断面同时进行并发计算。在计算机系统结构中，流水线技术是提高处理器性能的重要手段之一。典型的流水线模式如图1所示。第4期工作流1通信传输I0图1流水线模式示意图流水线模式将1个任务分解成多个工作流完成，假设现在1个任务的第1个步骤已经完成，那么将到达第2 个步骤；如果此时又来了1个新的任务，那么第1个任务的第2 个步骤和第2 个任务的第1个步骤将并发执行。如果任务有多个，就可以建立一条流水线模式的连续作业平台，从而实现工作流间的并发计算。工作流之间的传输通信通过IO队列完成。1.2河系径流计算分解河流系统中断面间的水力联系（以树状河网为例）一般可以概化为2 类，一类是无上游关联控制站的源头断面，如图2 中的断面A，B，另一类是具有上游水力联系关联控制站的中间和末端断面，如图2 中的断面C,D。对于断面A,B,径流过程计算相对独立，仅需计算区间自身的产汇流过程；对于断面C,D，径流过程由区间自身径流过程与上游河道演算径流结果叠加得到。图2 河流系统断面水力联系概化示意图目前，水文生产业务实践中仍以经验相关法为主，各流域区间一般均有成熟的水文预报方案。其中，产流计算以降雨径流相关线法，汇流计算以时段单位线法，河道洪水演算以马斯京根或汇流系数法最为普遍。此外，为修正计算误差，一般均对模拟结果进行校正计算。本研究根据河系径流预报过程，将河系径流计算分解为4个工作流。工作流1（W）是模型的初始化工作，主要完成集水区产汇流单元划分、雨水情站点组成及实时信息读取等任务，负责组装断面站点、单元划分组成及雨水情信息，为工作流2 提供各类输入信息；工作流2（W2）是集水区产汇流计算，在经验模型中包括面雨量、净雨、产流、汇流等内容，负责区间产汇流计算，为工作流3提供区间来水信息；工作流3（W3）是河道洪水演算，负责河道演进计算，为工作胡友兵等：基于流水线模式的河系径流预报并发计算研究工作流2工作流3通信传输I07D51流4提供上游来水信息；工作流4（W）是来水叠加及校正分析计算。1.3河系径流计算并发模式将每个工作流Wi，W2，W3，W4用一个线程工作站（如图3中的Pj，P2，P3，P4)实现，按照流水线架构连接，将河系径流节点按水力联系构造径流计算单元集队列，依次将队列元素推入线程工作站。当计算单元各工作流依次进入线程工作站后，即可建立一套线程流水线，实现河系径流并发计算，如图3所示。PIP2W2个WWBD图3河系径流计算线程流水线工作站假如工作流W，Wz，Ws，W4的执行时间分别为t，t 2，t 3，t 4。若采用传统串行方式执行，则总的执行时间为t=ti+t+t+t4；若以流水线方式，总的执行时间为ta=max(ti，t，t s，t 4)，那么整个任务的加速比为t/tz。由此可见，采用线程流水线方式可以极大加快程序的运行速度，提高吞吐量。2试验与应用2.1试验区概况淮河地处我国南北气候过渡带，水文地形复杂，是我国暴雨洪水高频发地区19-2 0 。淮河干流从上至下分布有王家坝、正阳关、吴家渡和洪泽湖等4个重要控制节点。本研究选取正阳关以上流域为试验区，试验区河流及控制断面分布示意图如图4所示。正阳关流域控制面积为8 8 6 30 km，流域内断面划分及径流预报方案选用淮河正阳关以上流域短时段水文预报方法研究2 1 成果，其中预报断面共有51个，降雨径流计算方法以经验相关方法为主。为提升系统计算效率，根据河系上下游演算关系，参考斯特拉勒河网分级算法，构建计算断面演算分级拓扑关系。其中：1级源头断面有2 6 个，直接依赖源头节点的2 级断面有11个，其余37 级断面共有14个。2.2方法验证及应用本研究选用Java并发包（java.util.concurrent）设计实现河系径流计算线程流水线2 。根据河系径流P3W,WWW4WWP4VW4W3W452水利信息化2023(4)N河流0L1图4试验区河流及控制断面分布示意图流水线工作站线程作业特点，选用定长线程池实例(newFixedThreadPool)，该线程池可以控制线程最大并发数，超出线程会在队列中等待。线程间通信传输利用阻塞队列实现。阻塞队列是一个由链表结构组成的双向阻塞队列，支持从队列的头和尾同时操作(插入/删除），并且支持线程安全。2015一2 0 17 年，淮河水系连续发生超警洪水过程，为验证本方法计算结果的可靠性，选取3a主汛期超警洪水过程进行模拟计算。统计淮河干流王家坝、正阳关2 个重点控制断面洪峰流量的模拟结果。此外，将本方法与串型结构方法在同一机器（操作系统为统信UOS20，处理器为FT-2000，内存为16 GB)上进行平行实验，3场洪水计算耗时如表1所示。王家坝洪峰流量/(ms)洪号实测201506303320201607223570201707113050超3倍，为B/S架构下河系径流在线模拟响应效率和系统稳定性提供了技术保障。需要指出的是，本次实验共开启了4条流水线，理论上并发模式较传统串型模式应提升4倍效率，但受线程资源、工作流调度等因素影响，实际效率未达363534333231112113114115116117118119120121E正阳关率，满足洪水预报实时性要求，尤其适用于B/S模式控制断面对系统响应效率的需求。3结语50100模拟328038602880由表1可知，3场次洪水期间，王家坝、正阳关断面洪峰流量模拟结果与实测流量基本相当，表明本研究所构建的河系径流预报并发计算方法可靠。较传统串型结构方法加速比为3.13.5，说明基于流水线模式的河系径流预报并发计算方法能够有效提升河系径流预报的计算效200河系降雨径流模拟分km析降雨形成的区域径流发生发展过程，水旱灾害防御、水资源高效利用、水生态系统保护等领域都以降雨径流模拟结果为基础。为解决河系径流断面间高度依赖关系带来的预报计算效率问题，引入流水线并发模式，对河系降雨径流模型计算流程进行分解，构建河系径流模拟流水线并发模型，并在Java并发包平台上实现。将河系径流模拟计算拆分为4个基础计算工作流模块，按照流水线架构连接每个工作流，将河系径流节点按水力联系构造径流计算拓扑队列，依次将队列元素推入线程工作站建立一套线程流水线，实现了河系径流的并发计算。选取淮河水系正阳关以上流域为研究区，对研究区2 0 15一2 0 17 年主汛期3次超警洪水过程进行了模拟计算，结果表明构建的河系径流并发计算方法可靠，计算效率较传统串型结构提升表1试验区典型洪水模拟结果及效率对比正阳关洪峰流量/(ms)实测模拟4.9604890281031802.7802.570到理论值。参考文献：1 MAIDMENT D R.Handbook of hydrologyM.New York:McGraw-Hill,1992:1-10.耗时/s串型结构方法本方法37.611.544.512.738.512.1加速比3.33.53.1第4期2芮孝芳.对流域水文模型的再认识.水利水电科技进展,2 0 18,38 (2):1-7.3包红军，赵琳娜，李致家.淮河具有行蓄洪区河系洪水预报水力学模型研究.湖泊科学，2 0 11,2 3（4)：6 35-6 41.4赵人俊.流域水文模拟M.北京：水利电力出版社，1984:11-20.5 World Meteorological Organization.Manual on floodforecasting and warningM.Geneva:World MeteorologicalOrganization,2011:3-8.6李致家,孔凡哲，王栋，等.现代水文模拟与预报技术M.南京：河海大学出版社，2 0 10：1-3.7 LI J,WANG Z,LIU C.A combined rainfall infiltrationmodel based on Green-Ampt and SCS-curve numberJ.Hydrological Processes,2015,29(11):2628-2634.8 BEVEN K J,KIRKBY M J.A physically based,variablecontributing area model of basin hydrologyJJ.HydrologicalSciences Journal,1979,24(1):43-69.9李致家，黄鹏年，姚成，等.灵活架构水文模型在不同产流区的应用.水科学进展.2 0 14,2 5（1)：2 8-35.10霍文博，李致家，李巧玲.半湿润流域水文模型比较与集合预报J.湖泊科学，2 0 17,2 9（6)：149 1-150 1.11夏润亮，冯兴凯，何明民，等.基于模型标准化的水利数值模拟云服务平台研究J.水利信息化，2 0 15（6)：1-7.12刘金平，张建云.交互式洪水预报系统及关键技术研究.水文,2 0 0 4,2 4(1):4-9.13番华芬，徐志芬实时洪水预报模型及其在大盈江梁河段胡友兵等：基于流水线模式的河系径流预报并发计算研究2005,33(12):99-101.16 RAASCH R S.The impact of resource partitioning onSMT processorsC.Proceedings of the 12th internationalconference on parallel architectures and compilationtechniques.New Orleans:IEEE Press,2003:15-25.17季园园，张涛，王海鹏.基于线程流水线的多核线程调度策略.计算机工程，2 0 13,39（2)：2 7 9-2 8 2，2 8 7.18王容，宫博亚，孔祥意.全国水情信息交换系统升级完善优化设计.水利信息化，2 0 2 1（4)：1-5,30.19平凡，唐细坝，高守亭，等.长江和淮河流域汛期洪涝大气环流特征的比较J.中国科学：地球科学，2 0 14，44(4):766-782.20刘开磊,胡友兵,汪跃军,等.BMA集合预报在淮河流域应用及参数规律初探.湖泊科学，2 0 17 2 9（6)：152 0-152 7.21淮河水利委员会水文局（信息中心）.淮河正阳关以上流域短时段水文预报方法研究M.合肥：安徽科学技术出版社,2 0 14：1-6 7 5.22 GUSTAVO P,WESLLEY T,BENITO F,et al.A large-scale study on the usage of Javas concurrent programmingconstructsJ.Journal of Systems and Software,2015,106:59-81.53的应用武汉大学学报（工学版），2 0 0 6,39(3)：6 0-6 3.14陈瑜彬，邹冰玉，牛文静，等.流域防洪预报调度一体化系统若干关键技术研究.人民长江，2 0 19，50（7)：2 2 3-2 2 7.15康玲，王学立.基于Web services的Agent防汛决策支持系统研究.华中科技大学学报（自然科学版)，Research on concurrent computing of river runoff forecast based on pipeline modelHU Youbing,CHEN Banghui,XU Shijin,WANG Kai,CHEN Hongyu,FENG Zhigang,MA Yanan(Hydrological bureau(Information Center)of Huaihe River Water Resources Commission,Bengbu 233001,China)Abstract:Affected by the complexity of single-station hydrological process calculation and the dependence ofdownstream stations on upstream related ones,the series mode is mostly applied in existing flood forecast systems.However,the series model is low-efficient in the case of too many prediction nodes and complicated model method.In order to improve the calculation efficiency,this paper introduces the idea of concurrent pipeline model,anddisassembles the modules of forecast station initialization,unit runoff calculation,river flood routing and correctionanalysis.A pipeline workstation is built,where the forecast stations are input continuously according to hydraulicconnection,aiming at realizing parallel concurrent calculation of the node runoff.A study case is carried out in thewatersheds above Zhengyangguan of the Huaihe River,where there are more than 50 runoff sections.The case resultsshow that the proposed concurrent calculation method is reliable,and the efficiency of concurrent calculation ismore than 3 times higher than that of the serial model.Thus,it can effectively improve the efficiency of river runoffforecast,and meet the real-time requirements,especially the B/S models demand for system response eficiency.Key words:river runoff forecast;pipeline;concurrent;flood forecasting system;Huaihe River（责任编辑：来冰华）