水资源数据交换解决专项方案V.docx

水资源数据交换处理方案1、项目概述实施最严格水资源管理制度关键是围绕水资源配置、节省和保护，确立水资源管理三条红线，建立水资源管理责任制和考评制度，确保水资源管理目标实现。全方面实施最严格水资源管理制度，必需加强水资源监控设施建设，实时掌握来水、取水、用水和排水动态，确保第一手信息正确性、科学性和精细化，为最严格水资源管理制度考评提供手段和依据。实施最严格水资源管理制度，现在关键是处理水资源管理基础微弱问题。水利部组织编制了国家水资源监控能力建设项目实施方案，提出利用三年左右时间，开展国家水资源监控能力建设项目，初步形成和实施最严格水资源管理制度近期目标相适应国家水资源监控能力，为支撑水资源管理定量考评工作奠定基础。国家水资源监控能力建设项目建设内容以国控监测点在线监测和传输能力建设和中央、流域、省三级监控管理信息平台建设为关键，构建包含针对8558个规模以上取用水、4493个关键水功效区、789个省界断面和关键控制断面等国控监测点组成国家水量水质在线监测数据采集传输网络（不包含土建工程）；构建包含1个中央平台、7个流域平台和32个省级平台（含31个省、自治区、直辖市和新疆生产建设兵团）组成国家水资源监控管理平台。2、现实状况和需求分析2.1、现实状况现在水利相关组织架构和建设体系逐步完善，从“十一五”到“十二五”过程中，将逐步建设围绕水利关键业务工程项目。网络环境建设方面，已经建成了连接水利部和7个流域机构、32个省级水利部门全国水利政务外网骨干网和水利部连接水利部在京直属单位、7个流域机构水利政务内网，各流域机构、省（自治区、直辖市）水利部门均建成了部门内政务外网（或政务内网）局域网，流域机构到所属单位政务外网广域网基础建成，18个省（直辖市）已建成至各地（市）水利局、直属单位政务外网广域网。2.2、平台接入系统分析在本项目系统建设过程当中，包含到众多业务系统，此处虽无法全部列出，但从不一样维度能够对多种业务系统进行分类分析，从中归纳出各类业务系统/业务对象接入特点。2.2.1、建设时间维度以建设时间维度来分析，各类接入业务系统能够分为已建、待建或在建和计划中三类。建设时间不一样将决定各个接入业务系统和数据交换平台之间对接方法不一样。对于已建业务系统，数据交换平台应以兼容性接入方法为主，尽可能以低侵入方法降低对已建系统变更影响；对于在建或待建业务系统，数据交换平台能够经过提议和计划方法为系统提供对接接口，以其和业务系统实现无缝集成；对于计划中业务系统，数据交换平台应提供可扩展接口支持，并制订对应技术接口规范，方便于后续业务系统计划和架构。2.2.2、系统类型维度此处“系统类型”关键是从交换共享业务所需信息资源存放位置角度来定义系统。从整体上来分，本期项目所包含业务系统可分为部级、流域级、省级。部、流域、省三级结构业务系统是指采取部级、流域级、省级三级布署架构业务系统；各级独立结构业务系统是指现阶段在每一级已经在用业务系统。经过调研现在已经完成系统建设省份是江苏省，其它部级、流域级、省级信息平台全部未建设。2.3、平台交互场景分析平台交换场景分析了数据交换平台和各接入系统之间交换关系，说明了业务系统之间经过数据交换平台所完成业务步骤。2.3.1、横向数据交换每一级业务系统之间横向内部数据交换，需要经过业务数据库和数据交换平台来实现。横向场景是指，在部级节点、流域节点、省级节点水资源信息平台全部需要和水利部其它业务系统（比如：防汛抗旱、水资源电子政务等）做数据采集，立即外部业务系统数据采集进入信息平台数据库。以部级业务系统为例。现在看到横向数据交换更多是单向数据汇总。2.3.2、纵向数据交换部、流域、省三级业务系统之间纵向交换，需要经过部、流域、省三级交换数据库来实现。异地数据交换方法实现了部、流域、省三级业务数据交换。包含数据上传和数据下发两部分：数据上传是指流域节点、省级节点将水资源数据上传至部级节点，即流域、省级信息平台数据库和部级信息平台数据交换。数据下发是部级节点将数据下发至指流域节点、省级节点，即部级信息平台和流域、省级信息平台数据库交换。以部级和流域纵向数据交换为例，交换场景分为：l 流域级业务系统向部级业务系统上报数据流域级业务系统依据部级系统要求定时或实时将数据信息经过数据交换平台进行上报。l 部级业务系统向流域级业务系统下发数据流域级业务系统能够经过数据交换平台向部级业务系统申请共享数据，部级业务系统经过数据交换平台将共享数据下发给流域级系统。2.3.3、内外网数据交换数据内外网交互场景是考虑到水利数据不能在流域、省级节点内外网之间直接交互数据，数据流是流域、省级节点外网先上传至部级节点外网，然后在部级节点内网、外网经过网闸、或物理刻盘方法传输到内网，然后在内网做数据下发。反之亦然2.4、平台交互数据分析在不一样交互场景之中，平台能够提供交互内容和方法根据不一样维度来分，能够分为以下若干种类。交互数据类型分析图示，以下图：2.5、平台隔离性分析数据交换平台独立于各业务系统业务逻辑，数据交换平台和现有业务系统再交互上保持相互隔离和透明，数据交换平台对现有业务系统没有影响或尽可能降低影响。在此基础上扩充增加业务系统，不影响数据交换平台基础架构。考虑到平台隔离性需要引入前置概念，由前置库、交换库来屏蔽数据交换平台和业务系统紧耦合。2.6、平台统一性分析在本项目中需要数据交换平台需要制订统一交换协议和数据规范，能够约束和规范平台和业务系统数据交换。在进行数据交换时，连接到数据交换平台各个业务系统遵照统一标准。统一性要求有利于在多种业务系统之间、异构数据库之间、不一样网络系统之间提供整合手段，确保整个数据交换平台数据一致性，廉价管理和监控，简化各个业务系统和交换平台互联开发量。采取数据交换平台方法搭建，有效方法就是建设标准交换库。2.7、平台扩展性分析数据交换和共享平台在完成本期项目建设目标和任务基础上，还应该着眼“水资源建设体系”整体计划，为体系内业务系统连续建设和发展提供基础性技术支撑，并对可预见平台扩展性需求进行分析和考虑。关键表现在三级业务系统横向扩展、三级级业务系统纵向扩展和伴随规模和业务量扩大所进行平台升级和加固。2.7.1、横向扩展l 兼容已建业务系统对于水利其它项目已经建设完成业务系统，数据交换和共享平台应有能力提供系统接入和数据交换功效支持，以适应已建系统业务扩展。l 为待建业务系统提供支持对于本项目在建或待建业务系统，数据交换和共享平台能够提供规范性数据交换接口和数据交换标准规范，为业务系统建设提供参考性意见，并能够对其进行系统接入，为其提供数据交换和共享服务。2.7.2、纵向扩展l 流域级业务系统接入策略数据交换平台应该考虑接入流域级信息平台不一样业务逐步需要接入到部级信息平台接入支持。l 省级业务系统接入策略数据交换平台应该考虑接入省级信息平台不一样业务逐步需要接入到部级信息平台接入支持。2.8、平台跨平台运行分析伴随业务系统规模不停扩大，肯定会包含硬件平台需要升级，在硬件系统升级时，数据交换平台需要平滑过渡。伴随业务扩展，系统升级，全部处理过程，包含程序代码均不需要做任何修改，即可平滑迁移到新平台上。同时，数据交换平台能够适应各个部门多种软硬件平台。2.9、平台功效需求分析数据交换平台建设完成后要纵向打通部、流域、省三级信息平台信息交换，横向打通防办、水文局、外部业务系统信息交换。不管是纵向还是横向数据交换全部需要交换平台含有以下功效：l 数据采集功效l 数据管理功效l 数据交换功效l 数据共享功效l 应用集成整合功效l 数据安全功效l 平台扩展功效3、建设内容本项目数据交换平台建设建设内容是：数据交换平台连接中央信息平台、流域信息平台、省级信息平台和其它政府部门单位，在纵横双向广域网络上以星型拓扑结构实现业务数据交换、同时，形成统一共享数据中心。在纵向上能够由数据交换管理平台定时或实时地从下级节点取得数据，经过消息中间件向上级节点作业务数据汇总，上级节点集成中间件取得数据，经过加工处理，送入对应节点数据库。同时横向各相关委办局外部应用系统在进行数据交换和共享时经过数据采集工具提供多种适配器将不一样业务系统接入，并进行业务整合。4、总体设计方案4.1、平台总体架构依据本期项目标业务要求和应用特点，提出交换和共享平台方案，应立足为水资源建设提供一个“基础化、可复用”平台交换设施，交换平台将考虑未来为更多数据共享提供支撑和整合。数据交换和共享平台在设计实现上充足考虑了以下关键原因：首先其符合国家对交换信息资源交换管理相关标准和规范；其次，采取优异技术设计实现，包含多层设计中间件技术体系等；再次，吸收现在东方通在政务资源交换和管理实施方面经验和对部分技术实现可行性验证，在平台设计上做到客观、实际、以满足业务应用需求为主导；最终，设计实现方法完全基于东方通现有集成中间件产品，含有完整自有知识产权。平台整体上分为部级、流域级、省级两级布署方法，整体处理方案关键强调对整体数据交换过程松耦合、统一规范、可扩展、可管理。部级数据交换平台由数据交换管理平台TongDXP、消息中间件TongLINK/Q、数据采集工具TongIntegrator、部级前置数据库组成。其中数据交换管理平台TongDXP、消息中间件TongLINK/Q、数据采集工具TongIntegrator三个部分是平台关键组成部分，部级前置数据库是平台中间数据承载部分，是平台关键补充。流域级、省级数据交换部分和部级数据交换部分配置相同。在纵向上，以部级、流域、省两级交换库组成了基础数据同时架构，两级平台经过数据交换管理平台TongDXP完成上下级交换库之间数据交换管理，消息中间件TongLINK/Q保障跨网络数据传输安全。在节点交换库和节点信息平台数据库之间采取数据采集工具TongIntegrator完成数据采集、转换、加载、入库过程。在横向上，部级、流域、省级横向操作模式相同，以部级为例，关键是完成部级信息平台数据库和水利外部业务系统（比如：防汛抗旱、水利电子政务等）数据对接工作。以业务前置库为辅方法形成了“数据权威集中、共享需求隔离”数据交互架构，业务系统对共享数据个性化需求由各自业务前置库来满足。4.2、平台组成4.2.1、数据交换管理平台数据交换管理平台TongDXP在本方案中承载部级节点、流域节点、省级节点逻辑上三级交换库之间数据交换，同时也承载三级平台交换过程数据管理。数据交换管理平台TongDXP提供业务人员易用web管理控制台，能够对三级平台交换库之间传输很简易配置，同时也能够根据集中方法统一管理、分域方法对以树形结构管理整体交换工程，比如：部级数据交换管理平台以分域形式能够管理7大流域到部级整体数据交换过程，长江流域数据交换管理平台能够管理其下属省份到长江流域数据交换过程。高效合理管理方法是水资源项目后期组织保障。数据交换管理平台TongDXP能够管理全网水资源两级信息平台交换库之间数据交换过程、信息平台交换库和信息平台业务库数据交换过程、外部业务前置库和业务数据库数据交换过程。4.2.2、数据采集工具数据采集工具在本项目中承载业务前置库和信息平台业务库之间数据交换，信息平台业务库和信息平台交换库之间数据交换，在有可能情况下完成业务前置库和水资源外部系统数据之间数据交换。数据采集工具TongIntegrator提供功效丰富适配器组件技术。每个适配器不仅提供功效数据交换适配和服务功效，而且无需编码，只需经过简单配置就能够实现数据交换。数据采集工具能够经过数据库触发器、数据库时间戳直接读取数据，也能够读取数据文件、访问应用接口获取数据。4.2.3、消息中间件消息中间件TongLINK/Q负担在外网上传输数据信息关键职责，亦是连接各级数据交换管理平台和各个数据采集工具关键数据通道。消息中间件TongLINK/Q为各个相关信息系统和数据交换平台之间数据传输提供了可靠确保。消息中间件消息传输一次且只有一次，是可靠传输，其可靠性关键反应在消息中间件很多内建功效可靠上。即使在网络阻塞，物理链路临时中止，甚至主机宕机等严重情况下仍然能够经过续传确保数据不丢、不重、不错传送到接收节点。4.2.4、信息平台交换库交换库设置是为了处理部级信息平台和流域级信息平台、流域级信息平台、省级信息平台接入标准化问题，经过在各级信息平台设置交换库，能够将信息平台业务库数据已标准化方法接入，成功解耦上下级平台，权限职责分明，并最终形成数据上传下达。信息平台交换库设置在水资源项目实施过程中能够解耦上下级平台，搭建好传输骨干，含有良好模式优势：第一，扩展性很好。能够很轻易做纵向扩展，比如实施过程中，部级信息平台和7大流域信息平台、32个省级信息平台能够逐步接入，定义好交换库标准，不管7大流域信息平台是哪种方法、什么时间接入，全部不会对传输骨干造成影响，每个流域信息平台接入只需要做信息平台交换库和信息平台业务库数据标准映射。第二，能够解耦上下级平台。信息平台交换库成为平台间交换标准角色，有效降低紧耦合带来数据交换实施工作量，同时能够较为清楚定义上下级责任边界，降低项目实施过程中“扯皮现象”，采取数据交换管理平台TongDXP能够监控具体数据传输量作为评测依据。第三，标准化定义很清楚。信息平台交换库方法是电子政务交换体系关键组成部分，相关模式已经很清楚，在实施过程中只需要定义标准规范就能够快速复制，具体标准规范包含：部级信息平台数据库和流域级交换库对接标准、部级信息平台数据库和省级交换库对接标准、流域级交换库和流域信息平台数据库对接标准、省级交换库和省级信息平台数据库对接标准等。4.2.5、业务前置库业务前置库设置是为了处理部级信息平台和部级外部业务系统、流域级信息平台和流域级外部业务系统、省级信息平台和省级外部业务系统接入标准化问题，经过设置业务前置库，能够将外部业务系统数据已标准化方法前置桥接接入，并最终形成数据上传下达。业务前置库设置在水资源项目实施过程中能够解耦信息平台和外部业务系统，以前置方法对接外部系统，含有良好模式优势：第一，扩展性很好。能够很轻易做横向扩展，比如实施过程中，信息平台和防汛抗旱、水利电子政务系统等外部业务系统能够逐步接入，定义好前置标准，能够轻松和外部系统对接，每级业务系统接入只需要做业务前置库和业务数据库数据标准映射。第三，标准化定义很清楚。业务前置库方法是电子政务交换体系关键组成部分，在实施过程中只需要定义标准规范就能够快速复制，具体标准规范包含： 长江流域前置库和长江流域水资源业务库对接标准、广东省前置库和广东省水资源业务库对接标准、四川省前置库和四川省水资源业务库对接标准等。4.3、业务场景分析4.3.1、数据采集场景数据采集场景是指，在部级节点、流域节点、省级节点水资源信息平台全部需要和水利部其它业务系统（比如：防汛抗旱、水资源电子政务等）做数据采集，立即外部业务系统数据采集进入信息平台数据库。数据采集场景是采取业务前置库方法处理系统紧耦合、平台扩展性。数据采集是分两步完成工作，第一步需要将外部业务系统数据库数据搬迁到业务前置库，第二步需要将业务前置库数据交换至信息平台数据库。第一步工作能够由业务系统采取主动方法将数据推送至业务前置库，同时也能够采取水资源项目提供TongIntegrator数据采集工具经过数据库触发器、数据文件读取、应用接口访问、消息中间件对接等多个方法将数据交换至业务前置库。其中数据库触发器方法需要业务系统提供操作权限，会对业务系统数据操作一定压力负荷；数据文件读取方法，由外部业务系统形成数据文件，数据文件能够采取数据批量和增量方法提供；应用接口由外部业务系统提供标准化webservice接口；消息中间件接口对接方法由外部业务系统提供接口。第二步工作由集成商使用TongIntegrator工具完成业务前置库到信息平台数据库数据交换工作，因为业务前置库只是数据存放，能够采取已经采购Oralce数据库、地方自有数据库或无偿mysql数据等多个方法，使用TongIntegrator工具能够用数据库触发器方法构建数据，同时能够猜业务前置库设计过程中考虑时间戳设计模式完成数据交换。4.3.2、数据上传场景数据上传是指流域节点、省级节点将水资源数据上传至部级节点，即流域、省级信息平台数据库和部级信息平台数据交换。数据上传场景一样采取松耦合架构方法建设，在流域节点、省级节点建设标准交换库，交换库建模标准采取和部级信息平台数据一样建模结构，这么在39个流域、省级节点全部是做流域、省级节点信息平台数据库和交换库对接，39个交换库只是做到和部级节点信息平台数据库同构交换。数据场景分为三步：第一步是做流域、省级节点信息平台交换库和交换库数据交换；第二步是抽取交换库数据做数据传输；第三步取得流域、省级节点数据做入库操作。第一步是采取TongIntegrator主动从信息平台数据抽取数据到交换库，因为考虑到信息平台数据库绝大多数全部是新建系统（江苏已经建设系统），系统建设计划过程就能够考虑交换数据形式，能够把交换数据存放数据库，数据库数据有时间戳标志，交换数据以文件落地或以应用接口方法公布，TongIntegrator采取触发器方法、时间戳方法、文件方法、应用接口方法对接。第二步是采取TongDXP从交换库中抽取数据做公布，交换库建设考虑到项目投资，提议能够采取Oracle、MySQL两种数据库，交换库不承载业务应用只做数据交换标准化，TongDXP提供Oracle日志读取、触发器两种方法能够快速抽取业务数据。第三步采取TongDXP订阅流域、省级节点公布数据，订阅完成后使用TongLINK/Q搭建可靠传输网络做数据传输，传输至部级节点数据由TongDXP做入库操作。4.3.3、数据下发场景数据下发是部级节点将数据下发至指流域节点、省级节点，即部级信息平台和流域、省级信息平台数据库交换。数据下发场景一样采取松耦合架构方法建设，在流域节点、省级节点建设标准交换库。数据下发场景分为三步：第一步抽取部级节点业务数据公布，第二步流域、省级节点订阅部级节点公布数据入流域、省级节点交换库，第三步流域、省级节点交换库同时至信息平台数据库第一步是采取TongDXP抽取部级节点数据，考虑到部级节点数据库采取Oracle数据库，那么使用TongDXP提供Oracle日志方法就能以低侵入方法访问部级信息平台数据库。第二步是采取TongDXP订阅部级公布数据，采取TongLINK/Q安全通道传输至流域、省级节点，并入库到交换库。部级节点公布数据能够是一对多方法被流域、省级节点使用。第三步采取TongIntegrator工具将节点交换库和节点信息平台数据库做数据采集、数据转换、数据入库。从节点交换库采集数据采取触发器、时间戳两种方法。4.3.4、数据内外网交互数据内外网交互场景是考虑到水利数据不能在流域、省级节点内外网之间直接交互数据，数据流是流域、省级节点外网先上传至部级节点外网，然后在部级节点内网、外网经过网闸、或物理刻盘方法传输到内网，然后在内网做数据下发。反之亦然数据内外网交互场景是数据上传、下发场景结合，差异性在于部级节点内外网交互，会有物理网闸和物理隔离两种方法。物理网闸方法内外网隔离能够考虑TongLINK/Q穿摆钟式网闸处理方案完成内外网。物理隔离方法做手工拷盘操作。4.4、布署架构在本项目中整体数据交换平台需要在1个部级节点、7个流域节点、32个省级节点布署数据交换管理平台、消息中间件、数据采集工具。其中在部级节点布署1套数据交换管理平台、1套消息中间件、1套数据采集工具；在流域节点布署7套数据交换管理平台、7套消息中间件、7套数据采集工具；在省级节点布署32套数据交换管理平台、32套消息中间件、32套数据采集工具，累计40套数据交换管理平台、40套消息中间件、40套数据采集工具。4.5、标准规范本项目标准规范体系框架由总体标准规范、技术标准规范部分组成。（1）总体标准规范：包含系统标准规范目录、系统名词术语、系统建设管理措施等内容。（2）技术标准规范：包含数据标准、交换标准。4.5.1、总体标准规范体系（1）应用系统建设运行标准规范体系针对应用系统建设和应用需求，依据国家已制订标准体系或信息系统建设标准规范参考模型基础上，制订符合国家标准要求应用系统建设和运行标准规范体系。首先提出支持应用系统集成建设任务标准规范体系。（2）建设术语规范针对应用系统集成建设内容，依据国家相关标准，制订覆盖整个应用系统业务术语规范，统一规范应用系统建设和运行信息及其管理术语。（3）项目建设管理措施本措施对调度运行管理系统建设集成实施规范化管理提供指导，经过明确项目管理基础步骤、项目建设和维护阶段基础步骤，制订各应用系统招标投标阶段、设计阶段、实施阶段、测试验收阶段和运行及维护阶段相关管理措施，明确相关方责任，确保项目建设有序推进和质量提升。4.5.2、技术标准规范体系信息系统基础是业务规范和数据标准。为保障信息系统中信息流动通畅，应建立符合国际标准、国家标准、行业标准应用机制，确保系统建设实用性、优异性、规范性和统一性。l 接入规范鉴于本项目所要对接各系统，数据集成交换平台、数据桥接系统所要建立标准有：部级信息平台数据库和流域级交换库对接标准部级信息平台数据库和省级交换库对接标准流域级交换库和流域信息平台数据库对接标准省级交换库和省级信息平台数据库对接标准长江流域前置库和长江流域水资源业务库对接标准广东省前置库和广东省水资源业务库对接标准四川省前置库和四川省水资源业务库对接标准l 数据规范本项目各业务系统所包含业务数据有多个，在项目实施过程中全部需要定义标准规范，比如：人员信息定义及格式规范取水许可证数据定义及格式规范水文数据数据定义及格式规范l 数据交换规范为保障本项目数据传输实时性、正确性、安全性等方面，需对数据交换方面编制对应要求，需制订水利水资源数据共享交换规范l 业务边界规范为了保障本项目系统集成整合顺利实施，需要在两两系统整合时定义整合业务边界规范，以明确边界划分有效理清责任问题，避免“扯皮”现象发生，便于时候就查原因。4.6、系统实施分析本项目考虑到项目实施，需要有多重角色定义：总集成商、分集成商（流域、省级）、厂商。总集成商作为水资源项目标总体协调单位，要总体计划本项目，总集成商完成部级平台和省级平台对接，包含流域节点、省级节点交换库建模和标准规范设计，完成流域、省级信息平台和节点交换库交换实施工作，完成39个节点交换库和部级信息平台数据库数据交换实施工作。同时也参与流域、省级节点信息平台和水利外部系统业务前置库标准规范定义。分集成商作为流域、省级节点集成补充，将参与各自流域、省级节点信息平台和水利外部系统业务前置库标准规范定义，同时完成各自流域、省级节点业务前置库和流域、省级信息平台数据库数据交换实施工作，有可能完成各自流域、省级节点业务前置库和水利外部业务系统系统数据交换实施工作。厂商作为本平台产品提供，辅助于集成商完成标准制订，提供产品培训、现场服务。5、平台具体设计5.1、数据交换管理平台5.1.1、体系架构数据交换管理平台体系图，以下图所表示：在交换中心节点上交换模块由交换步骤层、传输通讯层和中心数据源三个部分组成。交换中心节点经过数据传输通道（TLQ）消息中间件，完成和其相邻节点数据传输，经过TongIntegrator交换步骤控制引擎,控制经过本级中心数据、文件等交换流转，经过TongIntegrator交换服务管理模块，公布本级中心代理或代理途经本中心服务请求。监控管理中心数据源是中心全部交换业务异常数据、交换过程信息、管理信息数据存放区，经过交换步骤在中心流转异常数据将保留在中心库中，由中心异常处理步骤做数据持久化和数据赔偿，而中心管理库则统计全部中心交换过程基础信息等。5.1.2、功效实现前置交换这里前置交换是指数据交换平台中真正完成数据交换一个技术实现，数据交换从整个步骤上来说有数据抽取，数据处理及数据传输，经过这三个步骤就完成了一个基础数据交换过程。数据抽取模式数据交换平台有多个数据抽取模式，每一个数据抽取模式全部能够配置不一样数据抽取频率。搭建平台设计阶段就能够依据项目标实际需求选择不一样数据抽取模式，具体包含：l 日志分析模式：日志分析模式，是指经过分析数据库日志来抽取数据改变增量数据;因为现在各个数据库日志统计模式，开放程度全部不一样，经过对现在常见数据库分析，oracle数据库对日志开放程度比较高，统计比较具体，故此抽取模式只针对oracle数据库，其优点对数据库侵入性低，只需要打开数据库归档日志即可，无需在数据库上做更多配置。l 触发器模式：触发器模式是针对现在常见数据库全部支持一个通用模式，即经过配置工具在要进行交换数据表上自动创建部分必需触发器，当数据发生改变是能够定时或实时把发生改变数据交换出去。l 时间戳模式：时间戳抽取模式是针对现在常见数据库全部支持一个通用模式，即要进行数据交换数据表上要求有一个时间类型字段，业务数据发送改变时候此字段更新成改变时间，系统会定时扫描发生改变数据进行交换。l 标志位模式：标志位抽取模式是针对现在常见数据库全部支持一个通用模式，即能够指定要进行交换数据表中某一个字段值是什么时候进行交换，这里称其为标志位，当完成交换后把此字段设置成另外一个状态，即已经完成交换。交换触发模式交换步骤实施触发方法可分为定时触发，实时触发，手工触发，条件触发。l 定时触发：数据交换可指定某个时间，或某个周期定时实施。l 实时触发：数据交换实时进行，当系统检测到数据增量改变时实时交换数据，检测频率可设定。l 手工触发：可经过手工操作来实施数据交换。l 条件触发：可依据某个条件，当条件满足时来触发交换步骤实施。数据处理数据处理是当数据抽取出来后需要进行多种处理后再进行传输，包含交换模式，交换方向，数据加工，数据过滤，数据路由等功效支持。l 交换模式：是指多个节点之间进行数据交换时能够对应多个业务模式，平台支持数据库表一对一交换；多个表交换到一张表中；一张表数据交换到多张表中。l 交换方向：是指在业务数据交换中支持交换方向，平台支持数据单向下发、上传；两个数据库数据双向交换，即任何一方发生改变全部要交换到对方；数据广播，通常见于上级数据向全部下级广播数据交换。l 数据过滤：对业务数据能够从两个方向去进行过滤，一个是能够在数据公布时候进行有条件公布过滤，另外就是针对不一样订阅进行各自特有订阅条件过滤。l 数据路由：这里路由首先是依据数据内容路由，按业务要求不一样内容交换到不一样目标地；另外就是指数据转发场景支持，即当两个交换节点之间网络无法直通情况下，能够经过一个中介网络进行路由转发。l 数据关联：数据交换可对单表交换，主子表关联交换，和数据表和文件结合数据交换。数据传输在数据交换中，数据传输是比较关键一个技术，怎样能立即、可靠、完整及安全确保数据传输是最关键，现有平台传输全部是基于企业已经有消息中间件来完成，消息中间件经过多年在金融电信等关键行业应用后已经很成熟稳定，数据平台无缝集成消息中间件，消息中间件对用户来说是透明。现有平台在数据传输过程中支持：l 链接管理：支持网络常连接和按需连接两种连接模式，以愈加好地适应不一样网络通讯环境，节省系统资源和提升传输效率；l 断点续传：消息不重传，从中止位置开始续传，直到消息传输完成。l 压缩传输：提供数据压缩机制，提升网络传输性能。l 加密传输：提供数据加密机制，加强数据传输安全控制。支持多个网络底层环境，如：租用线 (Leased line)、拨号线、分组交换网（X.25）、DDN , 帧中继 (Frame Relay) 、卫星网络等。统一配置管理交换基础信息配置交换节点/交换通道/网络拓扑配置当要完成一个数据整合项目标时候，肯定会包含到多个点数据交换，这里交换节点关键就是指这些要进行交换交换服务器配置；交换节点全部是在一定权限控制下，由配置管理中心统一进行配置，这些节点配置、管理及监控全部以一个交换拓扑图为基础进行，操作简单快捷，能够定义交换节点之间上下级关系，定义节点之间交换路径等，当节点配置完成后，各个交换服务器上相关配置信息就全部配置完成，整个交换拓扑图也就自然形成，全部交换传输通道也已经创建完成。交换业务配置全部交换业务、交换规则、交换路径全部在这里进行配置及管理，具体配置包含：l 交换数据库配置：要进行数据交换数据库基础信息配置管理。l 公布数据库步骤配置：要对外公布数据配置管理，这里会配置哪个数据库那个业务表要把数据交换出去；用什么模式抽取这些数据；抽取是否有条件及条件配置；抽取频率及相关部分处理规则。l 订阅数据步骤配置：要接收公布数据配置管理，这里会配置那个数据库那个业务表要接收此公布数据，一个公布资源一旦被订阅，就形成了一个交换步骤，订阅能够针对已公布资源进行过滤、转换等；一个公布资源能够被多个资源订阅，一个订阅也也能够接收多个公布数据。l 批量处理步骤配置：n 批量公布资源：要对外公布数据批量配置管理，这里关键会配置哪个数据库那些业务表要把数据交换出去；能够完成一个数据库全部表或部分表批量公布，这些批量公布基础规则统一配置，公布条件等信息也能够单独进行配置。n 批量订阅资源：要接收公布数据批量配置管理，这里会配置那个数据库那些业务表要接收公布数据，系统会出某一个数据库全部公布，同时针对选定订阅数据库按一定规则优异行自动匹配公布订阅步骤，用户也能够手工进行匹配。统一监控管理数据交换平台监控管理关键分为两方面：l 交换环境监控: 数据交换平台（基础设施监控），即交换节点、交换配置基础信息;l 交换业务数据监控：交换数据监控是指数据交换业务数据交换统计分析，比如某个业务表在某个时间段有多少数据进行了交换。交换统计分析，可从不一样角度来进行：节点交换统计，数据源交换统计，交换步骤（业务表）交换统计。交换环境监控交换环境监控关键是指各个交换节点和整个交换网络监控，经过之前在配置管理中配置好一个交换网络拓扑图能够很清楚监控到整个交换网络及网络中各交换节点状态是否正常；当发觉交换节点有异常显示后，能够查看此交换节点具体监控，包含交换服务器资源占用情况、交换服务器上各交换步骤运行情况等信息。l 交换节点资源监控：可监控节点基础设备资源，如：CPU，内存，硬盘使用百分比，网络使用情况等。l 交换节点状态监控：可监控平台系统中交换节点状态，如某节点是否连通等。l 交换步骤监控：可监控交换步骤状态，是否开启等。l 系统告警监控：当上述监控中发觉异常，统计告警，并可经过配置告警方法告警，l 平台默认实现了邮件告警方法，只需要配置对应邮件信息，当有警告产生时，会自动发送告警邮件给邮件接收者。同时平台还提供了可扩展告警方法接口，可依据项目需要扩展不一样告警方法，如短信告警等。交换业务数据监控在数据交换中，用户最关心是数据是否正确、完整交换到指定目标地，现有数据平台从多个角度去完成了数据交换监控及告警：l 节点交换统计：能够统计某一个或某多个节点在某一个时间段内数据交换情况，包含那个步骤(即那张表)，发送(中转或接收)成功数、失败数等信息。l 数据源交换统计：能够统计某一个或某多个数据库某一个时间段内数据交换情况，包含那个步骤(即那张表)，发送(中转或接收)成功数、失败数等信息。l 公布订阅统计：能够依据节点、数据源及其上公布或订阅资源进行更细定位来统计某一个时间段内数据交换情况，包含那个步骤(即那张表)，发送(中转或接收)成功数、失败数等信息。交换节点是指平台系统中实际参与数据交换一个逻辑节点，负责依据步骤配置，从业务库/前置库中根据指定抽取数据模式抽取数据，并进行数据处理，打包，经过数据传输模块将数据发送到指定目标交换节点，目标交换节点接收数据，并处理数据。5.2、消息中间件设计5.2.1、设计思绪数据交换平台TongLINK/Q传输总线，提供松散耦合消息通信机制。消息通信由消息中间件TongLINK/Q来完成。消息中间件TongLINK/Q负责将交付消息传送到目标节点目标队列。消息发送者和消息接收者完全不需要关注对方在什么位置，她们之间经过队列实现点对点消息传输。同时，消息传输网络，也支持公布/订阅模型消息传输。在应用系统进行数据通讯时，应用进程经过TongLINK/Q接口函数，将消息放入消息队列中。TongLINK/Q关键进程从消息队列中取出消息，根椐消息中接收者名字，经过TongLINK/Q之间建立数据通道，将该消息传送到接收者所在TongLINK/Q关键。接收者所在TongLINK/Q关键收到消息，若是需要可靠传输消息写入消息队列中，接收应用进程经过调用TongLINK/Q接口函数，从消息队列中取出消息。至此，一个消息传输完成。消息中间件TongLINK/Q消息传输一次且只有一次，是可靠传输，其可靠性关键反应在TongLINK/Q很多内建功效可靠上。即使在网络阻塞，物理链路临时中止，甚至主机宕机等严重情况下仍然能够经过续传确保数据不丢、不重、不错传送到接收节点。消息可靠传输经过两种机制加以确保，一是消息收发时事务管理，二是消息可靠存放和可靠传输。l 消息事务管理消息事务管理是确保消息可靠投递到队列中，或可靠地从队列中取出使用。事务管理能够确保多个消息同时放入队列全部成功或全部失败，确保多个消息同时从队列中取出全部成功或全部失败，应用处理消息不成功能够将消息回退到队列中，等候下次继续处理。l 消息可靠存放和可靠传输消息可靠存放和可靠传输是确保消息在两个队列间可靠传输。在传输过程中不管是机器意外停机或网络意外中止，在消息生命周期内这些故障得以恢复后，TongLINK/Q能够确保消息能够继续可靠传输到目标队列中。5.2.2、体系结构本节描述TongLINK/Q基础组成和运行方法。TongLINK/Q体系结构以下图：在应用系统进行数据通讯时，应用进程经过TongLINK/Q接口函数，将消息放入消息队列中。TongLINK/Q关键进程从消息队列中取出消息，根椐消息中接收者名字，经过TongLINK/Q之间建立数据通道，将该消息传送到接收者所在TongLINK/Q关键。接收者所在TongLINK/Q关键收到消息后将消息写入消息队列中，接收应用进程经过调用TongLINK/Q接口函数，从消息队列中取出消息。至此，一个消息传输完成。TongLINK/Q系统关键由以下几部分组成，包含关键程序、代理程序、用于信息登记共享内存和统计系统运行信息日志。l 关键程序关键程序由一组守护进程组成。关键程序关键工作是建立、维护、监控数据通道；从应用队列中取出要发送消息，经过数据通道将消息发送出去；从数据通道中接收消息，将消息经过数据通道进行转发或写入当地应用队列，提交给当地应用进程。对于需要可靠传输消息，进行传输过程跟踪登记，依据网络情况和主机情况确保消息可靠传输。l 代理程序代理程序是一组依靠于关键程序，同时能够分担关键程序负载进程组成。关键包含：监控代理、用户方代理和公布订阅代理。代理程序负责