数据交换共享中心设计方案.docx

数据交换共享中心设计方案
整合协同平台的主要功能是从其它子系统中提取共享数据，并对多来源渠道的、相互不一致的数据进行数据融合处理；基于数据字典对实时数据和历史数据进行组织,以保证数据间关系的正确性、可理解性并避免数据冗余；以各种形式提供数据服务，采用分层次的方法对各类用户设置权限，使不同用户既能获得各自所需要的数据，又能确保数据传输过程的安全性及共享数据的互操作性和互用性;维护基础信息、动态业务数据以及系统管理配置参数；支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分:
第一部分,基础数据和共享数据的交换服务和路由流程管理，该部分是交换平台的基础，包括:静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据.
第二部分，各子系统之间的接口实现，根据事先制订好的规范、标准，实现各子系统之间的数据共享和传输操作。在接入中心平台时，应按系统集成要求设计系统结构，各类数据接口遵循系统集成规范。
第一章 中心平台设计
1.1 平台功能结构
整合协同平台服务器是公共基础平台的核心部分，XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成,解决数据采集、更新、汇总、分发、一致性等数据交换问题，解决按需查询、公共数据存取控制等问题.
各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准.各业务部门通过数据级整合或者应用级整合通过XMA整合协同平台向数据中心提供数据，也通过XMA整合协同平台访问共享数据.
XMA整合协同平台的基本功能如下:
共享数据库的数据采集、更新、维护。
业务资料库、公共服务数据库的数据采集。
提供安全可靠的共享数据服务.
业务部门之间的业务数据交换.
结合工作流的协调数据服务.
功能流程说明：
数据供需方的接口数据系统：为了满足应用层交换和数据层交换，交换代理必须有应用层和数据层的连接和接口适配功能，数据代理必须有数据格式的转换功能。
数据传输：为了保证数据的正确传输和传输性能，必须有传输管理功能,包括了传输协议管理和控制，传输过程控、数据传输加密、压缩、网络故障检测和连接共享等功能。
数据整合协同平台：
会话管理:为了能提供数据的交换方式如主动(推)、被动（拉）；支持定时和实时策略，支持超时控制管理等功能，数据交换平台必须有会话策略、会话控制和管理功能。
数据管理：为了数据能按标准进行交换，能按照部署的路由规则进行交换，必须有数据路由、数据模板管理、数据解析、数据转换等功能。
系统管理功能：同时数据交换平台还应该提供服务管理功能，包括运行管理,部署管理,服务管理,系统日志等功能
为了和安全平台结合，还必须有与安全平台的接口设计功能。
1.2 设计原则
1.2.1 安全高效的数据交换
XMA整合协同平台底层采用消息中间件技术，实现可靠的数据传输。在应用层基于服务，实现数据交换，必须支持数据采集、数据汇总、数据分发、数据更新通知、数据转发、数据转换。支持实时、定时、按需的数据交换方式。支持多种数据源，提供身份验证、用户授权、传输加密、数据完整性、数据可信性、数据有效性的支持。支持数据分段传输、数据压缩/解压缩、数据缓存等。
1.2.1.1 规范的数据共享访问
共享数据是一个公共的资源,可以供多个业务系统同时使用。对公共数据的访问必须经过用户的验证授权访问。此外，还需要从数据中心运作的流程、规程制度等方面确保共享数据不被用于非法途径。
1.2.1.1.1 安全可靠性
由于各个业务部门间交换的数据文件含许多敏感信息，所以对数据交换过程中的安全要求就十分严格。XMA整合协同平台必须提供安全机制保证数据交换信息的完整性、数据交换信息的机密性。XMA整合协同平台必须能有效的与安全认证平台结合。通过安全认证平台和XMA整合协同平台，能够保护交换信息内容免遭拦截或非法修改.
1.2.1.1.2 高可用性
随着项目工程的推进，需要数据交换的部门会越来越多，XMA整合协同平台需要对负载平衡的支持，在分布式的体系结构上可以添加主机的方式提高整体计算能力,进行面向服务的适应性负载平衡.
1.2.1.1.3 可维护性
XMA整合协同平台具有日志监控功能，通过数据服务日志可以记录、跟踪数据交换的细节。日志可以用于对系统的运行状态进行监控，亦可以用于对系统的运行情况进行审计、故障处理、系统开发调试、交易跟踪.对数据服务进行监控管理,用户权限管理，运行日志查看，性能统计。
1.3 信息共享功能
1.3.1.1.1 数据汇总
支持各个分支数据源汇总数据到数据中心。采集公共数据的过程可以看成是一个数据汇总的过程，通过XMA整合协同平台将各业务部门的公共数据采集回来,汇集到数据中心的缓存数据库。经过数据管理系统的比对、校验、转换得到一致的数据。
1.3.1.1.2 数据分发
数据分发是从数据中心的角度，主动向各数据使用方提供数据的过程。通过公开数据服务，依照数据使用权限的规则,从数据中心把数据分发到各个数据使用部门，实现数据共享、信息联动。
1.3.1.1.3 数据存取访问
XMA整合协同平台提供实时按需的数据存取访问服务,通过统一标准的数据接口,以XML作为标准数据格式，通过标准的Web服务对各种技术平台提供访问支持。
1.3.1.1.4 数据转换
数据交换服务可以把某个数据库的数据转换成标准XML数据集.通过数据转换模块，实现对各种异构数据转换到统一标准规范、具有一致性和完整性的公共数据。
1.3.1.1.5 任务定制
数据接口系统应该允许用户自己配置和管理相关的服务，如：数据提取服务、数据发送服务、数据接收服务、数据存储服务等.
1.3.1.1.6 支持用户自定义接口
数据接口系统应该是一个开放的系统，要提供一些可扩充的接口以及二次开发接口，支持用户基于这些接口来定义自己的特色服务。
1.3.1.1.7 支持监控管理
对数据服务进行监控管理，用户权限管理，运行日志查看,性能统计。通过数据服务日志可以记录、跟踪数据交换的细节.对数据交换节点进行管理，提供安全策略指南、服务器安全管理配置.
1.3.1.2 信息交换方式
XMA整合协同平台可以支持不同方式的机构和系统间的数据交换与协同，主要包括:
基于Web Services服务的方式用于外部机构与中心平台间的实时交换；
基于数据库接口的方式用于内部系统间实时或非实时交换；
基于文件交换的方式用于外部或内部系统间非实时批量交换。
1.4 基于Web Services服务的方式
基于WebServices服务的数据交换方式主要用于外部机构部门与数据中心间实时的数据交换和业务协同应用。
基于WebServices技术的应用集成通过主流的WebServices协议如SOAP、XMLRPC等协议的无缝集成,支持这些应用系统的接口，提供基于WebServices的应用系统整合适配器，并提供快速整合WebServices应用的工具和接口API。
数据提供方定义公开数据服务，以服务的形式封装数据交换的内容和协议.数据使用方调用数据提供方的公开数据服务以获取所需的数据，并且按照一定的数据转换和数据更新规则，把数据更新到本地数据源。通过本地数据服务和公开数据服务的交互实现数据提供方和数据使用方之间的数据交换。
1.4.1.1.1 基于数据库接口的方式
基于数据库接口交换的方式主要用于内部系统间的实时或非实时数据交换方式。
交换的双方通过定义发送和接收任务来进行数据库接口的交换。根据交换的数据格式的不同，这种数据交换方式又可以细分为两种类型：一种是数据落地的数据共享，一种是数据不落地的数据交换.
基于标准XML元数据和数据字典的数据交换由XMA整合协同平台自动从前置机交换数据库中提取数据，并按照定义好的模板打包生成标准的XML数据包，由定制好的发送路由发送给接收方.接收方接收到XML数据包后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中.
1.4.1.1.2 基于文件交换的方式
基于文件交换的方式主要用于外部或内部的非实时批量数据交换方式.
交换的双方通过定义发送和接收任务来进行数据文件的交换。根据交换的数据文件的不同，这种数据交换方式又可以细分为两种类型:一种是基于标准XML文件的数据交换,一种是基于其他文件格式的数据交换。
基于标准XML文件的数据交换由XMA整合协同平台自动从前置机交换数据库中提取数据，并按照定义好的模板打包生成标准的XML文件,由定制好的发送任务发送给接收方.接收方接收到XML文件后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中。基于其他文件格式的数据交换由业务系统将需要交换的数据文件放置到前置机上的规定路径下,通过XMA整合协同平台发送到目的地交由接收部门自行处理。
第二章 平台接口设计
制定的接口规范内容为整合协同平台和各接入部门之间,系统互联所涉及的数据交换接口。系统之间的信息传输和交换通过计算机系统互联网络来完成。
2.1 数据接口
“信息平台”与接入部门信息系统之间通信的通用接口模型如图所示。运输层以下层次的通信协议选用合适的标准协议，运输层和网络层建议选用统一的TCP/IP协议,便于各节点之间组网传输,数据链路层和物理层可根据实际通信条件情况灵活选用，如ADSL、E1。
“中心平台”与接入部门之间通信的通用接口模型
在整合协同平台，按照对信息的各种需求，维护一个用于数据共享的标准数据注册中心，采用标准化数据的方式向各接入系统及各应用系统提供共享的信息；各接入系统在整合协同平台处对应维护一张数据字典，用于完成非标数据和标准数据的翻译，从而向共享的标准数据库提供标准化的数据信息；对于单一功能领域的特殊数据信息,系统提供在各子系统之间直接进行交换的途径,满足特定功能的应用需求；系统需要有一个专门的维护和管理机构，分别对系统的数据字典、标准共享数据库进行增添、更新等维护管理，以满足新的接入系统接入和系统发展的需求.
2.1.1.1.1 数据传输
在数据传输中,由于系统数据的异构特性，在数据发送接口和接收接口需要对数据格式按照数据字典的要求进行转换，统一于标准的数据格式满足应用的要求。
2.1.1.1.2 接口扩展
数据接口的分层次、模块化、规范化设计，将有利于系统的扩展性，对扩展性设计主要体现在以下几个方面：
应用层协议的分层设计，各层功能明确，层之间可通过规范化的接口进行调用和传递信息。各层功能可独立实现，灵活性好,比如可通过购置商品化软件来实现通信子层;某一层协议的功能扩展或变化时，将不影响另一层协议的功能。
采用数据登记标准的、基于XML格式的数据接口方案设计,灵活性比较好，系统扩展方便，适合接入系统的增加或接入信息内容的扩展，有利于满足新的系统接入和系统发展的需求。
数据传输协议基于一些主流的、成熟的数据传输协议,能很好适应系统扩展的需求。
2.1.1.2 资源目录管理
数据中心通过XMA整合协同平台以数据服务的方式从各业务部门采集数据，保存到公共数据缓存库，然后使用公共数据管理维护系统进行数据比对、冲突检查、数据审核、数据转换。当数据达到一致性、完整性要求时,数据被发布到公共数据发布库，通过XMA整合协同平台以数据服务的形式提供数据使用方访问。该系统不仅要能够满足基于现状条件下对信息资源的整合利用和规范管理，还要适应未来对信息资源的深度开发和多媒体信息资源库扩展的要求。
2.1.1.2.1 资源目录管理的结构
数据管理系统以主题的方式组织数据资源，提供元数据管理、数据供需关系管理、数据标准规范管理，与XMA整合协同平台结合，提供数据转换、整理、发布等功能。
2.1.1.2.2 资源目录管理的功能
2.1.1.2.2.1 元数据管理
元数据目录集中管理数据元数据的发布与维护，系统授权给分系统管理员完成对本部门元数据的维护工作。
2.1.1.2.2.2 服务注册与接口发布
前置机注册
数据源注册
适配器注册
服务注册
服务删除
服务订阅
服务审核
服务启动
2.1.1.2.2.3 数据转换
建立业务部门数据于标准规范数据的转换映射关系和转换规则,将业务部门的数据转换为符合标准规范的数据。数据转换重用数据整合协同平台的功能.
2.1.1.2.2.4 数据整理
数据中心通过XMA整合协同平台从区级数据中心及各业务部门采集数据并放入数据中心的缓存数据库中，然后通过数据管理系统对数据进行比对、清洗，检查数据冲突,对数据进行审核校验。确保数据一致性、完整性。
2.1.1.2.2.5 主题管理
数据中心以主题为单位实现数据采集、数据交换、数据共享、数据比对以及数据发布。因此必须提供主题管理功能。主题管理重用数据整合协同平台的功能。
2.1.1.3 运行监控管理
为方便对数据中心的管理和维护,需要一套功能完整的运行管理与监控维护系统，保障整个数据中心系统和信息资源的高可靠、高可控和高效。运行管理系统主要提供给数据中心的系统管理人员使用，用于保证数据中心的安全可靠和高效运行。其功能主要包括面向安全性的用户管理、权限管理和密码管理；面向可用性的节点管理和状态监控;面向可靠性的数据备份和恢复；面向性能优化的性能监控;面向运行管理机制的信息管理等。提供满足监测统计要求的功能，提供对检测日志内容的简单统计分析表等.
运行管理与监控系统的管理对象包括：XMA整合协同平台、数据库服务器、主机服务器、网络设备、备份和存储设备、数据交换节点设备和系统等。
2.1.1.3.1 运行监控管理模型
运行监控管理要涉及不同领域的多种协议和接口 — 比如 SNMP 用于网络管理,桌面管理接口 （DMI) 用于桌面系统管理.基于 Web 的企业管理 （WBEM） 是这个行业的一个倡议，能够收集、管理并合并多种来源的管理数据,从而更全面、更精确地了解系统环境。WBEM 有两个关键的组成部分（但有可能会使用更多的标准,比如使用 XML 平台来中立地共享 CIM 对象)：
公共信息模型 (CIM） 规范，它定义了 WBEM 实施的要求
CIM 架构，它描述了数据存储库的内容
运行监控管理平台的体系结构可参考如下所示:
2.1.1.3.2 运行监控管理结构
运行管理与监控系统通过数据整合协同平台的资源管理体系和智能代理共同来完成。
运行管理与监控系统的系统结构如图：
资源管理体系和智能代理的实现符合WBEM标准和JMX规范,JMX定义了开发可管理应用或网络管理系统的一个体系结构、若干设计模式、API和服务。
JMX规范包含若干现有标准管理协议的Java API，JMX通过广泛应用的两个管理协议:SNMP管理者API和CIM/WBEM管理者与提供者API与WBEM达成无缝的集成。
JMX规范向业界各领域的用户提供了装配代码、创建智能代理、实现分布式管理中间件和管理者的方式,并且可使这些解决方案平滑的集成到现有管理系统中。另外JMX规范也提供了若干现有标准管理技术的Java API。JMX侧重管理软件架构和数据接口系统（部署到各个部门的前置机)
而WBEM则侧重管理网络设备，他们各有分工又互相合作。
第三章 安全认证管理
数据中心系统结合安全认证平台的应用主要包括:
数据中心应用单点登陆认证
数据共享交换安全认证
在项目中,根据需求把安全认证平台应用到每个功能和模块。
3.1.1.1.1 身份认证和单点登录
安全认证在技术上采用了大量先进成熟的安全技术，支持的功能和相应的技术特性如下：
访问权限控制：对业务流程中的操作、对数据和资源的访问，都能进行权限控制；
用户身份验证：提供对用户的身份验证，支持单点注册；
数字认证体系：提供基于PKI标准的数字认证体系，通过CA认证中心的证书进行数字认证、数字签名等保障措施，来认证用户、实体的身份，保证消息的完整性和交易的不可否认性，确保交易合法有效；
安全通信通道：通过SSL等标准的安全通道协议,提供通信层的安全,保障通信双方的身份正确性，通道和会话的私密性，消息的完整性和交易的不可否认性.
安全总线技术特性
身份认证 （Authentication）
强身份认证
单点登录 （Single Sign—on）
授权访问控制 (Authorization）
可定制的访问控制列表 （ACL）
权限管理 （Group， User, Action， Permission)
数据加密
插件式的数据加密模块的部署
数字认证
基于PKI的CA认证、数字证书、数字签名
支持安全通信协议，如 SSL， HTTPS 。。.
集成其他安全服务
兼容 LDAP， NT Domain 等安全服务

3.1.1.1.2 数据交换加密认证
下图表示数据在应用层交换的请求/响应流程图
过程描述如下：
通过接口API之间的数据流通道接收请求方发送的XML请求数据；
对请求方进行身份认证和权限控制；
写请求日志，存储请求XML数据文件；
解析请求XML数据；
验证数字签名；
对XML数据中的加密数据进行解密；
根据解析后的明文请求数据进行对应的业务处理；
对处理后的响应数据按需要进行加密；
进行数字签名；
将数据封装成XML 数据文件;
通过数据流通道发送XML数据；
写响应日志，存储响应XML数据文件.
涉及到安全体系的步骤包括：第2、第5、第6、第8、第9步。除了和登陆认证的登陆认证之外，还包括了数据的加解密过程。
3.1.1.2 系统技术实现的优势特性
3.1.1.2.1 高效可靠的可扩展平台
平台提供数据层、应用层等多层次的数据交换，提供基于文件、数据库、应用层的多种交换方式.系统的稳定性和性能已经在多个政府、银行、电信中得到应用.
3.1.1.2.2 即插即用的柔性架构
数据共享交换平台设计了统一的管理总线和安全总线接口、采用了“即插即用”的管理模型，具备了即插即用的特性，对于新拓展的适配器能够快速、动态的部署和集成.
3.1.1.2.3 高扩展低维护的特性
使系统有足够好的可扩展能力，各部分之间必须是松散耦合的，每个部分的实现方法的变化不应该对系统的其他部分造成影响；
系统中的新增的模块只需要在一处配置，可以被多个子系统共享的能力。
3.1.1.2.4 安全可靠的特性
保证系统必须保证在广域网环境下的具有足够的安全性，符合信息化建设中的安全要求,能与认证中心CA/PKI系统无缝结合.
3.1.1.2.5 灵活可靠的数据传输
3.1.1.2.6 支撑扩展的综合应用
通过对应用支撑体系的实现，不仅可以支持数据中心的数据整合、共享交换，还可为其他部门或综合应用提供支撑,如公共服务系统、决策支持系统等,真正做到成为企业信息系统的枢纽。
第四章 系统能力及性能指标
XMA整合协同平台服务器是任务关键系统，纵向联接多级系统，横向联接多个业务部门,系统结构复杂、业务量大、吞吐量高，需要具备良好的安全性、稳定性、可用性、可伸缩性和可扩展性.
XMA整合协同平台的技术路线采用SOA、EAI、ETL、XML等大量成熟的先进技术，架构在J2EE的分布式体系结构之上，数据交换采用XML,支持WEB服务和SOAP协议,在软件架构管理上采用JMX与WBEM集成的技术,使之成为管理模块技术的核心,结合CA认证机制的提供安全保障。同时提供中间层集成框架用来满足无需太多费用而又需要高可用性、高可靠性以及可扩展性的应用需求。通过提供统一的集成平台降低了资源整合和应用的成本和复杂性，同时提供对现有应用程序集成强有力支持。XMA整合协同平台是各个部门建设业务系统的一个标准架构,作为数据中心的平台建设，必须能满足及支持区域性体系架构的要求.
系统遵循国际主流的SOA架构体系，采用先进、主流、可靠、安全、开放、实用、性价比好的系统架构,具有优秀的技术能力和性能指标。
4.1.1.1.1 系统能力
项目
技术指标
遵循标准规范
采用面向服务架构（SOA）设计和企业服务总线（ESB）技术，遵循J2EE标准体系结构，具有灵活的扩展性和良好的移植性.
多种交换方式
数据交换接口主要包含:
Web服务方式，支持主流的协议接口，如SOAP、REST等Web服务协议标准
数据库接口方式,支持主流关系型数据库的接口，包括了ORACLE、SQL SERVER、SYBASE、DB2等
基于文件交换方式，支持基于自定义格式的文件交换
多种数据格式
以XML格式为主,可支持各种类型的数据源的交换，包括关系型、结构化、XML、消息、文本数据、WEB数据、矢量地图、影像、视频、音频等.
数据交换能力
支持服务、消息、数据库、文件等多种交换方式，并具有良好的负载均衡能力;
支持大数据包的交换,进行分块传输，数据量大小不应受限制，在保证一定数据传输速度的同时,可避免占用全部网络带宽。
数据交换传输
支持多种传输协议
支持多种传输格式
支持数据的加/解密，基于PKI的安全认证
支持传输层的动态扩展性
数据交换管理
数据交换管理主要包含：
交换安全管理，提供基于ACL的访问控制等安全管理技术
交换路由管理,提供基于动态路由的交换，可配置拓扑路径
交换协议管理
交换性能管理
交换日志管理
交换格式管理
批量数据交换
批量数据交换由数据抽取工具完成，支持数据抽取、数据清洗、数据比对、数据校验、数据转换等处理，支持异构数据源或数据访问接口：
l Oracle
l Sybase
l SQL Server
l IBM Informix
l IBM DB2
l JDBC
l ODBC
l XML
l 文本文件等

实时数据同步
数据同步支持异构数据源之间的数据复制，应支持实时、定时、订阅/发布、手工等数据复制模式。
安全性
对共享数据进行访问权限设置、访问标准或者分发标准。
基于安全基础服务，通过对敏感信息进行加密等手段,提供消息的加密/解密、数字证书认证等功能，实现信息内容的保密和操作的不可抵赖性；基于日志，实现对数据交换任务进行追踪和事后审计。
可靠性
系统提供7×24小时的连续运行，软件版本升级或改进应在不影响业务的情况下进行,保证系统可以稳定、平滑过渡;支持数据断点续传、可靠传输，系统运行稳定,具有高可靠性，可靠性达到99。99%。
易维护性
整合协同平台系统提供集中的可视化的管理服务,能集中方便地配置、监视、控制、管理整个系统，并且能够监视本系统中各类应用情况，及时消除隐患、降低管理成本、提高效率.
技术标准
数据访问遵循JPA、JDBC、ODBC等标准;数据格式遵循XML标准。
4.1.1.1.2 性能指标
项目
技术指标
交换响应时限
操作过程的响应时间平均不超过3秒，最大不超过10秒(不包含外部系统对于平台的响应时间）。
交换数据量
支持大数据包的交换，理论数据量大小不应受限制
共享数据容量
各类数据总量支持TB级以上
数据访问速度
多种数据源的复杂操作响应时间不超30秒
并发用户数
共享数据中心支持10000个以上的并发用户数