数据交换共享整合系统平台建设专业方案.docx

数据交换共享整合协同平台设计

整合协同平台关键功效是从其它子系统中提取共享数据，并对多起源渠道、相互不一致数据进行数据融合处理；基于数据字典对实时数据和历史数据进行组织，以确保数据间关系正确性、可了解性并避免数据冗余；以多种形式提供数据服务，采取分层次方法对各类用户设置权限，使不一样用户既能取得各自所需要数据，又能确保数据传输过程安全性及共享数据互操作性和互用性；维护基础信息、动态业务数据和系统管理配置参数；支撑系统网络构架、信息安全、网络管理、步骤管理、数据库维护和备份等运维能力。整合协同平台依据功效可分为两个部分：
第一部分，基础数据和共享数据交换服务和路由步骤管理，该部分是交换平台基础，包含：静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。
第二部分，各子系统之间接口实现，依据事先制订好规范、标准，实现各子系统之间数据共享和传输操作。在接入中心平台时，应按系统集成要求设计系统结构，各类数据接口遵照系统集成规范。
第一章 中心平台设计
1.1 平台功效结构
整合协同平台服务器是公共基础平台关键部分，XMA整合协同平台提供一整套规范、高效、安全数据交换机制。XMA整合协同平台由布署在数据中心和各业务部门数据交换服务器、数据接口系统共同组成，处理数据采集、更新、汇总、分发、一致性等数据交换问题，处理按需查询、公共数据存取控制等问题。
各业务子系统全部要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制订数据交换标准。各业务部门经过数据级整合或应用级整合经过XMA整合协同平台向数据中心提供数据，也经过XMA整合协同平台访问共享数据。
XMA整合协同平台基础功效以下：
共享数据库数据采集、更新、维护。
业务资料库、公共服务数据库数据采集。
提供安全可靠共享数据服务。
业务部门之间业务数据交换。
结合工作流协调数据服务。

功效步骤说明：
数据供需方接口数据系统：为了满足应用层交换和数据层交换，交换代理必需有应用层和数据层连接和接口适配功效，数据代理必需有数据格式转换功效。
数据传输：为了确保数据正确传输和传输性能，必需有传输管理功效，包含了传输协议管理和控制，传输过程控、数据传输加密、压缩、网络故障检测和连接共享等功效。
数据整合协同平台：
会话管理：为了能提供数据交换方法如主动（推）、被动（拉）；支持定时和实时策略，支持超时控制管理等功效，数据交换平台必需有会话策略、会话控制和管理功效。
数据管理：为了数据能按标准进行交换，能根据布署路由规则进行交换，必需有数据路由、数据模板管理、数据解析、数据转换等功效。
系统管理功效：同时数据交换平台还应该提供服务管理功效，包含运行管理，布署管理，服务管理，系统日志等功效
为了和安全平台结合，还必需有和安全平台接口设计功效。
1.2 设计标准
1.2.1 安全高效数据交换
XMA整合协同平台底层采取消息中间件技术，实现可靠数据传输。在应用层基于服务，实现数据交换，必需支持数据采集、数据汇总、数据分发、数据更新通知、数据转发、数据转换。支持实时、定时、按需数据交换方法。支持多个数据源，提供身份验证、用户授权、传输加密、数据完整性、数据可信性、数据有效性支持。支持数据分段传输、数据压缩/解压缩、数据缓存等。
1.2.1.1 规范数据共享访问
共享数据是一个公共资源，能够供多个业务系统同时使用。对公共数据访问必需经过用户验证授权访问。另外，还需要从数据中心运作步骤、规程制度等方面确保共享数据不被用于非法路径。
1.2.1.1.1 安全可靠性
因为各个业务部门间交换数据文件含很多敏感信息，所以对数据交换过程中安全要求就十分严格。XMA整合协同平台必需提供安全机制确保数据交换信息完整性、数据交换信息机密性。XMA整合协同平台必需能有效和安全认证平台结合。经过安全认证平台和XMA整合协同平台，能够保护交换信息内容免遭拦截或非法修改。
1.2.1.1.2 高可用性
伴随项目工程推进，需要数据交换部门会越来越多，XMA整合协同平台需要对负载平衡支持，在分布式体系结构上能够添加主机方法提升整体计算能力，进行面向服务适应性负载平衡。
1.2.1.1.3 可维护性
XMA整合协同平台含有日志监控功效，经过数据服务日志能够统计、跟踪数据交换细节。日志能够用于对系统运行状态进行监控，亦能够用于对系统运行情况进行审计、故障处理、系统开发调试、交易跟踪。对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。
1.3 信息共享功效
1.3.1.1.1 数据汇总
支持各个分支数据源汇总数据到数据中心。采集公共数据过程能够看成是一个数据汇总过程，经过XMA整合协同平台将各业务部门公共数据采集回来，聚集到数据中心缓存数据库。经过数据管理系统比对、校验、转换得到一致数据。
1.3.1.1.2 数据分发
数据分发是从数据中心角度，主动向各数据使用方提供数据过程。经过公开数据服务，依据数据使用权限规则，从数据中心把数据分发到各个数据使用部门，实现数据共享、信息联动。
1.3.1.1.3 数据存取访问
XMA整合协同平台提供实时按需数据存取访问服务，经过统一标准数据接口，以XML作为标准数据格式，经过标准Web服务对多种技术平台提供访问支持。
1.3.1.1.4 数据转换
数据交换服务能够把某个数据库数据转换成标准XML数据集。经过数据转换模块，实现对多种异构数据转换到统一标准规范、含有一致性和完整性公共数据。
1.3.1.1.5 任务定制
数据接口系统应该许可用户自己配置和管理相关服务，如：数据提取服务、数据发送服务、数据接收服务、数据存放服务等。
1.3.1.1.6 支持用户自定义接口
数据接口系统应该是一个开放系统，要提供部分可扩充接口和二次开发接口，支持用户基于这些接口来定义自己特色服务。
1.3.1.1.7 支持监控管理
对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。经过数据服务日志能够统计、跟踪数据交换细节。对数据交换节点进行管理，提供安全策略指南、服务器安全管理配置。
1.3.1.2 信息交换方法
XMA整合协同平台能够支持不一样方法机构和系统间数据交换和协同，关键包含：
基于Web Services服务方法用于外部机构和中心平台间实时交换；
基于数据库接口方法用于内部系统间实时或非实时交换；
基于文件交换方法用于外部或内部系统间非实时批量交换。
1.4 基于Web Services服务方法
基于WebServices服务数据交换方法关键用于外部机构部门和数据中心间实时数据交换和业务协同应用。
基于WebServices技术应用集成经过主流WebServices协议如SOAP、XMLRPC等协议无缝集成，支持这些应用系统接口，提供基于WebServices应用系统整适宜配器，并提供快速整合WebServices应用工具和接口API。
数据提供方定义公开数据服务，以服务形式封装数据交换内容和协议。数据使用方调用数据提供方公开数据服务以获取所需数据，而且根据一定数据转换和数据更新规则，把数据更新到当地数据源。经过当地数据服务和公开数据服务交互实现数据提供方和数据使用方之间数据交换。
1.4.1.1.1 基于数据库接口方法
基于数据库接口交换方法关键用于内部系统间实时或非实时数据交换方法。
交换双方经过定义发送和接收任务来进行数据库接口交换。依据交换数据格式不一样，这种数据交换方法又能够细分为两种类型：一个是数据落地数据共享，一个是数据不落地数据交换。
基于标准XML元数据和数据字典数据交换由XMA整合协同平台自动以前置机交换数据库中提取数据，并根据定义好模板打包生成标准XML数据包，由定制好发送路由发送给接收方。接收方接收到XML数据包后自动进行解包处理，并将数据存放到接收方前置机交换数据库中。
1.4.1.1.2 基于文件交换方法
基于文件交换方法关键用于外部或内部非实时批量数据交换方法。
交换双方经过定义发送和接收任务来进行数据文件交换。依据交换数据文件不一样，这种数据交换方法又能够细分为两种类型：一个是基于标准XML文件数据交换，一个是基于其它文件格式数据交换。
基于标准XML文件数据交换由XMA整合协同平台自动以前置机交换数据库中提取数据，并根据定义好模板打包生成标准XML文件，由定制好发送任务发送给接收方。接收方接收到XML文件后自动进行解包处理，并将数据存放到接收方前置机交换数据库中。基于其它文件格式数据交换由业务系统将需要交换数据文件放置到前置机上要求路径下，经过XMA整合协同平台发送到目标地交由接收部门自行处理。
第二章 平台接口设计
制订接口规范内容为整合协同平台和各接入部门之间，系统互联所包含数据交换接口。系统之间信息传输和交换经过计算机系统互联网络来完成。
数据接口
“信息平台”和接入部门信息系统之间通信通用接口模型图所表示。运输层以下层次通信协议选择适宜标准协议，运输层和网络层提议选择统一TCP/IP协议，便于各节点之间组网传输，数据链路层和物理层可依据实际通信条件情况灵活选择，如ADSL、E1。

“中心平台”和接入部门之间通信通用接口模型
在整合协同平台，根据对信息多种需求，维护一个用于数据共享标准数据注册中心，采取标准化数据方法向各接入系统及各应用系统提供共享信息；各接入系统在整合协同平台处对应维护一张数据字典，用于完成非标数据和标准数据翻译，从而向共享标准数据库提供标准化数据信息；对于单一功效领域特殊数据信息，系统提供在各子系统之间直接进行交换路径，满足特定功效应用需求；系统需要有一个专门维护和管理机构，分别对系统数据字典、标准共享数据库进行增添、更新等维护管理，以满足新接入系统接入和系统发展需求。
2.1.1.1.1 数据传输
在数据传输中，因为系统数据异构特征，在数据发送接口和接收接口需要对数据格式根据数据字典要求进行转换，统一于标准数据格式满足应用要求。
2.1.1.1.2 接口扩展
数据接口分层次、模块化、规范化设计，将有利于系统扩展性，对扩展性设计关键表现在以下多个方面：
应用层协议分层设计，各层功效明确，层之间可经过规范化接口进行调用和传输信息。各层功效可独立实现，灵活性好，比如可经过购置商品化软件来实现通信子层；某一层协议功效扩展或改变时，将不影响另一层协议功效。
采取数据登记标准、基于XML格式数据接口方案设计，灵活性比很好，系统扩展方便，适合接入系统增加或接入信息内容扩展，有利于满足新系统接入和系统发展需求。
数据传输协议基于部分主流、成熟数据传输协议，能很好适应系统扩展需求。
2.1.1.2 资源目录管理
数据中心经过XMA整合协同平台以数据服务方法从各业务部门采集数据，保留到公共数据缓存库，然后使用公共数据管理维护系统进行数据比对、冲突检验、数据审核、数据转换。当数据达成一致性、完整性要求时，数据被公布到公共数据公布库，经过XMA整合协同平台以数据服务形式提供数据使用方访问。该系统不仅要能够满足基于现实状况条件下对信息资源整合利用和规范管理，还要适应未来对信息资源深度开发和多媒体信息资源库扩展要求。
2.1.1.2.1 资源目录管理结构
数据管理系统以专题方法组织数据资源，提供元数据管理、数据供需关系管理、数据标准规范管理，和XMA整合协同平台结合，提供数据转换、整理、公布等功效。

2.1.1.2.2 资源目录管理功效
2.1.1.2.2.1 元数据管理
元数据目录集中管理数据元数据公布和维护，系统授权给分系统管理员完成对本部门元数据维护工作。
2.1.1.2.2.2 服务注册和接口公布
前置机注册
数据源注册
适配器注册
服务注册
服务删除
服务订阅
服务审核
服务开启
2.1.1.2.2.3 数据转换
建立业务部门数据于标准规范数据转换映射关系和转换规则，将业务部门数据转换为符合标准规范数据。数据转换重用数据整合协同平台功效。
2.1.1.2.2.4 数据整理
数据中心经过XMA整合协同平台从区级数据中心及各业务部门采集数据并放入数据中心缓存数据库中，然后经过数据管理系统对数据进行比对、清洗，检验数据冲突，对数据进行审核校验。确保数据一致性、完整性。
2.1.1.2.2.5 专题管理
数据中心以专题为单位实现数据采集、数据交换、数据共享、数据比对和数据公布。所以必需提供专题管理功效。专题管理重用数据整合协同平台功效。
2.1.1.3 运行监控管理
为方便对数据中心管理和维护，需要一套功效完整运行管理和监控维护系统，保障整个数据中心系统和信息资源高可靠、高可控和高效。运行管理系统关键提供给数据中心系统管理人员使用，用于确保数据中心安全可靠和高效运行。其功效关键包含面向安全性用户管理、权限管理和密码管理；面向可用性节点管理和状态监控；面向可靠性数据备份和恢复；面向性能优化性能监控；面向运行管理机制信息管理等。提供满足监测统计要求功效，提供对检测日志内容简单统计分析表等。
运行管理和监控系统管理对象包含：XMA整合协同平台、数据库服务器、主机服务器、网络设备、备份和存放设备、数据交换节点设备和系统等。
2.1.1.3.1 运行监控管理模型
运行监控管理要包含不一样领域多个协议和接口 - 比如 SNMP 用于网络管理，桌面管理接口 (DMI) 用于桌面系统管理。基于 Web 企业管理 (WBEM) 是这个行业一个倡议，能够搜集、管理并合并多个起源管理数据，从而更全方面、更正确地了解系统环境。WBEM 有两个关键组成部分（但有可能会使用更多标准，比如使用 XML 平台来中立地共享 CIM 对象）：
公共信息模型 (CIM) 规范，它定义了 WBEM 实施要求
CIM 架构，它描述了数据存放库内容
运行监控管理平台体系结构可参考以下所表示：

2.1.1.3.2 运行监控管理结构
运行管理和监控系统经过数据整合协同平台资源管理体系和智能代理共同来完成。
运行管理和监控系统系统结构图：

资源管理体系和智能代理实现符合WBEM标准和JMX规范，JMX定义了开发可管理应用或网络管理系统一个体系结构、若干设计模式、API和服务。
JMX规范包含若干现有标准管理协议Java API，JMX经过广泛应用两个管理协议：SNMP管理者API和CIM/WBEM管理者和提供者API和WBEM达成无缝集成。
JMX规范向业界各领域用户提供了装配代码、创建智能代理、实现分布式管理中间件和管理者方法，而且可使这些处理方案平滑集成到现有管理系统中。另外JMX规范也提供了若干现有标准管理技术Java API。JMX侧重管理软件架构和数据接口系统（布署到各个部门前置机）
而WBEM则侧重管理网络设备，她们各有分工又相互合作。
第三章 安全认证管理
数据中心系统结合安全认证平台应用关键包含：
数据中心应用单点登陆认证
数据共享交换安全认证
在项目中，依据需求把安全认证平台应用到每个功效和模块。
3.1.1.1.1 身份认证和单点登录
安全认证在技术上采取了大量优异成熟安全技术，支持功效和对应技术特征以下：
访问权限控制：对业务步骤中操作、对数据和资源访问，全部能进行权限控制；
用户身份验证：提供对用户身份验证，支持单点注册；
数字认证体系：提供基于PKI标准数字认证体系，经过CA认证中心证书进行数字认证、数字署名等保障方法，来认证用户、实体身份，确保消息完整性和交易不可否认性，确保交易正当有效；
安全通信通道：经过SSL等标准安全通道协议，提供通信层安全，保障通信双方身份正确性，通道和会话私密性，消息完整性和交易不可否认性。

安全总线技术特征
身份认证 (Authentication)
强身份认证
单点登录 (Single Sign-on)
授权访问控制 (Authorization)
可定制访问控制列表 (ACL)
权限管理 (Group, User, Action, Permission)
数据加密
插件式数据加密模块布署
数字认证
基于PKICA认证、数字证书、数字署名
支持安全通信协议，如 SSL, HTTPS ...
集成其它安全服务
兼容 LDAP, NT Domain 等安全服务

3.1.1.1.2 数据交换加密认证
下图表示数据在应用层交换请求/响应步骤图

过程描述以下：
经过接口API之间数据流通道接收请求方发送XML请求数据；
对请求方进行身份认证和权限控制；
写请求日志，存放请求XML数据文件；
解析请求XML数据；
验证数字署名；
对XML数据中加密数据进行解密；
依据解析后明文请求数据进行对应业务处理；
对处理后响应数据按需要进行加密；
进行数字署名；
将数据封装成XML 数据文件；
经过数据流通道发送XML数据；
写响应日志，存放响应XML数据文件。
包含到安全体系步骤包含：第2、第5、第6、第8、第9步。除了和登陆认证登陆认证之外，还包含了数据加解密过程。
3.1.1.2 系统技术实现优势特征
3.1.1.2.1 高效可靠可扩展平台
平台提供数据层、应用层等多层次数据交换，提供基于文件、数据库、应用层多个交换方法。系统稳定性和性能已经在多个政府、银行、电信中得到应用。

3.1.1.2.2 即插即用柔性架构
数据共享交换平台设计了统一管理总线和安全总线接口、采取了“即插即用”管理模型，含有了即插即用特征，对于新拓展适配器能够快速、动态布署和集成。

3.1.1.2.3 高扩展低维护特征
使系统有足够好可扩展能力，各部分之间必需是松散耦合，每个部分实现方法改变不应该对系统其它部分造成影响；
系统中新增模块只需要在一处配置，能够被多个子系统共享能力。
3.1.1.2.4 安全可靠特征
确保系统必需确保在广域网环境下含有足够安全性，符合信息化建设中安全要求，能和认证中心CA/PKI系统无缝结合。

3.1.1.2.5 灵活可靠数据传输

3.1.1.2.6 支撑扩展综合应用
经过对应用支撑体系实现，不仅能够支持数据中心数据整合、共享交换，还可为其它部门或综合应用提供支撑，如公共服务系统、决议支持系统等，真正做到成为企业信息系统枢纽。
第四章 系统能力及性能指标
XMA整合协同平台服务器是任务关键系统，纵向联接多级系统，横向联接多个业务部门，系统结构复杂、业务量大、吞吐量高，需要含有良好安全性、稳定性、可用性、可伸缩性和可扩展性。
XMA整合协同平台技术路线采取SOA、EAI、ETL、XML等大量成熟优异技术，架构在J2EE分布式体系结构之上，数据交换采取XML，支持WEB服务和SOAP协议，在软件架构管理上采取JMX和WBEM集成技术，使之成为管理模块技术关键，结合CA认证机制提供安全保障。同时提供中间层集成框架用来满足无需太多费用而又需要高可用性、高可靠性和可扩展性应用需求。经过提供统一集成平台降低了资源整合和应用成本和复杂性，同时提供对现有应用程序集成强有力支持。XMA整合协同平台是各个部门建设业务系统一个标准架构，作为数据中心平台建设，必需能满足及支持区域性体系架构要求。
系统遵照国际主流SOA架构体系，采取优异、主流、可靠、安全、开放、实用、性价比好系统架构，含有优异技术能力和性能指标。
4.1.1.1.1 系统能力
项目
技术指标
遵照标准规范
采取面向服务架构(SOA)设计和企业服务总线(ESB)技术，遵照J2EE标准体系结构，含有灵活扩展性和良好移植性。
多个交换方法
数据交换接口关键包含：
Web服务方法，支持主流协议接口，如SOAP、REST等Web服务协议标准
数据库接口方法，支持主流关系型数据库接口，包含了ORACLE、SQL SERVER、SYBASE、DB2等
基于文件交换方法，支持基于自定义格式文件交换
多个数据格式
以XML格式为主，可支持多种类型数据源交换，包含关系型、结构化、XML、消息、文本数据、WEB数据、矢量地图、影像、视频、音频等。
数据交换能力
支持服务、消息、数据库、文件等多个交换方法，并含有良好负载均衡能力；
支持大数据包交换，进行分块传输，数据量大小不应受限制，在确保一定数据传输速度同时，可避免占用全部网络带宽。
数据交换传输
支持多个传输协议
支持多个传输格式
支持数据加/解密，基于PKI安全认证
支持传输层动态扩展性
数据交换管理
数据交换管理关键包含：
交换安全管理，提供基于ACL访问控制等安全管理技术
交换路由管理，提供基于动态路由交换，可配置拓扑路径
交换协议管理
交换性能管理
交换日志管理
交换格式管理
批量数据交换
批量数据交换由数据抽取工具完成，支持数据抽取、数据清洗、数据比对、数据校验、数据转换等处理，支持异构数据源或数据访问接口：
l Oracle
l Sybase
l SQL Server
l IBM Informix
l IBM DB2
l JDBC
l ODBC
l XML
l 文本文件等

实时数据同时
数据同时支持异构数据源之间数据复制，应支持实时、定时、订阅/公布、手工等数据复制模式。
安全性
对共享数据进行访问权限设置、访问标准或分发标准。
基于安全基础服务，经过对敏感信息进行加密等手段，提供消息加密/解密、数字证书认证等功效，实现信息内容保密和操作不可抵赖性；基于日志，实现对数据交换任务进行追踪和事后审计。
可靠性
系统提供7×二十四小时连续运行，软件版本升级或改善应在不影响业务情况下进行，确保系统能够稳定、平滑过渡；支持数据断点续传、可靠传输，系统运行稳定，含有高可靠性，可靠性达成99.99%。
易维护性
整合协同平台系统提供集中可视化管理服务，能集中方便地配置、监视、控制、管理整个系统，而且能够监视本系统中各类应用情况，立即消除隐患、降低管理成本、提升效率。
技术标准
数据访问遵照JPA、JDBC、ODBC等标准；数据格式遵照XML标准。

4.1.1.1.2 性能指标
项目
技术指标
交换响应时限
操作过程响应时间平均不超出3秒，最大不超出10秒（不包含外部系统对于平台响应时间）。
交换数据量
支持大数据包交换，理论数据量大小不应受限制
共享数据容量
各类数据总量支持TB级以上
数据访问速度
多个数据源复杂操作响应时间不超30秒
并发用户数
共享数据中心支持10000个以上并发用户数