保险公司数据集中项目中间件建议方案.doc
《保险公司数据集中项目中间件建议方案.doc》由会员分享,可在线阅读,更多相关《保险公司数据集中项目中间件建议方案.doc(15页珍藏版)》请在咨信网上搜索。
1、保险公司数据集中中间件建议方案 保险公司数据集中项目中间件建议方案一、 前言财险公司经过多年的发展从保险的种类到业务量都有了很大的发展,目前已经有企业财产保险、家庭财产保险、责任保险、保证保险、车险等多个种类,业务量以每年10%的速度增长。应用模式也在悄悄不断地发生变化以适应业务上和管理上的需要,已由原来完全分布式的业务数据模式走向地市一级的分布式集中模式。最近由中科软与尚洋合作开发的“PICC财产险业务系统”采用地市集中的方式,软件开发采用面向对象的分析和设计思想,已经在多个地市进行了试点运行。在网络建设方面已经形成了省到地市、地市到县的FR/DDN网络格局。这些都为下一步的数据集中利用和业
2、务的拓展打下了坚实的基础。数据集中是现在各行各业应用系统发展的一大趋势,金融、电信行业由于其发展的较早,经济和技术实力较强已经走到了前面。金融行业已有许多省份实现了省级的数据集中,移动总局也已经明确提出了省级数据集中的运营模式。在保险行业,由于过去一直采用数据分布的应用模式,如今采用地市级的数据集中应用模式是向更高层次集中的必要尝试和过渡。二、 问题及需求分析本文对地市级以下的业务系统不做深入讨论,仅限于省级数据集中备份系统的相关问题。对于各个地市数据中心的数据在省级中心做增量数据集中,目前有两种方式:采用数据库厂商提供的数据库复制技术、用应用程序来实现。无论选用何种方式,在技术实现上应该满足
3、以下基本业务要求:1. 能够满足不同操作系统平台间(不同数据库版本、甚至异构数据库)的数据复制能力。2. 数据通讯过程中的正确性应该得到保障。3. 对数据传输过程中可能遇到的网络问题、主机问题应该能够有很好的应对机制,能够可靠传输,做到不重、不丢。4. 整个数据集中系统应该具有良好的通讯效率和处理效率,满足数据准实时集中同步的要求。要满足上述业务上的需求,采用常规的数据库复制方式和一般的应用方式是难以达到的。原因在于无论是数据库复制方式还是一般的应用方式其通讯处理方式过于简单,低层通讯的正确性、资源的有效利用和网络故障的处理应对、主机故障的处理应对等没有很好的机制来加以保障。所以就有可能出现乱
4、码、网络抖动或拥塞时,数据集中业务过程无法有效进行等问题。目前,针对此类应用(非联机事务处理系统,强调可靠性、非关联性、实时性要求不高)特点,各行各业广泛采用消息中间件来实现。消息中间件是一种基础软件,在系统中的位置处在操作系统之上和应用之下,它可用来隔离应用系统对操作系统和网络的直接关联和依赖。东方通科技公司的消息中间件产品叫TongLINK/Q。TongLINK/Q负责网络资源的有效利用、消息数据传输、为应用屏蔽网络故障、通过内部的自动压缩/解压功能减少网络通讯量等。其典型使用是异步方式调用,此时地市数据发送方只要将数据交给本地的中间件TongLINK/Q,而TongLINK/Q负责将数据
5、高效、可靠地传输到省中心并提交给相应的目标程序进行入库处理。三、 数据集中方案省级数据集中方案是当市级公司数据库数据发生变化时,对其所在省的省级的数据库数据做相应同步的过程。要达到这一目的有两种方式:一是将市级公司数据库的操作与省级数据库的操作作为同一个事务进行处理,即操作同时成功或同时失败;二是将二者的操作分离,正常的业务处理与数据集中处理分别来做。对于前者,由于需要在地市和省级公司做同样的数据库操作,原来的业务处理量相当增加了一倍,并且如果市级公司出现问题(如:网络故障)将直接导致本地正常业务无法进行。所以建议采用第二种处理方式。由于此时对于数据集中备份过程而言,它是一个必须要完成的工作,
6、而在时间上只求尽快、可靠完成,并无严格的时间限制,所以这里建议采用消息中间件产品TongLINK/Q来实现。另外,在应用层面,为了使集成商开发的应用系统相对独立,对数据集中备份过程建议采用一套独立的应用来完成。1. 方案思路:在市级公司数据中心编写一个定时启动程序或守护进程,用来采集数据库的变化数据,一旦有数据它将以业务处理单元为单位将它投给TongLINK/Q的可靠队列中。在省级数据中心,编写对应服务程序,它在接收到数据后将在本地执行相应的数据库处理以达到数据同步。TongLINK/Q还可以保障服务处理的可靠,即如果服务程序在执行相应的数据库处理时意外失败,TongLINK/Q将记住这一问题
7、,再次提请相关服务程序进行处理,直到成功。2. 系统结构总部DDN/FR36个省级省级X.25/FRX.25/FR300多个地市地市地市地市3. 中间件部署图应用TongLINK/QDDN/FR应用应用TongLINK/QTongLINK/QX.25/FRX.25/FR应用应用TongLINK/QTongLINK/QTongLINK/Q应用4. 结构框架图说明:系统由地市客户程序、地市TongLINK/Q运行系统、省级TongLINK/Q系统和省级服务程序四部分组成。地市客户程序负责对地市需要上传集中的数据做识别和提取,并形成数据包或文件,然后通过TongLINK/Q的API接口作为一项任务消
8、息提交给TongLINK/Q即完成。客户程序的启动运行可以外部触发(如:数据库trigger)执行,也可以交由TongLINK/Q作为定时程序按一定时间间隔进行调度;消息数据的传输以及相关效率、可靠等问题由TongLINK/Q解决;省级对应的服务程序可以由TongLINK/Q在有数据需要处理时进行调度,并将相关数据交给服务程序进行处理。在有多条消息数据到达时,也可以同时调度起多个服务进程同时进行多个消息数据的处理。5. 消息中间件TongLINK/Q的作用l 提供异步处理接口。为了使数据备份复制过程不影响原来应用系统(相对独立、不直接双向依赖),采用异步通讯方式。l 提供可靠传输能力。依靠消息
9、中间件TongLINK/Q的可靠队列传输功能,使地市增量备份数据可以尽快、可靠到达省数据中心主机。在传输期间消息中间件TongLINK/Q可以应对各种故障的发生,如通讯网络故障、主机宕机等情况,可以做到断点续传,使备份数据“一次传递、可靠到达”。l 可以提供备份过程数据库操作的事务性处理。即除了数据的传递是可靠的之外,在省级数据中心数据的数据库备份操作也是可靠的。在对备份数据进行数据库插入或修改操作时,如果操作失败(比如,当时数据库状态不对引起数据库操作失败),消息中间件TongLINK/Q将会保留这一信息和数据,重复执行相应处理过程,直到成功。l 维护和保持通讯通畅。TongLINK/Q对通
10、讯通道具有自动维护功能,当网络出现抖动影响通讯时,TongLINK/Q可以自动监控和重建链路来保障通讯的快速恢复。l 保障通讯效率。TongLINK/Q通过以下手段来保障通讯效率:维护通讯畅通和自恢复;支持断点续传;根据网络带宽情况有不同传输策略来保障网络带宽的充分利用;支持自动压缩功能,减少通讯数据量。l 支持服务端程序的并发调度和控制。上传数据自动提交相应的处理程序进行处理,对多个地市同时上传的数据可以并发调度多个服务程序进行处理,提高处理效率。四、 关于消息与交易中间件的一点说明消息中间件(MOM)和交易处理中间件(TP Monitor)是完全不同的两类中间件。尽管在功能上有部分的重合,
11、但由于定位的不同,功能上具有相当的差距,适用的应用类型也不一样。消息中间件可以用来构筑一个组织的公共的信息交换平台,通过把消息中间件部署到用户的网络环境中,通过适当的配置,就形成了信息的交换与处理的管道与平台。平台上应用开发的接口和提供的通信与控制模式主要是面向传输的,非常丰富。以TongLINK/Q为例子,它支持文件的传输,文件与普通数据包的混合传输;在对传输的控制上,为了适应信息发送方应用的不同的需要,可以有很多种的控制方式。应用可以选择投递消息时控制返回有多快,可靠性要求有多高。应用可以选择把数据交给TongLINK/Q的接口就返回(方式一)、或者等数据交给TongLINK/Q核心后再返
12、回(方式二),或者等TongLINK/Q开始发送信息后再返回(方式三),或者等接收方收到信息后再返回(方式四)。方式二、三、四都可以保证可靠的传输,但不同的方式给应用提供了不同的控制灵活性。如果接收方的机器没有运行,选择方式三就不能马上发送,发送方就会知道。选择方式四,如果线路和对方机器正常,发送方就可以马上知道,接收方已经开始接收信息了,一会对方就会收完。又比如,在广域网上,传输大信息量时,不能简单地用超时时间来控制传输的结束。比如,应用中设定超时时间是2分钟,有可能在某个繁忙的时段就不能将文件传输完,此时控制网络上此次传输多长时间没有传输的意义就很有限了。这很象我们在Internet上下载
13、大文件时的情况。传输的画面不动了,我们很想知道传输是否还在进行。用户应该能够要求,如果此次传输发生有在2分钟的时段内都没有传输的情况,终止传输。以上只是简单地列举了消息中间件所具有的一般的功能。对于交易中间件,由于其定位于最适合于OLTP类的系统象银行的柜面业务系统,电信的计费账务系统等等,其所适合的应用都具有如下的特点:集中的数据处理,所有处理的处理时间一般都很短,如登记您存的钱数,大量的并发但每次网上传输的数据量一般都很小如只有几十字节、几百字节,几千字节都算大的数据包了。无论是公安系统公共信息的传输、交通部门全国安全监督系统,还是国税的信息系统都不是OLTP类的,更适合消息中间件来处理。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 保险公司 数据 集中 项目 中间件 建议 方案
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【a199****6536】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【a199****6536】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。