云计算的虚拟银行海量数据存储设计.doc
《云计算的虚拟银行海量数据存储设计.doc》由会员分享,可在线阅读,更多相关《云计算的虚拟银行海量数据存储设计.doc(51页珍藏版)》请在咨信网上搜索。
1、基于云计算的虚拟银行海量数据存储设计The design of the massive data storing system for Ebank based on the cloud computing- 1 -基于云计算的虚拟银行的海量数据存储的设计摘 要随着谷歌公司的五篇关于公司服务器构架论文的发表,世界掀起一片云计算的研究热潮,紧随其后微软,亚马逊,IBM,雅虎,阿帕奇公司等国际IT巨头纷纷投入巨资参与云计算的研究。本论文的主要工作是在基于云计算理论的基础上设计适合JEPAY台湾JePay公司虚拟银行数据特点的云存储系统,系统的设计工作主要分为两个方面:一个方面是设计能够为银行数据库提
2、供文件支持的分布式文件系统。对于当前的云计算系统,因为文件只能写入不能修改,不能为银行提供数据支持。我们的工作就是在底层构架能够满足银行数据要求的分布式系统,意思表达不够明确传统的分布式数据库的扩展性是不够灵活的,比如他们在动态的增减节点时付出的代价很大,并且他们把这种情况当作一种错误处理,严重影响系统的性能和扩展。在论文中我们参考了Hadoop的构架以后设计了能够弥补以上缺点的系统,同时使系统保持了云计算平台的优势.工作的另一个方面是在我们构架的分布式文件系统的基础上设计我们的数据库管理系统,相对于云计算而言分布式数据库的技术是比较成熟的,也正因为如此他们不能很好的和基于云计算的文件系统很好
3、的兼容,我们的工作是利用已经成熟的分布式数据库的技术在我们的云存储文件系统上面构架相应的数据库管理系统,因为我们的系统是针对JEPAY虚拟银行的,所以我们的系统设计是基于关系数据模型的,在设计中主要包括如下几个方面:系统的查询,事务处理,目录管理,容错处理,和安全性等等。全文字数要求在400左右关键字:云计算; 虚拟银行; 海量数据; HADOOPThe design of the massive data storing system for Ebank based on the cloud computingAbstract With the five papers published b
4、y the google about the googles server architecture, the research of the cloud computing becomes more and more popular 。followed with it, Microsoft, Amazon, IBM, Yahoo, Apache, etc。 of international IT companies have invested heavily involved in giant cloud computing research。 In this paper, the main
5、 task is the designing of cloud stroming system fix to the data of the bank based on the theory of the cloud computing。 Design work is divided into two main areas:The first is to design a distributed file system to suport the database of the bank。 for the current cloud computing system,the files sto
6、red on them could be writen but could not been update or edit。 Which could not meet the require of the database of bank。 its work is to design a distributed file system in the bottom of the framework to meet th require of the data of bank。 Addition ,the traditional distributed database is not flexib
7、le enough to expand, such as the increase or decrease the node dynamic。 The cost is relatively large, and they face this case as a form of error handling, serious impact on system performance and the Department of The expansion of EC. it analyzes the Hadoop framework, and design system make up for t
8、he short comings of the system, the system security Holders of the advantages of cloud computing platform。Another aspect of the work is to design the database manage system for the bank based on the distribute file system designed before. Compare to the cloud computing ,the distribute database is re
9、latively mature, it is precisely for this reason they can not merge the cloud computing system very well。 its work is to use the maturely distribute system to to design the framework of the corresponding database management system above our distribute file sytem. because our system is targeted at ba
10、nks ,so our system design is based on the relationship Data model, in the design include the following main aspects: the system of information, transaction processing, directory management, faulttolerant,and security and so onKey Words:cloud computing; E-bank; massive data; Hadoop目 录摘 要IAbstractII引
11、言 1 1 绪论 2 -1。1 项目背景 2 1。2 国内外现状及发展趋势 3 1.3 本文工作及章节安排- 4 -2 关键技术 5 -2。1分布式系统模型简介- 5 2.1.1 Google的GFSgfs论文- 5 2。1。2 Apache的Hadoop 7 2。1。3 Memcaehed 8 -2。1。4 Amazon的Simp1eDB 9 -2.1.5 1BM的B1ueC1oud- 10 2。1.6 PeertoPeer- 11 -2。1.7 NAS 13 2。2 存储算法- 14 2.2。1 GoogIe的 B1gTabIe 14 2.2。2 NFS 14 2。2。3。AFS- 15
12、2。3 一致性方案 17 -2。3。1 一致性算法Paxos 17 -2.3.2 Google一致性解决方案Chubby- 17 3 需求分析 21 3.1 功能需求 21 -3。1.1 客户查询功能 21 -3。1.2 事务处理功能- 21 3。1。3 数据备份功能- 22 -3。1.4 日志保存功能 22 3。1.5 客户识别功能- 22 3。2 安全需求 22 3.2.1 数据保密性需求- 23 3.2。2 数据完整性和一致性需求 23 3。2.3 数据可用性需求- 23 -3。2.4 对系统状态变化跟踪需求 23 3。3 性能需求 24 3。3。1 容错性 24 3.3。2 高服务质量
13、 24 3.3。3 最小代价 24 3。3.4 高性价比 25 3。3。5 易维护性- 25 -3.4 可扩展性需求- 25 -3。4。1 系统规模的可扩展性- 26 3.4.2 系统功能扩展性: 26 3.5 系统目标- 26 3.5.1 数据存储的本地性和近地性 26 -3。5。2 控制数据的适当冗余 26 3。5。3 工作的负载平衡 27 3.5.4节点的自治性 27 3.6 分析总结 27 -4 系统设计 28 -4。1 云存储文件系统的设计(基于google解决)- 28 -4。1。1 网络节点构架设计 28 4。1。2 文件块分片设计 29 -4。1.3 文件块存储策略及副本策略设
14、计- 30 4.1。4 文件块更新算法设计- 32 4。1.5文件块恢复策略设计 32 4.2数据库管理系统的设计(基于分布式解决) 32 -4。2。2 事务处理模块设计 32 4.2.3 事务故障的恢复 32 -4。2.4 并发事务处理及封锁协议设计 32 4。2。5 目录存储与管理设计 32 4.2.6 负载平衡算法设计 32 -4。3 安全模块设计(参考文献分布式数据库环境下安全策略研究) 32 4。3.1 数据加密设计- 32 -4。3。2 身份认证设计 32 4。3。3 访问控制设计- 32 -4。3。4 安全检测与反映 32 -5 关键算法实现- 32 5.1 数据分片算法实现-
15、32 -5。2 负载平衡算法实现 32 -5。3 客户地址跟踪算法实现- 32 -6 结论 32 6.1 总结 32 -6。2 不足 32 6。3 展望- 32 参考文献错误!未定义书签。引 言随着Internet技术的快速发展,电子商务和网络商业如雨后春笋般快速兴起,银行金融业务进一步扩大和发展.以此为背景,虚拟银行应运而生。作为银行业一种新的经营方式,虚拟银行1正在以一种迅猛的势头和传统银行抢占客户资源,其经营策略可谓一浪高过一浪,虚拟银行已经成为银行金融业发展的必然趋势。一个成功的虚拟银行必须要有让客户钟情于它的理由,服务质量将是连接客户与虚拟银行成功与发展的桥梁,如何提供优质的服务,已
16、经成为各个虚拟银行业务的公司发展的主要话题,正在这个时候,以提供优质数据和计算服务而闻名的云计算2来临了,云计算是网格计算3,分布式计算4和并行计算5的升级。但是他不是简单的集合,而是一种革新.它的到来必将为我们计算机网络的发展掀开新的一页,那么能否让云计算这个充满活力的新生儿来为我们的虚拟银行提供数据支持呢? 回答当然是肯定的.云计算自从05年谷歌公司公开发表自己的论文以来,给我们的IT行业带来了巨大的冲击文献6,谷歌公司在云计算应用方面无疑是具有巨大领先优势的。各大IT业的巨头随后都成立了自己的云计算研究中心,并且投巨资参与云计算的发展,先是亚马逊公司的EC27的出现,它已经成为亚马逊公司
17、收入的一个重要支柱,随后微软推出自己的云计算平台live mesh平台。IBM推出自己的蓝云。在这其中有一个引人注目的项目走进人们的视野,那就是hadoop8项目,自从阿帕奇公司收购hadoop项目以后继续了先前的开源模式,并且得到了雅虎的资金支持。Hadoop的出现为广大的云计算爱好者和程序员提供一片新的天地.正是因为各大公司的牵头,并且云计算本身又具有巨大的成本和性能优势,所以业界内预测人类的第四次科技革命即将到来,而云计算则是此次革命的导火索。那么根据市场导向,要想在未来的商业中立于不败之地就必须重视云计算,像虚拟银行这种命运和数据管理息息相关的公司就更加应该把握市场导向,用最低的成本和
18、最优质的服务保持公司的竞争力.而每个公司不可能都构架自己的云平台,这样不仅浪费成本,同时技术上也不能达标,那么一个针对银行的云平台的将可能服务多个银行企业。鉴于以上情况和台湾台湾JEPAY公司的虚拟银行的要求我们决定,在市场大潮还没来临之前研究并设计一个针对虚拟银行的云存储平台,它是最新的云计算理论和成熟的适合银行的关系数据模型的结合.它的开发必将为虚拟银行服务质量和生命力的提升注入新的血液.1 绪论1。1 项目背景虚拟银行:可以理解为专门针对网上客户开设的一个银行,他主要的业务是为网上的客户提供转账,资金管理,交易等等的平台。在当今计算机和网络迅猛发展的时代,网络已经渐渐成为人们生活不可缺少
19、的一个部分,不管是工作,购物娱乐都和网络挂上千丝万缕的关系,自1995年10月加拿大皇家银行在美国建立世界上第一个网上银行以来网上银行在世界范围内迅速发展。1996年,招商银行在国内率先推出网上银行概念,随后国内各大商业银行相继加入了网上银行业务的角逐。经过十年的发展,睡着国内银行网上业务的扩大和推广,我国的网上客户规模快速增长:06年用户规模7100万,07年的网上银行交易总规模达到245。8万亿元。随着人民币业务开始对外资银行全面开放,网上业务必将成为一个更广阔的市场.但是当今的网上交易仍然处于一个非常混乱的状态,每个实体银行为了争取客户都开设了自己的网上银行可以和自己的银行帐号挂钩,一个
20、客户通常不止在一个银行有业务,当他们需要资金流动时就面临一个很大的问题,如何方便快捷安全的在网上管理自己的资金,统一的管理自己的资金和各种信息。正是在这种需求上我们设计EBank(虚拟银行)系统,作为一个信息时代的系统它首先需要满足对客户的高质量的服务和海量的数据存储,这就需要一个良好的数据存储系统,但是目前的分布式系统大多具有一定的局限性,只能被动的提供访问而不能主动的根据客户的行为改进服务质量,第二,他们的扩展性不够好,他们增减节点复出的代价太高,并且不够灵活。在这个方面云计算为我们提供了很好的参考模型,云计算概念的提出为我们的问题解决提供了契机,随着google公司关于自己云架构的五篇标
21、志性论文的发表,人们在计算机和网络发展方向上找到了新的方向,云计算之所以如此被人们看好是因为它有很好的扩展性,很好的性价比,对客户透明,很强的自动管理和优化资源分配的能力,并且提供必要的数据冗余和容错机制,也有很好的一致性机制保证数据的完整性,但是他们存储的大多是非结构化的数据,并且就目前的研究进展来看,云存储还只能面向一次写入多次读取的数据,对于常更新的数据没有很好的解决方案。在当今技术环境下,银行最成熟的数据存储模型仍然是关系数据模型,所以如何才能把两种优势结合起来,让我们既要拥有云存储平台的各种优势,又能方便的为我们的虚拟银行提供良好的服务,只有这样才能让我们的虚拟银行在未来的竞争中处于
22、有利地位。进一步考虑,在未来市场中云计算成为市场的发展方向,以后的各种公司类型分为如下几种,一类是提供云服务的公司,他们利用自己巨大的资金和技术优势在全世界的范围提供自己的服务就像现在的电力公司一样,这样的公司全世界并不是很多,现在来看像google,IMB,微软,亚马逊,惠普,ORCALE在以后成为云服务提供商的可能性很大,另外一种类型的公司就像现在的工厂用电一样享受这些公司提供的服务,并且按需支付,而不像现在这样这样公司需要自己架设自己的服务器自己管理自己提供安全保证,这就是原来公司自己发电一样落后,那么一个针对银行这种特殊群体的需求而提供服务的云平台在未来将成为可能,这样可以把银行从海量
23、的数据保存和安全防护中解放出来,有利于银行精力集中在业务上面。这行在云存储平台上架构我们的关系模型的数据库就是本文需要讨论和解决的问题。更进一步考虑此项目甚至可以扩展为未来为银行专门提供计算和存储服务的平台。1。2 国内外现状及发展趋势网上支付宝的出现对于网上交易和资金管理是一个里程碑。它提出了第三方平台的概念,也为我们在网上进行安全交易和资金管理提出了接口,但是它不能满足我们我们管理网上财产的需求,各个银行之间的转账还不够方便,过程繁琐,手续复杂,对于我们的其他虚拟财产的管理没有提供良好的扩展接口,比如Q币的各种游戏货币,同时也没有面向证券,股票等等的服务,但是这项业务恰恰是人、人们体会网络
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算 虚拟 银行 海量 数据 存储 设计
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【人****来】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【人****来】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。