广发核心系统综合项目数据清理专项方案.doc
《广发核心系统综合项目数据清理专项方案.doc》由会员分享,可在线阅读,更多相关《广发核心系统综合项目数据清理专项方案.doc(12页珍藏版)》请在咨信网上搜索。
1、广发关键系统项目概要设计书(数据清理)V1.011月目录1概述31.1理论背景31.2需求背景31.3功效清单41.4关键策略41.5限制/假设52术语定义62.1清理编号62.2清理类型62.3清理时间62.4保留期限72.5清理状态83数据结构93.1数据结构描述93.1.1数据清理参数表94功效描述104.1数据清理参数表维护104.2技术平台数据下载和清理104.3应用系统数据下载和清理114.3.1应用系统数据下载和清理114.3.2计算清理日组件114.3.3计算保留日组件114.3.4数据清理控制组件125附录131 概述1.1 理论背景完整数据生命周期是:应用系统数据在生产应用
2、系统中在线阶段,归档阶段,销毁阶段单一流向过程。完整关键银行系统数据管理步骤包含主机和开放平台,其步骤包含:1、 主机数据下载:定时将符合条件应用数据生成文件,下载至开放平台。2、主机数据清理:定时将符合条件应用数据删除。3、主机数据归档:装载下载数据文件至开放平台档案管理系统。4、归档数据销毁: 定时销毁开放平台档案管理系统中应用数据。本文档描述是主机数据清理总体方案。1.2 需求背景历史数据是指多种档案中带有日期项数据,这些日期项可能是键值之一(如交易历史表),也可能不是键值(比如账户主档中销户日期),依据这些日期和统计一些状态,就能够确定那些数据已经过期,无需在主机中继续保留而能够被清除
3、。历史数据清理是保护资源,提升系统性能关键方法之一,所以数据清理标准在需求分析阶段就要确定下来,但清理时间和数据保留期限却会伴随数据量增加和业务发展而不停改变。比如票据业务需求是“对于已结清票据统计,假如结清期限超出1年,许可在年末统一作物理删除”。在这个需求中,数据清理时间(年末)和数据保留期限(1年),可能会伴随业务大幅增加而发生改变(比如改为每个月末清理,保留六个月内数据),但清理条件“已结清票据统计”却是固定不变。为了降低需求变更所带来程序修改,我们将“数据清理时间”和“数据保留期限”单独抽取出来,变成能够定义维护参数,而清理条件和具体要清理那些数据库表统计则留给应用程序来完成。1.3
4、 关键策略数据清理动作统一由应用提议。应用清理程序天天全部开启实施,依据处理对象(清理编号)调用数据清理日期查询组件检验当日是否需要进行数据清理;假如需要数据清理,清理日期查询组件则返回统计最小保留日期(详见接口说明文档),应用依据最小保留日期进行以下处理。1、档案无需支持二十四小时。应用程序扫描需要清理档案,将符合条件统计作删除。需要考虑全部必需条件,包含:统计最终修改日小于最小保留日期;统计属于业务无效状态;相关联表主从统计需要同时删除。2、档案需要支持二十四小时(针对双主档)。第一步:应用程序扫描批量档案,确定需要删除那些档案那些统计(日期小于最小保留日期统计),将这些统计KEY值登记下
5、来生成BSP档案(注意:这些KEY值不一定带有日期数据,比如已销户超出一定时限活期存款KEY值其实是存款账号)。第二步:依据BSP档案发动BSP处理,经过KEY值真正删除联机档案中相关统计。这时应用BSP程序可能还需要再次检验统计状态和日期,以免发生意外错误(比如已销户活期存款被销户重开了)。1.4 性能原因1、采取程序方法删除统计,系统会登记DB2 LOG,对于一次清理大量数据会引发系统性能下降。所以在需求分析时,对于包含大数据量清理,尽可能经过增加清理次数方法来分散每次清理数据量。2、数据清理后通常要对数据库表进行REORG,也能够参考日常系统运行REORG实施日期,来安排数据清理运行实施
6、。2 术语定义数据清理模块关键数据结构是数据清理参数表,其包含以下要素。2.1 清理编号清理编号是8位字符串,它代表了一类数据清理规则,由应用技术人员维护。为了方便记忆,能够定义为数据库表名称。2.2 清理类型对同一个清理编号之下清理规则再次划分,是20位字符串自由格式,由应用自己定义和使用。比如对交易历史清理,在同一清理编号下,不一样模块账号,或不一样产品可能有不一样清理规则。2.3 清理时间表示数据清理时间要求,即在什么时间点来做数据清理,在IBS CORE中,数据清理时间由清理频率和清理周期组成:清理频率清理周期摘要日NNN=199,表示相对于年初每 NN 天就开启数据清理。比如 NN
7、=01 表示天天全部清理,NN =05 表示每5天清理一次。周NN=17,表示每七天 N 开启数据清理。比如 N=1 表示周一清理,N=7 表示每七天日清理。旬NNNN=0110,表示每旬 NN 日开启清理。比如 NN =01 表示每旬第1日清理,当 NN=10表示每旬末清理。月NNNN=0131,表示每个月 NN 日开启清理。比如 NN =01 表示每个月1日清理,NN =15 表示每个月15日清理, 尤其地当 NN=31表示每个月月末清理。季NNNN=0131,表示每三个月 NN 日开启清理。比如 NN =01 表示3、6、9、12月1日清理,NN =15 表示3、6、9、12月15日清理
8、,尤其地当 NN=31表示季末清理。六个月NNNN=0131,表示每六个月 NN 日开启清理。比如 NN =01 表示6、12月1日清理,NN =15 表示6、12月15日清理,尤其地当 NN=31表示6月30日、12月31日清理。年MMDDMMDD表示指定月、日,尤其地,假如设置为0229则只会每4年清理一次。指定CCYYMMDD于指定日期清理。清理开启需要按批量假期表进行计算,当出现假期跨一个清理周期时候,仍然以当日批量处理时间为准。比如定义天天清理一次,每次保留5天以内数据,且假设国庆节7天全部为假期不跑批量,那么在9月30日实施清理时候,只是清理9月26日前数据,10月8日上班第一天仍
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 广发 核心 系统 综合 项目 数据 清理 专项 方案
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【二***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【二***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。