数据整合方案.doc
《数据整合方案.doc》由会员分享,可在线阅读,更多相关《数据整合方案.doc(10页珍藏版)》请在咨信网上搜索。
1、1. 信息资源标准化数据标准化主要实现了数据格式、内容和语义的映射、转换,实现编码一致化、面向主题集成、数据聚合等功能。通过数据交换、采集,形成的基础业务数据,通过数据整合进一步的数据ETL(数据抽取、转换、加载),按照定制的标准信息规范进行匹配映射(Match)、数据格式转换(Transform),并对重复数据进行数据清洗(Cleanse)、过滤(Filtrate)、聚合(Aggregate),最后多维加载(Load)后形成标准化数据.采用数据同步工具和ETL工具完成数据抽取、同步等整合工作,并通过任务调度管理实现对整合工具的集中管理和执行.数据采集时可以按信息资源平台的要求将数据标准化。在
2、采集抽取数据时没有按信息资源平台转换为标准数据的数据,需要按信息资源平台的要求转换成标准的数据如字典的统一。2. 数据加工管理2.1. 数据抽取数据抽取是利用抽取工具,建立抽取模型,将多个数据源数据汇总到一个数据库的过程。2.2. 数据清洗由于数据来自多个业务系统,而且包含历史数据,需要按照一定的规划把数据进行清洗,整个数据清洗的对象应包括不完整的数据、错误的数据、重复的数据等三大类.2.3. 数据转换数据转换主要实现数据标准化的过程,信息资源平台的数据,来自多个业务系统,有些数据源没有按照统一的标准规范设计,因此会造成数据难以与其他数据共享。数据转换应实现按照统一的数据标准和既定的格式转换规
3、则,对数据的整理和格式统一.2.4. 数据装载数据装载操作效率是数据资源平台需要考虑的重要环节。投标人应详细描述针对本项目的不同数据资源所应采用的数据装载策略.2.5. 数据标识数据标识主要为了突出数据的关键性信息,便于实时的统计和更有效的比对,进而获取符合用户业务办理相关的结果.3. 数据整合处理系统3.1. 数据处理流程数据中心的构建,基础和核心的工作是需要对来自各方的数据进行充分的整合和处理,对获取的各类源数据,需要进行大量的数据梳理、分析,并作相关的数据整理工作,通过数据梳理和转换工作,把不同来源的数据基于数据标准,转换成标准化数据后,再进行入库,从而保证进入数据中心的数据质量,不产生
4、垃圾数据,从而为数据中心的全局应用奠定基础.数据处理的流程如下图所示:数据的处理流程主要如下:1、获取源数据通过数据共享交换对接和实施,获取各单位的原始数据,并暂存在数据缓冲库中,这部分的数据结构和原始数据的数据结构相同。2、数据整合处理对缓冲库中存储的数据,基于数据标准,对原始的数据进行整合处理,包括企业关键码标准化处理、企业基础数据整合处理 、企业许可数据整合处理、企业监管数据整合处理、其他政府部门数据整合处理、电子统计报表数据导入处理、历史数据整合处理等。通过整合处理,把非标准化的原始数据转换成标准化的数据。3、数据中心数据入库对整合处理后的数据按照数据的性质,分别进入到基础数据库和业务
5、数据库中.3.2. 食品安全监管数据整合处理分析3.2.1. 企业关键码标准化处理目前,有关企业的各类信息都分散在XX省XX监管平台、网上办事大厅XX分厅以及相关部门的行政审批系统,不同的系统对企业的唯一编码各不相同,目前存在三种方式: 企业组织机构代码 企业工商登记注册号 统一社会信用代码 企业XX行业相关许可证号由于不同的业务系统是由不同的开发商开发的,在企业编码的标识上各不统一的,为了实现基于企业为主线,首先需要以企业关键码为关联,对各方汇聚的有关企业的各类信息进行关联整合,形成企业综合资源,为后续的企业综合分析提供数据支撑。因此 ,需要基于企业编码标准,对采集的原始企业业务数据的企业编
6、码进行标准化处理。企业关键码标准化处理涉及的工作包括 :1、基础数据获取通过共享交换对接、文件导入等多种方式,获取有关企业的基础数据等.2、企业关键码梳理分析根据调研情况,针对XX市企业基础数据的实际情况和国家推行三码合一的政策,采用依次以信用代码、组织机构代码、工商登记注册号、许可证号对从各方获取的企业信息进行梳理分析,和企业关键码进行比对,制定企业关键码标准化的处理规则。3、企业关键码数据标准化对各方汇聚的企业关键码数据按照标准化处理规则进行转换、补充等处理。3.2.2. 企业基础信息整合处理在不同的业务系统中,对企业基础信息描述有有差异、包括企业字段和相关的数据结构的设计等,因此,需要对
7、各方汇聚的企业基础信息按照统一的企业基础数据标准,进行整合处理,构建企业基础数据库.3.2.3. 企业许可数据整合处理目前,XX市相关企业许可数据主要分布在两个渠道:网上办事大厅XX分厅XX省XX监管平台等。1、网上办事大厅XX分厅许可数据整合处理通过网上办事大厅XX分厅进行受理和审批,则通过和网上办事大厅XX分厅进行对接,获取相关的企业许可数据。对获取的企业许可数据按照统一的数据标准进行整合处理,经过规则转换后形成标准的企业许可数据导入到数据中心.2、XX省XX监管平台企业许可数据导入若属于XX省监督管理局办理的许可事项,则对接XX省监督管理局的数据中心,获取XX市XX相关企业的许可信息,按
8、照企业的许可标准导入到市局数据中心。3.2.4. 企业监管数据整合处理以企业为主线,对分散在不同渠道的企业监管数据进行梳理,按照数据标准要求,对和企业相关的监管数据进行整合处理并入库.需要进行整合处理的监管数据大类包括: 四品一械企业日常监管数据 四品一械 企业行政执法数据 四品一械企业抽样检验数据 四品一械企业信用数据 食品追溯数据 广告监管系统的抓取视频、抓拍图片和抓取音频等广告监测数据 其他3.2.5. 电子统计报表数据导入处理对XX市XX监督管理局上报省局的统计报表数据(以电子表格方式),对这部分数据也需要导入到数据中心,提供全局应用的数据支撑。3.3. 数据整合处理功能3.3.1.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 整合 方案
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【a199****6536】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【a199****6536】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。