电子政务领域的大数据解决思路.pdf
《电子政务领域的大数据解决思路.pdf》由会员分享,可在线阅读,更多相关《电子政务领域的大数据解决思路.pdf(50页珍藏版)》请在咨信网上搜索。
1、电子政务领域的大数据解决思路 Contents PageContents Page4 信息资源共享难问题分析解决思路行业实践 总结据标准5 电子政务建设的问题问题分析解决思路行业实践 总结2条块分割 纵强横弱缺少总体 Q顶层规划 oIT资源利L 用率低标准不一、重复建设、粗放 式建设 各自为政、信息共享难、业务协 同更难4项目建设 运维成本 高基础设施利用率低、数据价值没 有发挥电子政务投资成本高、缺乏专业运维团队、运维成本高、时间成本高(部 署、开发)。6 电子政务的大数据建设目标 问题分析 解决思路 行业实践 总结(1)构建政务大数据处理的交换、整合、共享、分析与服务的软件平台(2)建立覆
2、盖政务数据定义、存储、管理、共享、分析与服务的标准体系(3)不断整合各类基础设施资源、数据资源,支撑大数据业务的持续发展Contents Page8 分布式数据中心架构问题分析解决思路行业实践 总结政府公共数据中心教育 卫生 交通9 逻辑库与物理库问题分析解决思路行业实践 总结分布式查询引擎资源检索建-A,A资源定位luumuiiiuiii t内存!_闪存 硬盘分级缓存本地资源调度缓冲库本地物理库远程资源调度公安远程物理库基础库教育 分布式资源索引1资源调度10 大数据生命周期问题分析解决思路行业实践 总结以数据流为主线,实现从数据采集、数据管理.数据服务到数据应用4个阶段的全过程管理数据库数
3、据文件=0=数据接口非结构化 数据 异构温信源Ji一数据采集转换规整汇集标准化质量控制分类 存储结构化数据库 一资源目录分布式文件库-_数据管理元数据库f数据仓库信息共享,j 器分析服务数据展现决策支持报表服务查询服务i 岩一数据服务数据应南户11 相欠技术问题分析解决思路行业实践 总结fa)/K数据可视化程度低 数据深入分析不够 数据安全性问题 数据质量问题 数据标准不一致 数据涉密不能落地问题 数据一致性问题 数据分散不规范问题 非结构化数据存储 结构化大数据存储12三张皮变一张皮问题分析解决思路行业实践 总结业务 应用1业务 应用2业务 应用N资源 共享 应用1资源 共享 应用2资源 共
4、享 应询N数据 分析 应用1数据 分析 应用2数据 分析 应用N大数据平台数据整合共享库业务库OLTP二类新据盗源共享数据数据建模主题库OLAP13 政务大数据应用架构问题分析解决思路行业实践 总结发改委 财政 建委应用 平台资源共享、业务协同、决策分析、信息门户、安全防护体系1应用1 L55!领导驾驶舱/KPI.仪表盘,工作流引擎/ESBX_/即席查询_-_)业务报告 X_Z图表展现K_/SOAOffice集成1 1监测警报1数据 中心社管卫生环保交通教育数据集市 主题域数据库 ODS建交委公安局规划局卫生局教育局采集、整合、服务、监管标准规范体系14 达梦大数据平台问题分析解决思路行业实践
5、 总结实现数据采集、交换、整合、管理及共享等全生命周期管理,能实现数据的集中及分布式 存储,为政府大数据项目提供基础支撑和保障商业智能平台BI数据服务平台数据门户数据“一张图”分析与服务层联机分析处理 OLAP数据仓库建模工具数据挖掘平台资源管理层资源目录系统 1数据整合攵据资源管理)元数据管理故据质量管理 数据监控数据交换平台ETL实时同步工具 DMHS分布式请求服务引擎数据交换层异构分布式查询数据存储关系数据库DM7(MPP读写分离列存储RAC)非结构化数据库 MGBase16 达梦大数据平台数据存储类(MGBase)问题分析解决思路行业实践 总结应用程序批量装我T.具 监控管理工具 面向
6、列的分布式 NoSQL型数据库 构建于分布式文件系 统之上 适用于半结构化和非 结构化海量数据存储Master主控服务器集群MasterMasteron数据 数据 服务器I服务器 II I数据块 缓存发分区 实例发分区 实例列实例列实例列实例数据服务器数据文件数据文件数据文件数据文件数据文件数据文件分布式文件系统17 达梦大数据平台异构分布式查询问题分析解决思路行业实践 总结内存综合查询系统资源目录系统分布式查询处理采用一致接口访问本 地、远程数据源支持多级代理,适应 复杂网络部署支持关系数据库、数 据文件、数据接口、NoSql数据库闪存Isl硬盘本地分级缓存TXT、EXCEL XML 和 W
7、ebService 等其 他数据源缓存管理数据访问代理安 全 管 理管 理中心节点数据访问代理业务节点各类数据源关系型数据库非关系型数据库业务节点前置节点数据访问代理】,分数据中心节点数据访问代理各类数据源合口各类数据源数据访问代理各类数据源业务节点前置节点数据访问代理数据访问代理各类数据源电3各类数据源18 达梦大数据平台数据交换类(DMETL)问题分析解决思路行业实践 总结解决不同单位.不同系统之间的数据采集、数据交换等要求。支持异构数据源采集/Oracle/Sql Server/DM dbms/DB2/MySql/Sybase/Excel文件,其它文件发改委 建委 财政局 规划局 审计局
8、支持多级单位间的数 据交换19 达梦大数据平台数据交换类(DMHS)问题分析解决思路行业实践 总结达梦数据同步软件(DMHS)是支持异构环境的高性能、高可靠、高可扩展数据库实时同 步复制系统。对源系统的资源消耗低,数据同步速度快,支持故障恢复后断点续传。DMHS 数据捕捉进程L DMHS、DMHS管理进程,DMHS I 等理龙”20达梦大数据平台数据交换类(请求服务引擎)问题分析解决思路行业实践 总结分布式请求服务引擎解决数据不能落地的远程数据访问问题。内网外网分布式请求服务引擎 穿透内外网 请求转发 远程服务代理 中心/分中心一体 化服务请求响应列表请求响应协调器请求响应服务器任务池比新 请
9、求请求监听列表交换1/查询 请求请求数据查询器请求转发器内网请求服 数据交换平台 务数据库21达梦大数据平台数据管理类(元数据管理)问题分析解决思路行业实践 总结统一数据标准,全过程元数据记录,数据转换 工具 数据标准 元数据仓库 自动获取 关系维护 版本管理 导入/导出 元数据应用她一号一业务分析数据仓库 业务主题数据来源数据仓库 设计01业务视图0110,0001(01101元数据22达梦大数据平台数据管理类(数据整合)问题分析解决思路行业实践总结X 利用ETL工具异构数据源支持i:.EL如l图形化设计器J,传.北h汪作/B4告方宝碰停Q林军加2_L丰富的清洗转换组件基于插件模式扩展irr
10、fSW俭-3 Ts 日*九,:4f;,夏本文传,CAA.MM.M MbCT 二T,THS1WMBAitam实现数据的清洗、转换、规整.治理、标准化等 x里Q 3同DSBA14A地下水水质分析取样表地下水调查监睚来自QUA SAMPLE卜械遗迹保护名录袤 地质谖迹类别表 日日志表 网监则区域裹o a a xQ DSBA15A监则仪器种类裹地下水调查翻室来自 GWS_DIVERT 同剋监剜点信息表 V共99条记录 由页15 条1 17基于元数据,通过快速配置实现对数据的基本管理、访问权限 控制与发布等功能24 达梦大数据平台数据管理类(资源目录)问题分析解决思路行业实践 总结收集整理所有相关系统,
11、相关数据.相关服务等资源信息 方便用户寻找有用的信息资源目录检索系统却首页后台管理注销费源 目录内部资源 E检索分类:内部资源外部资源服务接口 内部奥源:网监总队(0)机动车辆信息管理系统(1)经侦信息管理系统(0)在逃人员信息系统(0)特情管理系统(0)网监基础数据库系统(1)监管总队(0)禁毒总队(0)网吧系统(1)刑侦总队(0)刑侦指纹应用系统(0)类案信息管理系统(0)机动车驾驶证信息管理系统(1)网络案件信息系统(0)违法犯罪人员信息系统(0)禁毒信息管理系统(0)治安总队(0)未知名尸体信息系统(0)刑侦指纹通信系统(0)刑侦研判平台(0)道路交通违法信息管理系统(0)全省人口信息
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 电子政务 领域 数据 解决 思路
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。