大数据产品方案培训材料.pdf
《大数据产品方案培训材料.pdf》由会员分享,可在线阅读,更多相关《大数据产品方案培训材料.pdf(48页珍藏版)》请在咨信网上搜索。
1、2018新华三春雨行动渠道培训大数据2018.5 Internal 内参22020304新华三大数据建设背景01新华三大数据产品方案新华三大数据解决方案与案例Internal 内参33全面实施“国家大数据”战略2015年8月,国务院印发关于促进大数据发展的行动纲要2015年10月,“十三五”提出,“实施国家大数据战略,推进数据资源开放共享。”2017年,习近平在中共中央政治局第二次集体学习时强调加快建设数字中国Internal 内参44新华三大数据郑州分公司|战略布局2016年11月,与郑州市人民政府签署战略合作协议2017年3月,落地郑州成立新华三大数据有限公司计划3到5年,1000人研发,
2、500家生态合作伙伴Internal 内参55新华三大数据的实力IDC:新华三大数据获得最具挑战力企业工信部:政务大数据获得“优秀大数据解决方案奖”信标委:大数据平台71项测试,用时最短、表现最优工信部:200节点大数据平台性能测试Internal 内参66大数据实践遇到的问题数据不通畅架构不适合数据不可用数据没价值系统相互独立数据分散管理数据孤岛数据标准不统一数据不完整数据质量低下缺乏数据展示分析手段有限数据无法产生价值可扩展性差处理的数据类型有限传统架构不满足大数据分析场景Internal 内参77用户ISV咨询机构平台提供厂商平台提供厂商用户ISV平台提供厂商大数据建设方法三段论处理技术
3、升级数据资源整合数据价值挖掘没价值不通畅、不可用架构不适合Internal 内参88采集存/算加工服务应用数据数据通畅架构领先数据可用价值呈现大数据解决的问题Internal 内参9932018年:增长期12016年:探索期22017年:实践期大数据+AI场景化人工智能引擎云数融合架构探索行业应用大数据工具8大引擎一体机IT大数据大数据平台(DataEngine)HadoopMPP大数据产品演进路线Internal 内参10109大产品方案,提供数据采集、存储计算到应用开发、运营管理等数据全流程可视化服务9大引擎产品聚焦政务、公安、教育三大主航道,提供完整产品、应用解决方案。3大行业方案机器数
4、据分析决策系统,提供网络流量分析与日志分析解决方案1个场景化方案新华三大数据定位Internal 内参1111课程小结新华三大数据定位建设方法三段论实践遇到的问题建设政策背景Internal 内参1212020304新华三大数据建设背景01新华三大数据产品方案新华三大数据解决方案与案例Internal 内参1313新华三大数据平台数据全流程数据源行业应用数据视觉引擎数据集成引擎存储计算引擎人工智能引擎行业建模引擎应用开发引擎商务智能引擎共享交换引擎服务运营引擎数据通畅架构领先数据可用价值呈现Internal 内参1414集群管理业务管理10GE交换机10GE 业务网络GE管理监控网络GE交换机
5、软件集群基础设施交换网络管理节点大数据平台区大数据一体机 NaviData 5200/5100/5900 G3DataEngine大数据软件AI一体机AI平台区GPU 加速卡)AIEngineAI软件平台大数据应用创新应用区完整的软硬件一体化平台Internal 内参1515数据集成引擎采集PART Internal 内参1616需求描述业务系统独立,数据孤岛,数据难流动、难整合。缺乏对数据的统一管理,数据只能在较低层面发挥价值,难以凝聚起来在更高层面完成建模、深入挖掘和分析,无法给用户带来业务上的回报。01020403数据整合实现同异构数据源之间的数据采集、传输、处理、整合,打破数据孤岛。系
6、统间迁移新旧系统替换时,常需要将旧系统的数据集成至新系统。数据同步为数据仓库业务增量数据提供多维度的定时同步功能。数据分析在不影响业务的同时,将业务数据实时同步至分析系统中,快速满足业务决策及BI系统。Internal 内参1717应用数据库大数据平台文本XML影音图像CSV日志数据源DI目标数据数据仓库大数据平台资源目录应用抽取分布式加载B/S架构转换数据集成引擎定义:数据集成即ETL,抽取、转换、加载。核心功能是采取分布式的方式将客户业务系统数据抽取到大数据平台。Internal 内参1818核心功能:Web可视化设计界面 可视化设计界面提供了数据模型设计、任务调度设计、运行监控管理等一体
7、化的数据集成环境,何时何地都可以实现对ETL任务的部署和管理。Internal 内参1919应用场景:oracle-大数据平台Internal 内参2020存储计算引擎存/算PART Internal 内参2121存储计算引擎交互式SQL和可编程API数据采集ETL工具日志采集数据库连接存储计算引擎HadoopMPP产品定义:采用Hadoop+MPP的混搭架构,提供离线、流式、实时的计算框架、机器学习算法模型与分布式数据库,满足海量多类型数据的存储与分析。先进的融合架构Hadoop+MPP统一运维管理web化、精细化运维管理、向导式升级与扩容Internal 内参2222产品技术优势统一运维管
8、理服务组件HA线性扩展稳定向导式部署与升级支持标准SQLWeb化操作与云平台融合便捷机器学习算法场景化模型自适应压缩算法智能多副本机制三权分立数据加密多租户隔离安全Internal 内参2323租户用户申请集群灵活部署,可部署在虚拟化、容器和物理机。支持Hadoop、Spark、Hbase、Storm集群;数据安全,集群运行在私有网络,租户强隔离,确保数据安全;自动运维,一键部署集群,全程自动化节点分配、服务部署、性能优化;动态伸缩,提供集群规模动态调整,一键弹性扩容、缩容;作业管理,提供作业管理,支持Jobs任务,可以直接执行数据分析作业;管理控制台,提供管理控制台,方便管理集群、监控报警,
9、一目了然;使用集群OpenStackDataEngine大数据平台大数据平台KVM/CASContainerBare Metal自动易用可靠安全通过云平台按需申请大数据集群丰富的组件,Hive、Pig、Hbase、Hue等仪表盘式运维,完善的可视化监控视图完善的监控告警、日志管理可基于物理机部署,硬件资源保障支持HA,服务高可用完善的用户、角色、租户管控,三员分立支持用户行为、日志审计一键安全检查大数据云化服务Internal 内参2424应用开发引擎加工PART Internal 内参2525开发测试数据挖掘600+编程语言不完全统计大数据开发涉及数以万计的手册/工具81+开源底层处理软件2
10、00+机器学习算法库Internal 内参2626应用开发引擎数据探索工厂快速学会机器学习算法建模开放者实验室快速学会使用Hadoop应用构建工厂快速学会开发大数据应用产品定义:服务于教育行业,为客户提供一站式大数据应用开发和数据挖掘的平台,方便快速构建大数据应用开发环境,降低大数据开发门槛,提升创新应用开发的能力。Internal 内参2727定位:大数据科研创新平台ADE应用开发引擎DataEngine大数据平台应用开发者数据分析师应用构建工厂 数据挖掘模型构建 模型交叉验证 全流程引导 特征分析、图挖掘、深度学习等算法库数据探索工厂 程序Jar导出、部署 Job任务调度、监控 Web s
11、ervice生成 应用漏洞扫描、管理应用部署管理 快速构建开发工程 智能推荐组件架构 框架代码,减少编码量 调优、开发文档等知识库在线资源更新 开发基础实验 大数据基础实验 算法实验(机器学习和深度学习)小型应用开发开发者实验室Internal 内参2828商务智能引擎可视化服务PART Internal 内参2929商务智能引擎(BI)产品定义:比Excel还简单的,一款整合结构化数据,通过托拉拽、不需要写SQL的方式,快速实现数据可视化分析的工具。简单易用不需要写SQL完成数据可视化托拉拽动动鼠标实现数据多维度分析Internal 内参3030助力企业科学决策 根据企业销售数据、订单数据、
12、采购数据等,实时、快速分析出企业经营状况,构建领导驾驶舱,助力企业科学决策。Internal 内参3131一个场景化方案机器数据分析决策系统PART Internal 内参3232网络存在的问题应用服务保障应用流量浅层分析无法分析应用服务质量无法分析应用的用户体验网络流量流量分布不均流量突发,无法预测粗犷式流量分析流量管控调度人工干预事后故障处理机制无法实现网络资源灵活调度Internal 内参3333机器数据分析决策系统智能管控子系统SDN流量采集子系统(流量分析一体机)数据分析子系统(大数据集群)机器数据分析决策系统机器/应用等日志数据Netstream/Netflow全流量镜像数据数据源
13、Internal 内参3434网络流量大数据日志分析大数据I.流量精准分析和预测II.重点应用保障III.流量智能调度I.多源日志采集与解析II.日志全文检索III.可视化分析与智能告警两大核心模块 通过大数据手段对设备产生的流量、日志、配置文件等机器数据进行分析,实现应用的智能保障、全网流量的智能调度与网络服务质量的评价。Internal 内参3535课程小结商务智能引擎服务应用开发引擎加工存储计算引擎存/算数据集成引擎采机器数据分析决策系统Internal 内参3636020304新华三大数据建设背景01新华三大数据产品方案新华三大数据解决方案与案例Internal 内参3737完整的政务
14、大数据解决方案政务共享交换体系建设方案案例:河南省政务大数据 广东畅通工程政务信息资源整合共享平台政务云+大数据平台建设方案案例:巴中政务云 云南党建云政务云 电子政务网+网流分析大数据建设方案案例:中山党政网络升级改造电子政务网Internal 内参3838河南省政务服务平台大数据平台二期项目需求方案及价值落实国家、省级相关政策的需要。提高“放管服”改革成效、打破信息孤岛。提升政府治理能力。助力河南大数据综合试验区建设的需要。2库(人口、法人)、2体系(资源目录体系、共享交换体系)、1标准(标准规范体系)、1环境(大数据处理环境)构建河南省统一的公共数据基础平台,实现政务大数据的统一。完成6
15、4省厅18地市10直属县的的资源目录和共享平台建设实现跨地区、跨部门、跨层级政务信息资源共享与业务协同。实现数据多跑路,群众少跑腿Internal 内参3939完整的公安大数据解决方案公安警务云大数据方案案例:天津公安云 河北公安云科信4G分光项目大数据平台方案案例:沧州市局4G分光项目技侦雪亮工程网络流量大数据方案综治办Internal 内参4040部署架构解决方案情况给客户的价值 一朵云:构建天津公安警务云 两个中心:构建云数据中心,大数据资源中心 分层解耦:云数据中心基础设施资源与应用平台层松耦合,实现分成解耦。统一服务:大数据作为云计算的服务之一,通过云平台申请,调用,实现账户统一。统
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 产品 方案 培训 材料
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【可****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【可****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。