DataService操作基础手册.docx
《DataService操作基础手册.docx》由会员分享,可在线阅读,更多相关《DataService操作基础手册.docx(21页珍藏版)》请在咨信网上搜索。
1、DataServices培训总结-操作手册目录一、DS简介2二、DS数据加载方式2三、DS进行数据抽取模型开发的基本过程3四、DS创建数据源系统和目标系统的数据存储31、Oracle数据库作为数据源系统32、ECC作为数据源系统43、HANA数据库作为目标系统5五、全量加载过程51、创建Project和Job52、导入源表的元数据到资源库63、创建Data Flow64、设置源表和目标表75、手工执行Job7六、基于表比较的增量加载81、在Job下定义工作流82、在工作流中定义数据流83、加入Table_Comparison控件94、设置Table_Comparison控件9七、基于时间戳的增
2、量加载101、在Job下定义工作流102、定义Script控件103、定义处理新增数据的数据流和处理更新数据的数据流11八、DS中常用控件介绍131、Key_Generation132、Case133、Merge144、Validation155、设置过滤器和断点15九、定义Job定期执行161、登录Data Services Management Console162、定义Batch Job Schedules17十、其他注意事项18一、DS介绍SAP BusinessObjects Data Services是经过SAP HANA认证ETL工具。 采取数据批量处理方法,定时实施后台作业,将
3、数据从多个业务系统中抽取出来,并进行必需处理(转换,合并,过滤,清洗),然后再加载到HANA数据库中 。DS组件之间关系: u Management Consol: 管理控制台是网页版DS管理工具,能够进行部分系统配置和定义Job实施 u Designer: Designer是一个含有易于使用图形用户界面开发工具。它许可开发人员定义包含数据映射,转换和控制逻辑数据管理应用程序,创建包含工作流(作业实施定义)和数据流 (数据转换定义)应用程序 u Repository: 应用程序设计器使用当地资源库用来存放Data Services对象(如项目,作业,工作流,和数据流)定义和源和目标元数据 u
4、Job server: 作业服务器开启数据移动从多个不一样种类源集成数据引擎,实施复杂数据转换,并管理从ERP系统和其它源抽取和事务 二、DS数据加载方法u 全量加载 u 增量上载 a) 基于表比较 作业在实施时读取数据源和目标中全部数据,在服务器内存中进行比较,计算数据差异 b) 时间戳增量 需要在数据源中添加时间戳字段,通常为创建时间和最终修改时间,在抽取作业中定义对两个时间戳字段进行对比,符合条件创建时间条目进行插入,符合条件修改时间条目进行更新 c) 利用数据库CDC(changed data capture) 首先需要开启数据库CDC服务,为数据库实例启用CDC功效,为源表启用CDC
5、功效。在这种模式下,DS增量更新不再直接访问源表,而是在和源表相关变更统计表中读取增量 三、DS进行数据抽取模型开发基础过程u 为数据源创建数据存放 u 导入源表元数据到资源库u 为SAP HANA目标系统创建数据存放u 新建DS项目和批量作业u 新建DS数据流:定义源表和目标表,定义变量、编辑Query和Map_CDC_Operation u 实施批量作业 四、DS创建数据源系统和目标系统数据存放1、Oracle数据库作为数据源系统登录Data Services Designer,在当地对象库数据存放页签中单击鼠标右键,选择新建菜单创建数据存放“EAM_TEST”,在弹出对话框中输入EAM数
6、据库连接信息2、ECC作为数据源系统一样在创建DataStore时,输入ECC连接信息3、HANA数据库作为目标系统在创建DataStore时,输入HANA数据库连接信息五、全量加载过程1、创建Project和Job在当地对象库project页签中单击鼠标右键,选择新建菜单,创建项目“ERP_DS”。双击该项目,在“Project Area”,能够在该项目下创建Job2、导入源表元数据到资源库在当地对象库数据存放页签中,选择源系统数据存放,单击鼠标邮件,选择“Import By Name”,输入需要导入到资源库表名称。导入成功后,在数据存放table目录下能够看到导入表3、创建Data Flo
7、w 单击“General”Job,在右边空白区域单击鼠标邮件,选择“Add New”-“Data Flow”4、设置源表和目标表单击创建Data Flow,将需要导入到HANA数据库中源表拖入到Data Flow区域中,将Data Flow区域右侧工具条中模版表拖入Data Flow区域创建模版表输入模版表名称、HANA目标系统数据存放、HANA数据库存放DS抽取数据表用户名。连接源表和目标表双击模版表,设置“Options”中“Use NVARCHAR for VARCHAR”5、手工实施Job选择Job,单击鼠标右键,选择“Execute”实施成功以后,在HANA数据库中ERPDSUSER
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DataService 操作 基础 手册
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。