Kettle开发使用基础手册.docx
《Kettle开发使用基础手册.docx》由会员分享,可在线阅读,更多相关《Kettle开发使用基础手册.docx(19页珍藏版)》请在咨信网上搜索。
1、 Kettle开发使用手册4月 版本历史说明版本作者日期备注1.0彭伟峰.04.111. Kettle介绍1.1. 什么是KettleKettle是纯Java编写、无偿开源ETL工具,关键用于抽取(Extraction)、转换(Transformation)、和装载(Loading)数据。Kettle汉字名称叫水壶,该项目标主程序员MATT 期望把多种数据放到一个壶里,然后以一个指定格式流出。在这种思想设计下,Kettle广泛用于不一样数据库之间数据抽取,比如Mysql数据库数据传到Oracle,Oracle数据库数据传到Greenplum数据库。1.2. Kettle安装 Kettle工具是
2、不需要安装,直接网上下载解压就能够运行了。不过它依靠于Java,需要当地有JDK环境,假如是安装4.2或5.4版本,JDK需要1.5以上版本,推荐1.6或1.7JDK。运行Kettle直接双击里面批处理文件spoon.bat就行了,图1.1所表示:图1.12. Kettle脚本开发2.1. 建立资源库(repository仓库) Repository仓库是用来存放全部kettle文件文件系统,因为数据交换平台服务器管理kettle文件也是用Repository仓库,所以我们这边当地kettle开发环境也是要用到该资源库。建立资源库方法是工具 - 资源库- - 连接资源库,这时候弹出一个窗口,我
3、们点击右上角“+”号,跟着点击下面kettle file repository选项,按确定,图2.1所表示:图2.1 跟着在右上角选择一个目录,提议在kettle路径下新建repository文件夹,再选择这个文件夹作为根目录,名称和描述能够任意写,图2.2所表示:图2.2建完后会kettle工具会自动连接到repository资源库,每次打开kettle也会弹出一个窗口让你先连接到资源库。在连接到资源库情况下打开文件就是资源库所在目录了,图2.3所表示。注意你在资源库建目录结构要跟数据交换平台目录结构一致,这么写好kettle脚本,保留后放路径能跟交换平台目录结构一致了。图2.32.2. 在
4、目标数据库里新建表 在做数据迁移时候我们需要先在目标数据库建立和源数据库类似表结构,才能在这两张表之间做数据迁移,以oracle数据库到gp数据库,T_SF_DWJFDJXX_TEST表做数据迁移为例,我们先建类似表结构,首先先把表结构代码拷出来:create table T_SF_DWJFDJXX_TEST( NSRNBM NUMBER(10) not null, DWSBH VARCHAR2(18) not null, JFDWNBM NUMBER(10) not null, HYFL_DM CHAR(1) not null, JFDWLX_DM CHAR(3) not null, SBJ
5、C_DM CHAR(2) not null, SBGLJG_DM VARCHAR2(11) not null, SWGLJG_DM VARCHAR2(11) not null, SBDJ_ZT CHAR(2) not null, DJSLRY_DM VARCHAR2(11), DJSL_RQ DATE, LRRY_DM VARCHAR2(11), XGRY_DM VARCHAR2(11), DJ_RQ DATE, DJJG_DM VARCHAR2(11), LR_SJ TIMESTAMP(6), XG_SJ TIMESTAMP(6), ZDFY_BJ CHAR(1), XMMC VARCHAR
6、2(100), KNQYBZ_DM CHAR(1), ZDYCKJN_BJ CHAR(1), SJJHPT_SJ TIMESTAMP(6), SJJHPT_DZ NUMBER(14); 跟着在这个表结构基础上,在目标数据库创建新表。需要注意是,gp数据库数据类型有些跟oracle一样,有些不一样。相同就不用改了,不一样就改下。以上面数据类型为例,相同有char、date、timestamp,不一样是varchar2和number,所以,varchar2(n)要改成varchar(n),number(n)要改成integer(注意不带数字长度n)。建完以后,我们就能够在这不一样数据库两张表之间进
7、行数据迁移或数据定时传输。2.3. 源数据库和目标数据库jndi设置Jndi是kettle连接数据库配置文件,相当于oracletns。Jndi设置目录是在kettle目录下simple-jndi文件夹里,打开后编辑jdbc.properties来设置jndi,下面附上企业揭阳涉税项目oracle 到gp数据库jndi设置,分别是源端oracle数据库和目标端gp数据库。配置信息斜杠左边是jndi名,这里jndi命名规则是数据库名_用户名,注意当地jndi名要跟交换平台jndi名一致。配置信息斜杠右边分别是数据库类型、驱动、数据库地址、用户名和密码。注意,相同数据库配置写法相同,不一样数据库配
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Kettle 开发 使用 基础 手册
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。