【快班】深入BI之Kettle篇
数据仓库
15周
41人
此课程所属【大数据攻城狮专业】专业,专业内有不少于15门推荐课程,目前平台推出【专业课程0元学】活动,只需0元即可在所有的专业课程中任选5门学习,超值优惠,助您快速成长!点击这里了解
- pentahochina
- 初建军(网名:Jason),2004年毕业于天津大学计算软件与理论专业,研究生。后进入北京人大金仓信息技术股份有限公司工作,从事国产数据库的研发工作。现就职于北京傲飞商智软件有限公司(Pentaho 公司的官方合作伙伴),专门从事 Pentaho/Kettle 的研究和开发工作。
有人统计过,在整个数据分析过程里,收集、整理数据的工作大致占全部工作量的90%,建模过程不足10%,可见ETL是数据处理流程中一个非常重要的环节。ETL工程师,在数据仓库类职位中占有很大比例,而且薪水都不差。IT人一下子转型数据分析师可能跳跃度比较大难度高,先转型数据仓库/ETL工程师再择机往更高处走是合理选择之一。在ETL软件中,使用最多的是开源的Kettle,完全免费,功能和性能不弱于datastage这类商业ETL软件,使用Kettle和其它开源数据平台软件,例如Mysql集群,Hadoop集群等组合在一起,是性价比极高的架构选择。本课程系统讲解Kettle及其秘密。
ETL (Extract,Transformation,Load)工具是构建数据仓库、进行数据整合工作所必须使用的工具。目前市面有多种商业 ETL 工具,如Informatica,Datastage等。目前市场上开源且实用的 ETL 工具比较少,Kettle 就是这不多的开源 ETL 工具之一。 本课程将主要讲解开源 ETL 工具 Kettle 的基本使用和二次开发方法,并结合实际项目案例,讲解 Kettle 如何在实际中应用,以及应用中可能会出现的问题。针对目前大数据的应用情况,本课程也将结合大数据,讲述 Kettle 如何支持 Hadoop、HBase、MongoDB、MapReduce 等大数据技术。除了Kettle 的使用,在本课程的后几个课时,将讲述 Kettle 的二次开发: 包括 Kettle 代码阅读指导, Kettle API 的说明以及使用方法, Kettle 插件的开发方法。
- 第1课 ETL 的概念
- 1-1 Kettle 的概念、功能、操作
- 第2课 Kettle 资源库、日志、运行方式
- 第3课 输入步骤
- 3-1 表输入
- 3-2 文本文件输入
- 3-3 XML 文件输入...
- 第4课 输出步骤
- 4-1 表输出
- 4-2 更新
- 4-3 删除
- 4-4 文本文件输出
- 4-5 XML文件输出...
- 第5课 转换步骤
- 5-1 过滤
- 5-2 字符串处理
- 5-3 拆分字段
- 5-4 计算器...
- 第6课 转换步骤
- 6-1 字段选择
- 6-2 排序
- 6-3 增加校验列
- 6-4 去除重复记录...
- 第7课 应用步骤、流程步骤
- 7-1 处理文件
- 7-2 执行程序
- 7-3 发送邮件
- 7-4 空操作
- 7-5 阻塞步骤
- 7-6 中止等...
- 第8课 查询步骤、连接步骤
- 8-1 数据库查询
- 8-2 流查询
- 8-3 合并记录
- 8-4 记录集连接
- 8-5 笛卡尔...
- 第9课 脚本步骤
- 9-1 Javascript
- 9-2 Java Class
- 9-3 正则表达式...
- 第10课 作业项
- 10-1 拷贝、移动、ftp、sftp…
- 第11课 Kettle 的参数和变量
- 11-1 Kettle 集群
- 第12课 Kettle 代码编译
- 12-1 代码结构
- 12-2 应用集成
- 12-3 各种配置文件
- 第13课 插件开发 - 步骤
- 13-1 作业项
- 第14课 作业设计技巧
- 14-1 错误处理
- 14-2 调试转换
- 14-3 循环和分支
- 第15课 大数据插件
- 15-1 Hadoop 文件输入/输出
- 15-2 HBase输入/输出
- 15-3 MapReduce输入/输出
- 15-4 MongoDB输入/输出
Windows 和 Linux
1. ETL 工程师,Java 开发工程师,
2. 经常要做数据处理的 DBA
3. 有一定数据库基础 和 Java 基础的学生。
1. 理解 Kettle 软件的基本功能。
2. 能使用 Kettle 完成基本的数据处理工作。
3. 了解 Kettle 软件的一些高级功能
4. 对有Java 开发经验的同学,对 Kettle 代码结构有一定了解,能开发一些 Java 的基本插件。
学费: ¥400 ( 固定学费: ¥300, 逆向学费: ¥100 )
新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取300元固定收费+100元逆向学费,学习圆满则逆向学费全额返还给学员!