课程信息
  • 课程首页
  • 拼团活动
  • 专业套餐
  • 优惠活动
  • 我的课程
  • 站内消息
  • 站内提醒
  • 我的钱包
  • 道具 | 抵价券
  • 登录


【快班】深入BI之Kettle篇

数据仓库

15周

41人

此课程所属【大数据攻城狮专业】专业,专业内有不少于15门推荐课程,目前平台推出【专业课程0元学】活动,只需0元即可在所有的专业课程中任选5门学习,超值优惠,助您快速成长!点击这里了解

讲师
pentahochina
初建军(网名:Jason),2004年毕业于天津大学计算软件与理论专业,研究生。后进入北京人大金仓信息技术股份有限公司工作,从事国产数据库的研发工作。现就职于北京傲飞商智软件有限公司(Pentaho 公司的官方合作伙伴),专门从事 Pentaho/Kettle 的研究和开发工作。
课程简介

有人统计过,在整个数据分析过程里,收集、整理数据的工作大致占全部工作量的90%,建模过程不足10%,可见ETL是数据处理流程中一个非常重要的环节。ETL工程师,在数据仓库类职位中占有很大比例,而且薪水都不差。IT人一下子转型数据分析师可能跳跃度比较大难度高,先转型数据仓库/ETL工程师再择机往更高处走是合理选择之一。在ETL软件中,使用最多的是开源的Kettle,完全免费,功能和性能不弱于datastage这类商业ETL软件,使用Kettle和其它开源数据平台软件,例如Mysql集群,Hadoop集群等组合在一起,是性价比极高的架构选择。本课程系统讲解Kettle及其秘密。

     ETL (Extract,Transformation,Load)工具是构建数据仓库、进行数据整合工作所必须使用的工具。目前市面有多种商业 ETL 工具,如Informatica,Datastage等。目前市场上开源且实用的 ETL 工具比较少,Kettle 就是这不多的开源 ETL 工具之一。 本课程将主要讲解开源 ETL 工具 Kettle 的基本使用和二次开发方法,并结合实际项目案例,讲解 Kettle 如何在实际中应用,以及应用中可能会出现的问题。针对目前大数据的应用情况,本课程也将结合大数据,讲述 Kettle 如何支持 Hadoop、HBase、MongoDB、MapReduce 等大数据技术。除了Kettle 的使用,在本课程的后几个课时,将讲述 Kettle 的二次开发: 包括 Kettle 代码阅读指导, Kettle API 的说明以及使用方法, Kettle 插件的开发方法。

课程章节
  • 第1课 ETL 的概念
    • 1-1 Kettle 的概念、功能、操作
  • 第2课 Kettle 资源库、日志、运行方式
  • 第3课 输入步骤
    • 3-1 表输入
    • 3-2 文本文件输入
    • 3-3 XML 文件输入...
  • 第4课 输出步骤
    • 4-1 表输出
    • 4-2 更新
    • 4-3 删除
    • 4-4 文本文件输出
    • 4-5 XML文件输出...
  • 第5课 转换步骤
    • 5-1 过滤
    • 5-2 字符串处理
    • 5-3 拆分字段
    • 5-4 计算器...
  • 第6课 转换步骤
    • 6-1 字段选择
    • 6-2 排序
    • 6-3 增加校验列
    • 6-4 去除重复记录...
  • 第7课 应用步骤、流程步骤
    • 7-1 处理文件
    • 7-2 执行程序
    • 7-3 发送邮件
    • 7-4 空操作
    • 7-5 阻塞步骤
    • 7-6 中止等...
  • 第8课 查询步骤、连接步骤
    • 8-1 数据库查询
    • 8-2 流查询
    • 8-3 合并记录
    • 8-4 记录集连接
    • 8-5 笛卡尔...
  • 第9课 脚本步骤
    • 9-1 Javascript
    • 9-2 Java Class
    • 9-3 正则表达式...
  • 第10课 作业项
    • 10-1 拷贝、移动、ftp、sftp…
  • 第11课 Kettle 的参数和变量
    • 11-1 Kettle 集群
  • 第12课 Kettle 代码编译
    • 12-1 代码结构
    • 12-2 应用集成
    • 12-3 各种配置文件
  • 第13课 插件开发 - 步骤
    • 13-1 作业项
  • 第14课 作业设计技巧
    • 14-1 错误处理
    • 14-2 调试转换
    • 14-3 循环和分支
  • 第15课 大数据插件
    • 15-1 Hadoop 文件输入/输出
    • 15-2 HBase输入/输出
    • 15-3 MapReduce输入/输出
    • 15-4 MongoDB输入/输出
课程环境

Windows 和 Linux

授课对象

1. ETL 工程师,Java 开发工程师,
2. 经常要做数据处理的 DBA
3. 有一定数据库基础 和 Java 基础的学生。

收获预期

1. 理解 Kettle 软件的基本功能。
2. 能使用 Kettle 完成基本的数据处理工作。
3. 了解 Kettle 软件的一些高级功能
4. 对有Java 开发经验的同学,对 Kettle 代码结构有一定了解,能开发一些 Java 的基本插件。

学费

学费: ¥400 ( 固定学费: ¥300, 逆向学费: ¥100 )

新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取300元固定收费+100元逆向学费,学习圆满则逆向学费全额返还给学员!

炼数成金移动版 v2.0