【快班】大话流式处理系统 Flink 核心原..
分布式系统
10周
3人
此课程所属【大数据攻城狮专业】专业,专业内有不少于15门推荐课程,目前平台推出【专业课程0元学】活动,只需0元即可在所有的专业课程中任选5门学习,超值优惠,助您快速成长!点击这里了解
讲师
- habren
课程简介
本课程首先介绍了 Flink 的开发/调试方法,并结合示例介绍了 DataSet 与 DataStream 的使用方法,Flink 的四层执行图。接着介绍了流式计算中需要解决的典型问题,如事件时间、乱序问题、窗口操作、Join 实现,以及 Flink 如何解决这些问题。然后分析了 Flink 的状态管理模型以及精典的 Asynchronous Barrier Snapshotting。最后介绍了如何诊断与优化 Flink 应用,并介绍了一个 Flink 应用案例。
课程章节
- 第1课 Flink 入门
- 1-1 Flink 开发/调试环境
- 1-2 DataSet 与 DataStream
- 1-3 几种 Key 选择方法性能比较
- 1-4 Accumulator 与 Counter
- 第2课 Flink 架构
- 2-1 Flink 架构
- 2-2 Flink 资源分配
- 2-3 Flink 任务调度
- 2-4 Chaining
- 第3课 Flink 流式计算之数据处理
- 3-1 Transformation
- 3-2 Join
- 3-3 Process Function
- 3-4 Async I/O
- 第4课 Flink 流式计算之时间
- 4-1 处理时间、事件时间与摄取时间
- 4-2 Watermark
- 4-3 如何处理乱序
- 4-4 Side output
- 第5课 Flink 流式计算之窗口
- 5-1 Tumbling Window
- 5-2 Sliding Window
- 5-3 Session Window
- 5-4 Global Window
- 第6课 Flink 流式计算之状态与容错
- 6-1 几种典型的状态类型
- 6-2 Asynchronous Barrier Snapshot
- 6-3 Queryable State
- 6-4 Flink 状态使用最佳实践
- 第7课 Flink Batch
- 7-1 Shuffle 机制
- 7-2 Iteration
- 7-3 自定义 Connector
- 7-4 容错机制
- 第8课 Flink Table API & SQL
- 8-1 静态表与动态表
- 8-2 连续查询中的 Join
- 8-3 UDF / UDAF / UDTF
- 8-4 与 Hive 集成
- 第9课 Flink 应用诊断与优化
- 9-1 背压问题发现与解决
- 9-2 内存调优
- 9-3 如何设计并发度
- 9-4 正确使用函数注解优化性能
- 第10课 Flink 实战演练
课程环境
mac / windows / linux + idea
授课对象
对 Flink 或者相关大数据开发感兴趣的工程师、架构师以及产品经理。最好有 Java 或 Scala 编程基础
收获预期
1. 掌握 Flink 开发方法
2. 熟悉 Flink 应用调优技巧
3. 了解 Flink 异步快照原理
4. 了解 Flink 容错机制
5. 了解 Flink Stream 中不同窗口的实现原理与适用场景
学费
学费: ¥400 ( 固定学费: ¥300, 逆向学费: ¥100 )
新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取300元固定收费+100元逆向学费,学习圆满则逆向学费全额返还给学员!