大话流式处理系统 Flink 核心原理(第七..
09月13日
10周
2人
此课程所属【大数据攻城狮专业】专业,专业内有不少于15门推荐课程,目前平台推出【专业课程0元学】活动,只需0元即可在所有的专业课程中任选5门学习,超值优惠,助您快速成长!点击这里了解
讲师
- habren
- Jason,就职某大型互联网公司,多年Kafka和Hadoop及Spark研究、应用及调优经验。现从事大数据平台(集群规模两万加)优化工作。
课程简介
本课程首先介绍了 Flink 的开发/调试方法,并结合示例介绍了 DataSet 与 DataStream 的使用方法,Flink 的四层执行图。接着介绍了流式计算中需要解决的典型问题,如事件时间、乱序问题、窗口操作、Join 实现,以及 Flink 如何解决这些问题。然后分析了 Flink 的状态管理模型以及精典的 Asynchronous Barrier Snapshotting。最后介绍了如何诊断与优化 Flink 应用,并介绍了一个 Flink 应用案例。
课程章节
- 第1课 Flink 入门
- 1-1 Flink 开发/调试环境
- 1-2 DataSet 与 DataStream
- 1-3 几种 Key 选择方法性能比较
- 1-4 Accumulator 与 Counter
- 第2课 Flink 架构
- 2-1 Flink 架构
- 2-2 Flink 资源分配
- 2-3 Flink 任务调度
- 2-4 Chaining
- 第3课 Flink 流式计算之数据处理
- 3-1 Transformation
- 3-2 Join
- 3-3 Process Function
- 3-4 Async I/O
- 第4课 Flink 流式计算之时间
- 4-1 处理时间、事件时间与摄取时间
- 4-2 Watermark
- 4-3 如何处理乱序
- 4-4 Side output
- 第5课 Flink 流式计算之窗口
- 5-1 Tumbling Window
- 5-2 Sliding Window
- 5-3 Session Window
- 5-4 Global Window
- 第6课 Flink 流式计算之状态与容错
- 6-1 几种典型的状态类型
- 6-2 Asynchronous Barrier Snapshot
- 6-3 Queryable State
- 6-4 Flink 状态使用最佳实践
- 第7课 Flink Batch
- 7-1 Shuffle 机制
- 7-2 Iteration
- 7-3 自定义 Connector
- 7-4 容错机制
- 第8课 Flink Table API & SQL
- 8-1 静态表与动态表
- 8-2 连续查询中的 Join
- 8-3 UDF / UDAF / UDTF
- 8-4 与 Hive 集成
- 第9课 Flink 应用诊断与优化
- 9-1 背压问题发现与解决
- 9-2 内存调优
- 9-3 如何设计并发度
- 9-4 正确使用函数注解优化性能
- 第10课 Flink 实战演练
学费
学费: ¥400 ( 固定学费: ¥100, 逆向学费: ¥300 )
新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元逆向学费,学习圆满则逆向学费全额返还给学员!