【快班】Kafka原理剖析及实战演练
分布式系统
12周
6人
此课程所属【大数据攻城狮专业】, 【hadoop大数据工程师职业方向】专业,专业内有不少于15门推荐课程,目前平台推出【专业课程0元学】活动,只需0元即可在所有的专业课程中任选5门学习,超值优惠,助您快速成长!点击这里了解
讲师
- habren
课程简介
Kafka是流式处理系统如Spark
streaming,Strom及Flink事实上的标准数据入口。本课程将分析Kafka的架构,Topic与Partition的关系,Kafka如
何使用Consumer
group实现group内的消息单播和group间的消息广播,Kafka如何利用Partition实现水平扩展以及Kafka如何实现高吞吐率。并
结合源码分析Kafka实现数据复制,Leader election及Consumer
rebalance的原理。同时介绍实用的Kafka监控工具kafka
manager。并结合实例介绍Kafka如何与其它流行的开源系统(如Flume,Storm,Spark streaming)集成。
课程章节
- 第1课 Kafka简介
- 1-1 为什么需要消息系统
- 1-2 Kafka设计目标
- 1-3 如何安装和使用Kafka集群
- 第2课 Kafka架构
- 2-1 Kafka整体架构
- 2-2 Topic & Partition
- 2-3 Partitioner
- 2-4 Sync Producer vs. Async Producer
- 2-5 Producer重试机制
- 第3课 Kafka HA
- 3-1 Kafka一致性重要机制之ISR
- 3-2 Kafka数据复制机制
- 3-3 Fail over
- 第4课 Zookeeper与Kafka
- 4-1 Zookeeper典型用法
- 4-2 Zookeeper使用注意事项
- 4-3 Kafka如何使用Zookeeper
- 第5课 Kafka领导选举
- 5-1 领导选举算法
- 5-2 Kafka“各自为政”领导选举算法
- 5-3 Kafka基于Controller的领导选举
- 第6课 Consumer
- 6-1 Pull vs Push
- 6-2 Low level API vs. High level API
- 6-3 单播 vs. 多播
- 6-4 Consumer rebalance
- 第7课 Consumer offset管理
- 7-1 基于Zookeeper的offset管理
- 7-2 基于broker的offset管理
- 第8课 Consumer的stream接口
- 8-1 Blocking接口
- 8-2 Stream接口
- 第9课 Kafka高性能之道
- 9-1 顺序写磁盘
- 9-2 零拷贝
- 9-3 批处理
- 9-4 基于ISR的动态平衡一致性算法
- 第10课 kafka监控工具
- 10-1 Zookeeper viewer
- 10-2 Kafka manager
- 第11课 Kafka运维
- 第12课 Kafka性能测试
课程环境
linux + java
授课对象
对kafka感兴趣的大数据工程师,需要熟悉linux,需要有java/scala编程基础
收获预期
深入理解kafka设计原理及分布式系统高可用设计原理,以及Kafak使用方法,通过课程理论+实践的学习,可以拥有将kafka应用于实际工作中的能力。
学费
学费: ¥400 ( 固定学费: ¥300, 逆向学费: ¥100 )
新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取300元固定收费+100元逆向学费,学习圆满则逆向学费全额返还给学员!
相关课程