【快班】Hadoop集群原理与运维实践
分布式系统
12周
16人
此课程所属【大数据攻城狮专业】, 【hadoop大数据工程师职业方向】专业，专业内有不少于15门推荐课程，目前平台推出【专业课程0元学】活动，只需0元即可在所有的专业课程中任选5门学习，超值优惠，助您快速成长！点击这里了解
讲师
- zhuguangbin
课程简介
Hadoop已经成为目前大数据处理的事实标准，各大互联网公司均在用Hadoop来作为数据平台的重要组成部分。在小规模数据量场景下，并不关心Hadoop集群的规划与性能问题，能用即可。然而，随着业务的增长和数据量的增长，在上百台甚至上千上万台集群规模、上PB的数据量下，如何合理的规划和使用Hadoop集群、如何优化集群发挥更高的效率，就显得尤为重要。
本课程将从Hadoop集群运维的角度着手，从零开始手把手规划、部署、安装、优化和管理集群，综合互联网一线大规模Hadoop集群运维的实践经验，更深入的剖析Hadoop集群原理，教授如何零基础构建更加高效、稳定、可扩展的大规模Hadoop集群。通过本课程的学习，有助于深入理解Hadoop原理，能够胜任PB级大规模Hadoop集群运维管理的工作。
课程章节
- 第1课 预备知识
- 1-1 大数据与Hadoop
- 1-2 Hadoop发展历程与现状
- 1-3 Hadoop的基本组成与原理
- 第2课 集群部署前的准备
- 2-1 硬件选型
- 2-2 网络规划
- 2-3 操作系统选型与配置
- 2-4 Hadoop版本选型
- 第3课 从零开始安装部署Hadoop集群
- 3-1 伪分布式模式
- 3-2 分布式生产环境部署
- 3-3 节点规划
- 3-4 集群安装部署HDFS
- 3-5 集群安装部署MRv2和YARN
- 3-6 Hadoop集群benchmark
- 第4课 开始使用Hadoop集群
- 4-1 Hadoop命令手册解读
- 4-2 HDFS使用与权限
- 4-3 MapReduce Job开发、运行与管理
- 4-4 YARN管理
- 第5课 Hadoop集群性能优化
- 5-1 集群常用配置文件解读
- 5-2 HDFS配置优化
- 5-3 MapReduce配置优化
- 5-4 YARN配置优化
- 第6课 HDFS高可用配置
- 6-1 NameNode HA
- 6-2 HDFS Federation
- 第7课 YARN高可用配置
- 7-1 ResourceManager HA
- 7-2 NodeManager Recovery
- 第8课 Hadoop安全模式与权限控制
- 8-1 Hadoop安全模式原理与架构
- 8-2 Kerberos原理与Hadoop应用
- 8-3 权限控制
- 第9课 Hadoop集群管理
- 9-1 HDFS权限规划和Quota管理
- 9-2 HDFS扩容与故障节点处理
- 9-3 HDFS Balancer
- 9-4 HDFS FSCK
- 9-5 HDFS distcp
- 9-6 YARN Scheduler配置管理
- 9-7 YARN扩容与故障节点处理
- 9-8 集群版本升级与回滚
- 第10课 Hadoop其他组件安装配置与管理
- 10-1 HBase安装配置管理
- 10-2 Hive安装配置管理
- 10-3 Pig安装配置管理
- 10-4 Spark安装配置与管理
- 第11课 Hadoop集群监控方案
- 11-1 JMX监控
- 11-2 Ganglia监控
- 11-3 Nagios/Zabbix监控
- 第12课 Hadoop新版本特性概述与展望
- 12-1 HDFS集中式缓存
- 12-2 HDFS分级存储
- 12-3 YARN Node Label
- 12-4 YARN Timeline Server
- 12-5 YARN Docker执行器
- 12-6 Hadoop 3.0展望
课程环境
真实生产Hadoop集群环境
授课对象
面向Hadoop集群管理与运维人员，希望进一步了解Hadoop集群原理和从事大规模Hadoop集群运维管理工作的学员。
收获预期
掌握Hadoop的基本原理，掌握Hadoop集群的规划安装部署，掌握Hadoop集群优化与管理，能够胜任大规模Hadoop集群运维管理的角色
学费
学费: ￥400 ( 固定学费: ￥300， 逆向学费: ￥100 )
新颖的课程收费形式：“逆向收费”约等于免费学习，仅收取300元固定收费+100元逆向学费，学习圆满则逆向学费全额返还给学员！