Hadoop集群原理与运维实践(第15期)
08月12日
12周
0人
此课程所属【大数据攻城狮专业】, 【hadoop大数据工程师职业方向】专业,专业内有不少于15门推荐课程,目前平台推出【专业课程0元学】活动,只需0元即可在所有的专业课程中任选5门学习,超值优惠,助您快速成长!点击这里了解
讲师
- zhuguangbin
- 朱广彬,就职于国内一线某著名互联网安全公司,负责千台Hadoop集群、百亿流量的数据平台架构,关注大数据底层架构相关技术,致力于大数据处理技术在计算广告的应用,对Hadoop/Hive/HBase/Spark/Kafka等有深入的认识和实践经验。Hadoop Contributor、BDTC大会讲师。
课程简介
Hadoop已经成为目前大数据处理的事实标准,各大互联网公司均在用Hadoop来作为数据平台的重要组成部分。在小规模数据量场景下,并不关心Hadoop集群的规划与性能问题,能用即可。然而,随着业务的增长和数据量的增长,在上百台甚至上千上万台集群规模、上PB的数据量下,如何合理的规划和使用Hadoop集群、如何优化集群发挥更高的效率,就显得尤为重要。
本课程将从Hadoop集群运维的角度着手,从零开始手把手规划、部署、安装、优化和管理集群,综合互联网一线大规模Hadoop集群运维的实践经验,更深入的剖析Hadoop集群原理,教授如何零基础构建更加高效、稳定、可扩展的大规模Hadoop集群。通过本课程的学习,有助于深入理解Hadoop原理,能够胜任PB级大规模Hadoop集群运维管理的工作。
本课程将从Hadoop集群运维的角度着手,从零开始手把手规划、部署、安装、优化和管理集群,综合互联网一线大规模Hadoop集群运维的实践经验,更深入的剖析Hadoop集群原理,教授如何零基础构建更加高效、稳定、可扩展的大规模Hadoop集群。通过本课程的学习,有助于深入理解Hadoop原理,能够胜任PB级大规模Hadoop集群运维管理的工作。
课程章节
- 第1课 预备知识
- 1-1 大数据与Hadoop
- 1-2 Hadoop发展历程与现状
- 1-3 Hadoop的基本组成与原理
- 第2课 集群部署前的准备
- 2-1 硬件选型
- 2-2 网络规划
- 2-3 操作系统选型与配置
- 2-4 Hadoop版本选型
- 第3课 从零开始安装部署Hadoop集群
- 3-1 伪分布式模式
- 3-2 分布式生产环境部署
- 3-3 节点规划
- 3-4 集群安装部署HDFS
- 3-5 集群安装部署MRv2和YARN
- 3-6 Hadoop集群benchmark
- 第4课 开始使用Hadoop集群
- 4-1 Hadoop命令手册解读
- 4-2 HDFS使用与权限
- 4-3 MapReduce Job开发、运行与管理
- 4-4 YARN管理
- 第5课 Hadoop集群性能优化
- 5-1 集群常用配置文件解读
- 5-2 HDFS配置优化
- 5-3 MapReduce配置优化
- 5-4 YARN配置优化
- 第6课 HDFS高可用配置
- 6-1 NameNode HA
- 6-2 HDFS Federation
- 第7课 YARN高可用配置
- 7-1 ResourceManager HA
- 7-2 NodeManager Recovery
- 第8课 Hadoop安全模式与权限控制
- 8-1 Hadoop安全模式原理与架构
- 8-2 Kerberos原理与Hadoop应用
- 8-3 权限控制
- 第9课 Hadoop集群管理
- 9-1 HDFS权限规划和Quota管理
- 9-2 HDFS扩容与故障节点处理
- 9-3 HDFS Balancer
- 9-4 HDFS FSCK
- 9-5 HDFS distcp
- 9-6 YARN Scheduler配置管理
- 9-7 YARN扩容与故障节点处理
- 9-8 集群版本升级与回滚
- 第10课 Hadoop其他组件安装配置与管理
- 10-1 HBase安装配置管理
- 10-2 Hive安装配置管理
- 10-3 Pig安装配置管理
- 10-4 Spark安装配置与管理
- 第11课 Hadoop集群监控方案
- 11-1 JMX监控
- 11-2 Ganglia监控
- 11-3 Nagios/Zabbix监控
- 第12课 Hadoop新版本特性概述与展望
- 12-1 HDFS集中式缓存
- 12-2 HDFS分级存储
- 12-3 YARN Node Label
- 12-4 YARN Timeline Server
- 12-5 YARN Docker执行器
- 12-6 Hadoop 3.0展望
学费
学费: ¥400 ( 固定学费: ¥100, 逆向学费: ¥300 )
新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元逆向学费,学习圆满则逆向学费全额返还给学员!