课程信息
  • 课程首页
  • 拼团活动
  • 专业套餐
  • 优惠活动
  • 我的课程
  • 站内消息
  • 站内提醒
  • 我的钱包
  • 奖学金
  • 道具 | 抵价券
  • 登录


【快班】Hadoop集群原理与运维实践

分布式系统

12周

14人

此课程所属【大数据攻城狮专业】, 【hadoop大数据工程师职业方向】专业,专业内有不少于15门推荐课程,目前平台推出【专业课程0元学】活动,只需0元即可在所有的专业课程中任选5门学习,超值优惠,助您快速成长!点击这里了解

讲师
zhuguangbin
课程简介

Hadoop已经成为目前大数据处理的事实标准,各大互联网公司均在用Hadoop来作为数据平台的重要组成部分。在小规模数据量场景下,并不关心Hadoop集群的规划与性能问题,能用即可。然而,随着业务的增长和数据量的增长,在上百台甚至上千上万台集群规模、上PB的数据量下,如何合理的规划和使用Hadoop集群、如何优化集群发挥更高的效率,就显得尤为重要。

本课程将从Hadoop集群运维的角度着手,从零开始手把手规划、部署、安装、优化和管理集群,综合互联网一线大规模Hadoop集群运维的实践经验,更深入的剖析Hadoop集群原理,教授如何零基础构建更加高效、稳定、可扩展的大规模Hadoop集群。通过本课程的学习,有助于深入理解Hadoop原理,能够胜任PB级大规模Hadoop集群运维管理的工作。

课程章节
  • 第1课 预备知识
    • 1-1 大数据与Hadoop
    • 1-2 Hadoop发展历程与现状
    • 1-3 Hadoop的基本组成与原理
  • 第2课 集群部署前的准备
    • 2-1 硬件选型
    • 2-2 网络规划
    • 2-3 操作系统选型与配置
    • 2-4 Hadoop版本选型
  • 第3课 从零开始安装部署Hadoop集群
    • 3-1 伪分布式模式
    • 3-2 分布式生产环境部署
    • 3-3 节点规划
    • 3-4 集群安装部署HDFS
    • 3-5 集群安装部署MRv2和YARN
    • 3-6 Hadoop集群benchmark
  • 第4课 开始使用Hadoop集群
    • 4-1 Hadoop命令手册解读
    • 4-2 HDFS使用与权限
    • 4-3 MapReduce Job开发、运行与管理
    • 4-4 YARN管理
  • 第5课 Hadoop集群性能优化
    • 5-1 集群常用配置文件解读
    • 5-2 HDFS配置优化
    • 5-3 MapReduce配置优化
    • 5-4 YARN配置优化
  • 第6课 HDFS高可用配置
    • 6-1 NameNode HA
    • 6-2 HDFS Federation
  • 第7课 YARN高可用配置
    • 7-1 ResourceManager HA
    • 7-2 NodeManager Recovery
  • 第8课 Hadoop安全模式与权限控制
    • 8-1 Hadoop安全模式原理与架构
    • 8-2 Kerberos原理与Hadoop应用
    • 8-3 权限控制
  • 第9课 Hadoop集群管理
    • 9-1 HDFS权限规划和Quota管理
    • 9-2 HDFS扩容与故障节点处理
    • 9-3 HDFS Balancer
    • 9-4 HDFS FSCK
    • 9-5 HDFS distcp
    • 9-6 YARN Scheduler配置管理
    • 9-7 YARN扩容与故障节点处理
    • 9-8 集群版本升级与回滚
  • 第10课 Hadoop其他组件安装配置与管理
    • 10-1 HBase安装配置管理
    • 10-2 Hive安装配置管理
    • 10-3 Pig安装配置管理
    • 10-4 Spark安装配置与管理
  • 第11课 Hadoop集群监控方案
    • 11-1 JMX监控
    • 11-2 Ganglia监控
    • 11-3 Nagios/Zabbix监控
  • 第12课 Hadoop新版本特性概述与展望
    • 12-1 HDFS集中式缓存
    • 12-2 HDFS分级存储
    • 12-3 YARN Node Label
    • 12-4 YARN Timeline Server
    • 12-5 YARN Docker执行器
    • 12-6 Hadoop 3.0展望
课程环境

真实生产Hadoop集群环境

授课对象

面向Hadoop集群管理与运维人员,希望进一步了解Hadoop集群原理和从事大规模Hadoop集群运维管理工作的学员。

收获预期

掌握Hadoop的基本原理,掌握Hadoop集群的规划安装部署,掌握Hadoop集群优化与管理,能够胜任大规模Hadoop集群运维管理的角色

学费

学费: ¥400 ( 固定学费: ¥300, 逆向学费: ¥100 )

新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取300元固定收费+100元逆向学费,学习圆满则逆向学费全额返还给学员!

炼数成金移动版 v2.0