【快班】Cloudera Hadoop管理认证实战
大数据运维
14周
10人
讲师
- guoyJoe
课程简介
Cloudera Apache Hadoop 培训及认证帮助您进阶大数据知识及技能。
Cloudera大学为期4天的Hadoop管理员培训将帮助学员综合理解并全面掌握通过Cloudera Manager对Hadoop机群的运维管理,包括:安装,配置、 负载平衡及性能调优等。通过该培训,Hadoop 系统管理员将能准备好应对实 际运维中遇到的挑战。
通过郭大师幽默浅显易懂的课堂讲解,以及带领实操练习,学员将学习以下内容:
• Cloudera Manager 管理机群的特性,譬如日志汇总、配置管理、报告、 报警及服务管理。
• YARN、MapReduce、Spark 及 HDFS 的工作原理。
• 如何为你的机群选取合适的硬件和架构。
• 如何将 Hadoop 机群和企业已有的系统进行无缝集成。
• 如何使用Flume 进行实时数据采集以及如何使用Sqoop 在 RDBMS 和 Hadoop 机群之间进行数据导入导出。
• 如何配置公平调度器为 Hadoop 上的多用户提供服务级别保障。
• 产品环境中 Hadoop 机群的较佳运维实践。
• Hadoop 机群排错、诊断问题和性能调优。
课程章节
- 第1课 Apache Hadoop 介绍
- 1-1 Hadoop 动机
- 1-2 基本概念
- 1-3 Hadoop 核心部件
- 第2课 Hadoop 机群安装
- 2-1 机群管理方案
- 2-2 Cloudera Manager 特性
- 2-3 Cloudera manager 安装
- 2-4 Hadoop (CDH) 安装
- 第3课 Hadoop 分布式文件系统 (HDFS)
- 3-1 HDFS 特性
- 3-2 读写文件
- 3-3 NameNode 内存考虑
- 3-4 HDFS 安全简介
- 3-5 HDFS Web UI
- 3-6 使用 HDFS Shell
- 第4课 YARN 上的 MapReduce 和 Spark
- 4-1 计算平台在 Hadoop 里扮演的角色
- 4-2 YARN:机群资源管理器
- 4-3 MapReduce 概念
- 4-4 Apache Spark 概念
- 4-5 Yarn 上的计算平台
- 4-6 YARN Web UI 及 Shell
- 4-7 YARN 应用运行日志
- 第5课 Hadoop 配置及服务运行日志
- 5-1 Cloudera Manager 配置管理机制
- 5-2 定位配置参数及进行配置变更
- 5-3 管理角色实例及添加服务
- 5-4 配置 HDFS 服务
- 5-5 配置 Hadoop 服务运行日志
- 5-6 配置 YARN 服务
- 第6课 向 HDFS 导入数据
- 6-1 使用 Flume 从外部数据源实时导入数据
- 6-2 使用 Sqoop 从关系数据库导入数据
- 6-3 REST 接口
- 6-4 导入数据的最佳实践
- 第7课 Hadoop 机群规划
- 7-1 规划考虑因素
- 7-2 硬件选择
- 7-3 虚拟化选项
- 7-4 网络因素 • 节点配置
- 第8课 Hive,Impala 及 Pig 的安装及配置
- 8-1 Hive
- 8-2 Impala
- 8-3 Pig
- 第9课 Hadoop 客户端及Hue
- 9-1 什么是 Hadoop 客户端
- 9-2 安装及配置 Hadoop 客户端
- 9-3 安装及配置 Hue
- 9-4 使用 Hue 进行身份验证及授权
- 第10课 集群高级配置
- 10-1 高级配置参数
- 10-2 Hadoop 端口配置
- 10-3 HDFS 机柜感知配置
- 10-4 HDFS 高可靠性配置
- 第11课 Hadoop 安全
- 11-1 Hadoop 安全的重要性
- 11-2 Hadoop 安全性概念
- 11-3 Kerberos 简介
- 11-4 使用 Kerberos 保护Hadoop机群
- 11-5 其他安全特性
- 第12课 资源管理
- 12-1 使用静态服务池配置 Linux cgroup
- 12-2 公平调度器 • 配置动态资源池
- 12-3 YARN 内存及 CPU 设置
- 12-4 Impala 查询调度
- 第13课 机群维护
- 13-1 检查 HDFS 状态
- 13-2 机群间复制数据
- 13-3 添加/移除机群节点
- 13-4 机群数据负载平衡
- 13-5 目录快照 • 机群升级
- 第14课 机群监控及排错
- 14-1 Cloudera Manager 监控特性
- 14-2 监控 Hadoop 机群
- 14-3 Hadoop 机群排错
- 14-4 常见配置不当问题
学费
学费: ¥400 ( 固定学费: ¥300, 逆向学费: ¥100 )
新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取300元固定收费+100元逆向学费,学习圆满则逆向学费全额返还给学员!