课程信息
  • 课程首页
  • 拼团活动
  • 专业套餐
  • 优惠活动
  • 我的课程
  • 站内消息
  • 站内提醒
  • 我的钱包
  • 奖学金
  • 道具 | 抵价券
  • 登录


【快班】Spark源码导读

分布式系统

12周

1人

此课程所属【大数据攻城狮专业】, 【hadoop大数据工程师职业方向】专业,专业内有不少于15门推荐课程,目前平台推出【专业课程0元学】活动,只需0元即可在所有的专业课程中任选5门学习,超值优惠,助您快速成长!点击这里了解

讲师
jifeng
季风老师,超过12年的软件研发经验,曾在ERP,医学,互联网行业企业担任高级软件工程师、架构师,技术总监。具备软件产品设计和开发经验,丰富的大型项目架构设计和编码经验。目前主要的研究方向是大数据,分布式技术,Hadoop和spark。国内知名的开源分布式数据库中间件MyCAT的核心开发成员,在Mycat中主要的贡献是NoSQL(mongodb,SequoiaDB)支持,Spark的引入,目前此项目已经有超过10名活跃志愿者在参与和推进,是当下热门的移动互联网和云计算项目的必备基础中间件之一。
课程简介

大数据,这是一个言必谈及大数据的时代,到处是大数据论坛,连很多企业都要准备搞大数据,在不学习大数据你就out了。
从Hadoop兴起的短短几年中,计算速度和效率已经不能适应的数据增长,从而出现了更为流行分布式计算框架,Storm和Spark, 分布式计算框架从离线计算到现在的实时计算和内存计算。Spark自从成为Apache顶级项目以来,版本更新越来越快,短短两年来就发布了十个版本,目前最新的版本是1.4,Spark SQL的成熟,DataFrame API出现,以及R API引入Spark,Spark的体系结构也越来越完整。技术更新越来越快,你想跟上时代的步伐,那么跟我来吧,一起学习Spark源代码导读,从代码入手,在实际的项目中能更快的解决问题,更深入的理解Spark。本课程从主要是分析Spark 1.4的源代码。

课程章节
  • 第1课 Spark源码概述和开发环境准备
  • 第2课 从WordCount引发的代码入口
  • 第3课 作业提交及执行(Stage,DAGScheduler,TaskScheduler)
  • 第4课 分布式缓存,WEB UI和Standalone
  • 第5课 Spark Streaming
  • 第6课 DStream流数据处理及容错分析
  • 第7课 Spark Streaming的实例应用
  • 第8课 Spark SQL,DataFrame
  • 第9课 SQL解析引擎,优化和执行引擎
  • 第10课 Spark SQL CLi and Thrift JDBC/ODBC server
  • 第11课 Graph计算框架
  • 第12课 SparkR和MLlib机器学习
课程环境

CentOS或Red Hat,eclipse或IntelliJ IDEA, Scala,JDK,Maven,sbt,Hadoop

授课对象

Java开发经验或Scala开发经验,偏向后台开发的Java工程师,以及Java软件架构师,需要懂分布式系统,Hadoop,Hive等经验,具备较强的编码能力。课程对于Spark初学者,Spark开发人员及Spark运维人员都具有比较大的学习价值,特别是对于想从源代码深入研究的人员有更大的帮助,可以快速理解Spark的运行原理。

收获预期

深入理解和研究Spark及修改Spark代码的能力。

学费

学费: ¥400 ( 固定学费: ¥300, 逆向学费: ¥100 )

新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取300元固定收费+100元逆向学费,学习圆满则逆向学费全额返还给学员!

炼数成金移动版 v2.0