首页/ 科普/互联网+/ Hadoop技术内幕:深入解析YARN架构设计与实现原理
科普/互联网+
Hadoop技术内幕:深入解析YARN架构设计与实现原理
作者:董西成
出版社:机械工业出版社

阅读

扫码读书
书籍信息目录(共128章)

【简介】本书是“Hadoop技术内幕”系列的第3本书,前面两本分别对Common、HDFS和MapReduce进行了深入分析和讲解,赢得了极好的口碑,Hadoop领域几乎人手一册,本书则对YARN展开了深入的探讨,是首部关于YARN的专著。仍然由资深Hadoop技术专家董西成执笔,根据最新的Hadoop2.0版本撰写,权威社区ChinaHadoop鼎力推荐。 本书从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架(MapReduce、Tez、Storm、Spark),以及多个类YARN的开源资源管理系统(Corona和Mesos);从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理,以及各种计算框架的实现细节。

随感
  • Jordan
    作为资源管理系统YARN的一个重要服务,NodeManager管理的是Container,而不是任务,一个Container中可能运行着各种任务,但是对NodeManager而言是透明的
  • Jordan
    ResourceManager是整个YARN集群中最重要的组件之一,它的设计直接决定了系统的可扩展性、可用性和容错性等特点
  • Jordan
    服务化和事件驱动软件设计思想的引入,使得YARN具有低耦合、高内聚的特点,各个模块只需完成各自功能,而模块之间则采用事件联系起来,系统设计简单且维护方便。
  • Jordan
    当用户向YARN中提交一个应用程序后,YARN将分两个阶段运行该应用程序:第一个阶段是启动ApplicationMaster;第二个阶段是由ApplicationMaster创建应用程序,为它申请资源,并监控它的整个运行过程,直到运行完成。
  • Jordan
    YARN的平台化和通用性,真是一大进步!