|
|
2.3 YARN 基本设计思想
# V6 q+ `0 f& h c! A' V本节我们通过对比两代MapReduce的基本框架和编程模型来帮助读者理解YARN的基本设计思想。' _; _# |2 k. J$ D: q
2.3.1 基本框架对比* F* j6 M i, f+ A9 F6 ?" o Y
在Hadoop 1.0中， JobTracker由资源管理（ 由TaskScheduler模块实现） 和作业控制（ 由JobTracker中多个模块共同实现） 两部分
+ t& |; X) M9 h! d f5 ?8 F组成， 具体如图2-6所示。 当前Hadoop MapReduce之所以在可扩展性、 资源利用率和多框架支持等方面存在不足， 正是由于; s+ F4 @/ A+ W$ V6 h6 G, n
Hadoop对JobTracker赋予的功能过多而造成负载过重。 此外， 从设计角度上看， Hadoop未能够将资源管理相关的功能与应用程序, C& ?% \* O7 t4 V* S) S
相关的功能分开， 造成Hadoop难以支持多种计算框架。4 e$ p A! }6 l+ T! b: a$ p, S
图2-6 第一代MapReduce框架基本架构
, `: V1 z) I7 @* [下一代MapReduce框架的基本设计思想是将JobTracker的两个主要功能， 即资源管理和作业控制（ 包括作业监控、 容错
* W% u2 p0 k) K. b* b/ j/ T* V等） ， 分拆成两独立的进程， 如图2-7所示。 资源管理进程与具体应用程序无关， 它负责整个集群的资源（ 内存、 CPU、 磁盘
% z H9 V. @6 `3 H5 u等） 管理， 而作业控制进程则是直接与应用程序相关的模块， 且每个作业控制进程只负责管理一个作业。 这样， 通过将原有
* P6 e+ H" Z4 D0 Y4 p* VJobTracker中与应用程序相关和无关的模块分开， 不仅减轻了JobTracker负载， 也使得Hadoop支持更多的计算框架。
* W/ k' o( \" L4 B图2-7 下一代MapReduce框架基本架构' B# U: `: B: S6 C4 }" A; I
从资源管理角度看， 下一代MapReduce框架实际上衍生出了一个资源统一管理平台YARN， 它使得Hadoop不再局限于仅支持 v1 R: G$ B+ `. j5 Z: Y
MapReduce一种计算模型， 而是可无限融入多种计算框架， 且对这些框架进行统一管理和调度。
- @* q/ K5 C3 B$ f2.3.2 编程模型对比: ?1 W. X0 d. u' A# ?, b% L
前面提到MRv1主要由编程模型（ 由新旧API组成） 、 数据处理引擎（ 由MapTask和ReduceTask组成） 和运行时环境（ 由一个1 t; p9 m# Z/ u9 S: C6 t
JobTracker和若干个TaskTracker组成） 三部分组成， 为了保证编程模型的向后兼容性， MRv2重用了MRv1中的编程模型和数据处
4 b5 ^! e% `. L k+ l3 j" }理引擎， 但运行时环境被完全重写， 具体如下。8 a: g4 T) C6 ^0 @) ?# n4 v% D5 {: Y
❑编程模型与数据处理引擎： MRv2重用了MRv1中的编程模型和数据处理引擎。 为了能够让用户应用程序平滑迁移到0 G. Y# Q% O$ q4 Y* X* J
Hadoop 2.0中， MRv2应尽可能保证编程接口的向后兼容性， 但由于MRv2本身进行了改进和优化， 它在向后兼容性方面存在少量 ^4 \8 Y$ A' @. c8 G( ^
问题。 MapReduce应用程序编程接口有两套， 分别是新API（ mapred） 和旧API （ mapredue） [17] ， MRv2可做到以下兼容性： 采用6 O6 L7 V) q Y$ u( u: _# |& M) @
MRv1旧API编写的应用程序， 可直接使用之前的JAR包将程序运行在MRv2上； 但采用MRv1新API编写的应用程序则不可以， 需
! p) k$ L- ~; u) A* G& x要使用MRv2编程库重新编译并修改不兼容的参数和返回值， 具体将在第8章介绍。
+ ^( u9 T: Z) U/ _5 }8 c❑运行时环境： MRv1的运行时环境主要由两类服务组成， 分别是JobTracker和TaskTracker。 其中， JobTracker负责资源和任
# F5 t( h4 C, p1 [7 J务的管理与调度， TaskTracker负责单个节点的资源管理和任务执行。 MRv1将资源管理和应用程序管理两部分混杂在一起， 使得
0 ?- R) D) M6 l* R' u7 b8 l' D. R它在扩展性、 容错性和多框架支持等方面存在明显缺陷。 而MRv2则通过将资源管理和应用程序管理两部分剥离开， 分别由2 o8 r& ]% y- j1 \) h: X7 Q
YARN和ApplicationMaster负责， 其中， YARN专管资源管理和调度， 而ApplicationMaster则负责与具体应用程序相关的任务切分、
- b: f% E+ z$ j+ }5 H! s8 X8 S任务调度和容错等， 具体如图2-8所示。
! i4 ?& S( U+ u8 |3 M2 x图2-8 下一代MapReduce框架基本架构
% t, a+ M) C5 Z' H: v6 O. j5 D[17] MapReduce新旧API介绍可参考《 Hadoop技术内幕： 深入解析MapReduce架构设计与实现原理》 一书中的第3 章。
3 C1 x$ V: h; L8 C, m0 \: j9 \) G# |' z
" i7 N3 a& |, M( O/ J# }6 p5 e
|
|
发表于 2017-4-13 21:22:41
