|
|
2.6 多角度理解YARN
' D% f; p# C8 ]/ g9 W下面我从并行编程、 资源管理、 云计算等三个角度帮助读者理解YARN。
6 j4 O2 g! C! f1 W" l$ d" s4 R3 `2.6.1 并行编程+ S0 P! a8 H, v5 ~( A3 w+ B
在单机程序设计中， 为了快速处理一个大的数据集， 通常采用多线程并行编程， 如图2-12所示， 大体流程如下： 先由操作系
+ E* v2 ^5 x5 l+ I% P统启动一个主线程， 由它负责数据切分、 任务分配、 子线程启动和销毁等工作， 而各个子线程只负责计算自己的数据， 当所有子: u+ q* O2 \; b, o7 m
线程处理完数据后， 主线程再退出。 类比理解， YARN上的应用程序运行过程与之非常相近， 只不过它是集群上的分布式并行编
# V: D6 c3 C' Z& g程。 可将YARN看做一个云操作系统， 它负责为应用程序启动ApplicationMaster（ 相当于主线程） ， 然后再由ApplicationMaster负责
1 ^* y* |& X, P8 H数据切分、 任务分配、 启动和监控等工作， 而由ApplicationMaster启动的各个Task（ 相当于子线程） 仅负责自己的计算任务。 当所
9 ?* |3 ]4 e+ t* }6 A有任务计算完成后， ApplicationMaster认为应用程序运行完成， 然后退出。/ r+ E$ m& R! t- j4 N, }) a$ w7 ]
2.6.2 资源管理系统
# c. p$ V* _2 c: z资源管理系统的主要功能是对集群中各类资源进行抽象， 并根据各种应用程序或者服务的要求， 按照一定的调度策略， 将资
: d; m4 ?) s8 m8 Y6 M' c4 B2 P源分配给它们使用， 同时需采用一定的资源隔离机制防止应用程序或者服务之间因资源抢占而相互干扰。 YARN正是一个资源管 L' T. l4 e X3 y# ^
理系统， 它的出现弱化了计算框架之争， 引入YARN这一层后， 各种计算框架可各自发挥自己的优势， 并由YARN进行统一管
7 |+ u% r4 W8 X: ]% V1 ^理， 进而运行在一个大集群上。 截至本书出版时， 各种开源系统都在开发YARN版本， 包括MapReduce、 Spark、 Storm、 HBase/ Z7 y5 p7 Z" ~% g- Z0 f
等。5 N" \+ P2 p& ?3 n3 c+ D* Z$ O+ B
图2-12 从并行编程角度理解YARN: w( P( E( s( |" B/ \% N8 X, Q
2.6.3 云计算: Z& ~2 Q8 T" j6 ?# q7 C+ W0 X
普遍认为， 云计算包括以下几个层次的服务： IaaS、 PaaS和SaaS。 这里所谓的层次， 是分层体系架构意义上的“层次”。
& E; e9 C' x. @5 K4 D0 k) m3 {0 nIaaS、 PaaS、 SaaS分别实现在基础设施层、 软件开放运行平台层、 应用软件层。6 q0 J$ I. R- `' d' k- Y+ m4 a0 Q; Q1 Q
IaaS(Infrastructure-as-a-Service)： 基础设施即服务。 消费者通过Internet可以从完善的计算机基础设施获得服务。 Iaas通过网络向& ^' F$ ~4 s3 x0 r, X& s# ^
用户提供计算机（ 物理机和虚拟机） 、 存储空间、 网络连接、 负载均衡和防火墙等基本计算资源； 用户在此基础上部署和运行各9 e$ ?# X9 r5 _# H2 e+ b
种软件， 包括操作系统和应用程序等。) d1 E" C$ s* M" B9 n
PaaS(Platform-as-a-Service)： 平台即服务。 PaaS是将软件研发的平台作为一种服务， 以SaaS的模式提交给用户。 平台通常包括
8 p+ s& J# m7 _1 W( f1 Y. r操作系统、 编程语言的运行环境、 数据库和Web 服务器等， 用户可以在平台上部署和运行自己的应用。 通常而言， 用户不能管
' K f+ I) z! y/ z理和控制底层的基础设施， 只能控制自己部署的应用。
8 ~/ v9 u0 ^6 `; dSaaS(Software-as-a-Service)： 软件即服务。 它是一种通过Internet提供软件的模式， 用户无需购买软件， 而是向提供商租用基5 P$ m, X+ |! W( ?7 h
于Web的软件， 来管理企业经营活动。 云提供商在云端安装和运行应用软件， 云用户通过云客户端（ 比如Web 浏览器） 使用软
- I' b( h: P7 ]: T; ]/ w: q件。
* N! p4 s6 ~ D' {+ {5 E' d M6 p% |5 H* y, N8 }% h0 H8 ]
# U/ U! C4 ?; S5 l2 i, T1 S9 @
|
|
发表于 2017-4-14 11:06:08
