【java电子书】Hadoop技术内幕：深入解析YARN架构设计与实现原理 PDF 电子书 百度...

javazx

java自学网（www.javazx.com）-java论坛，java电子书推荐：《Hadoop技术内幕：深入解析YARN架构设计与实现原理》
- N' u1 j. x6 b+ g3 ijava电子书推荐理由：本书从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架（MapReduce、Tez、Storm、Spark），以及多个类YARN的开源资源管理系统（Corona和Mesos）；从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理，以及各种计算框架的实现细节。
2 `  c6 e+ t* E" b% D

, U- p6 s' w& P5 l作者：董西成 著
出版社：机械工业出版社
! ]& @5 |1 y8 b' _% Y; N" b7 o出版时间：2013年12月


' W6 B4 Q3 Z  C& @% ujava电子书目录：
, k4 x7 V% T+ v, T; A: Q第一部分　准备篇
  Z1 S8 O* T  S9 u8 J第1章　环境准备 2
1.1　准备学习环境 2
" c6 l- w- i9 S+ E; S7 b% Y$ T1.1.1　基础软件下载 2
. ]# }0 w" ], I- K) |6 O' M1.1.2　如何准备Linux环境 3
$ Q3 ^; J$ I: l# N5 X1.2　获取Hadoop源代码 5
# x) ?6 f6 Q4 n# j5 |" S1 x1.3　搭建Hadoop源代码阅读环境 5
& e) `* o, x/ y: u+ n& }1.3.1　创建Hadoop工程 5
1.3.2　Hadoop源代码阅读技巧 8
; A5 u2 _# f6 k1.4　Hadoop源代码组织结构 10
1.5　Hadoop初体验 12
, C5 Y! J9 @' h3 k* W, P6 e& W1.5.1　搭建Hadoop环境 12
1.5.2　Hadoop Shell介绍 15
1.6　编译及调试Hadoop源代码 16
1.6.1　编译Hadoop源代码 17
& _# n0 J; N+ Q6 g$ Q' ]1.6.2　调试Hadoop源代码 18
$ ^( D& {% ?& r: h  s/ W1.7　小结 20
第2章　YARN设计理念与基本架构 21
! b- f9 I3 _, X# b9 i1 A2.1　YARN产生背景 21
% e1 P1 T* N; @8 j$ X& x2.1.1　MRv1的局限性 21
2.1.2　轻量级弹性计算平台 22
2.2　Hadoop基础知识 23
2.2.1　术语解释 23
. X( X1 \* Q& ]2.2.2　Hadoop版本变迁 25
2.3　YARN基本设计思想 29
2.3.1　基本框架对比 29
5 v4 i  y, ~9 v* L% X  \2 u6 n2.3.2　编程模型对比 30
2 ^' m0 s5 l' _# K2 K6 E2.4　YARN 基本架构 31
+ m% @. S  J, Q1 R$ c2.4.1　YARN基本组成结构 32
2.4.2　YARN通信协议 34
2.5　YARN工作流程 35
2.6　多角度理解YARN 36
2 F9 e) H% q- J, f* K9 I" J- H. _3 l2.6.1　并行编程 36
6 j/ r2 h" Y0 ^5 I4 O2.6.2　资源管理系统 36
2 P+ V, \% |% L4 n2.6.3　云计算 37
1 z9 s( F  |% m; w  h' _" i2.7　本书涉及内容 38
- U1 R5 ], }- W2.8　小结 38
第二部分　YARN核心设计篇
' v& q; k2 J: C9 m- |第3章　YARN基础库 40
+ J9 f* J6 P( I. {8 n1 @- p1 }1 [: X3.1　概述 40
( @1 Z5 |1 g7 u5 G5 I) @3.2　第三方开源库 41
+ a# ^0 C, _) ]! S/ {/ |! F3.2.1　Protocol Buffers 41
3.2.2　Apache Avro 43
) V. x) L2 y: S( P3.3　底层通信库 46
3.3.1　RPC通信模型 46
3 V, A+ H2 P+ B/ U: F7 `$ t" E* I3.3.2　Hadoop RPC的特点概述 48
3.3.3　RPC总体架构 48
3.3.4　Hadoop RPC使用方法 49
3.3.5　Hadoop RPC类详解 51
3.3.6　Hadoop RPC参数调优 57
7 A3 b7 {" b) s# ~) f3.3.7　YARN RPC实现 57
* c4 @) h+ ?8 _5 }0 x3.3.8　YARN RPC应用实例 61
3.4　服务库与事件库 65
3.4.1　服务库 66
  p4 b0 l6 I0 y% f3.4.2　事件库 66
1 j$ w) G  R( c0 [3.4.3　YARN服务库和事件库的使用方法 68
3.4.4　事件驱动带来的变化 70
% i: \% a9 v& M% A0 X5 ?, s3.5　状态机库 72
3.5.1　YARN状态转换方式 72
0 ?+ I, p, A+ g# d3.5.2　状态机类 73
3.5.3　状态机的使用方法 73
" ~5 y! ~7 }- k2 _3.5.4　状态机可视化 76
3.6　源代码阅读引导 76
) n2 ^7 a$ v/ j/ h7 m6 J3.7　小结 77
3 z. {8 w( w4 m8 M3 Z3.8　问题讨论 77
第4章　YARN应用程序设计方法 78
; f2 n6 h5 j+ q! g4.1　概述 78
4.2　客户端设计 79
* j& {0 ]' E) {4.2.1　客户端编写流程 80
+ v; p1 m! q& p! Z2 d: ?4.2.2　客户端编程库 84
4.3　ApplicationMaster设计 84
4.3.1　ApplicationMaster编写流程 84
4 y: U$ V, U. x5 ^9 Z4.3.2　ApplicationMaster编程库 92
4.4　YARN 应用程序实例 95
4.4.1　DistributedShell 95
8 g6 D9 f; p6 ?& s5 ^1 S0 C4.4.2　Unmanaged AM 99
4.5　源代码阅读引导 100
4.6　小结 100
) d4 s% j: N( P+ Z% d4.7　问题讨论 100
6 p% i) a0 G# G5 Z) `) }第5章　ResourceManager剖析 102
5.1　概述 102
5.1.1　ResourceManager基本职能 102
. V$ }2 P; j3 `9 ]5.1.2　ResourceManager内部架构 103
2 u. J+ H5 W; {9 s" D9 W. I; h5.1.3　ResourceManager事件与事件处理器 106
) m5 y. f) _" w4 W! w( n5.2　用户交互模块 108
0 U' n5 F, c1 V6 n: _0 s5.2.1　ClientRMService 108
5.2.2　AdminService 109
5.3　ApplicationMaster管理 109
5.4　NodeManager管理 112
5.5　Application管理 113
; Y- F% b7 i6 I, x! n5.6　状态机管理 114
5.6.1　RMApp状态机 115
0 N+ Y$ `! A$ i$ p& X8 e6 s) {" C; ?5.6.2　RMAppAttempt状态机 119
5.6.3　RMContainer状态机 123
5.6.4　RMNode状态机 127
( l" e  c, G/ ]3 z# }5.7　几个常见行为分析 129
5.7.1　启动ApplicationMaster  129
5.7.2　申请与分配Container 132
5.7.3　杀死Application 134
5.7.4　Container超时 135
# \( p; {0 Q1 K: Q5.7.5　ApplicationMaster超时 138
5.7.6　NodeManager超时 138
5.8　安全管理 139
+ L5 S6 N- W1 r' i5.8.1　术语介绍 139
- f8 {1 ]" P% P" m5.8.2　Hadoop认证机制 139
5.8.3　Hadoop授权机制 142
5.9　容错机制 144
' H1 S; A+ {4 O, q1 f5.9.1　Hadoop HA基本框架 145
1 u9 n7 `, o5 A% J* o5.9.2　YARN HA实现  148
5.10　源代码阅读引导 149
5.11　小结 151
5.12　问题讨论 152
6 I# t( z8 R# _" T: `, E/ x第6章　资源调度器 153
6.1　资源调度器背景 153
+ p: T  U6 n6 `! H% ?. g9 a5 @& G6.2　HOD调度器 154
& u9 t2 d% C  Y" l6.2.1　Torque资源管理器 154
6.2.2　HOD作业调度 155
! n5 N/ u. Q" i; b6.3　YARN资源调度器的基本架构 157
: g1 K* v2 m: q( E- z6.3.1　基本架构 157
. |% ^6 u% p# r% k; N7 w2 x# h' [! s6.3.2　资源表示模型 160
) E9 x* q- R& m  v# k( o6.3.3　资源调度模型 161
- [6 K9 Z: f9 a6.3.4　资源抢占模型 164
6 p0 p5 o* D( ]/ f+ m6.4　YARN层级队列管理机制 169
/ ^- ?5 M; E1 h% i- v4 y/ Q6.4.1　层级队列管理机制 169
0 y% S8 d6 f# j; G, _; x6.4.2　队列命名规则 171
. R  Y0 c3 V2 d/ `1 k, _6 u; B6.5　Capacity Scheduler 172
4 p$ F9 u0 Z- S9 C7 s9 }2 i1 W* M6.5.1　Capacity Scheduler的功能 172
/ }) b( M& n0 {2 |; ]  J6.5.2　Capacity Scheduler实现 176
5 w, U. T" C6 M# L6.6　Fair Scheduler 179
3 p4 @* V8 Q$ R6.6.1　Fair Scheduler功能介绍 180
+ m: n) Q. U( Y/ u6 u. `) v- {) r6.6.2　Fair Scheduler实现 182
6 Z. E) P& }; ]2 M0 I. e( I* p6.6.3　Fair Scheduler与Capacity Scheduler对比 183
! M2 E3 E& u7 F" T. P5 N1 A) `8 y0 j6.7　其他资源调度器介绍 184
2 R! `- N7 J) e6 \- Z$ U6.8　源代码阅读引导 185
6.9　小结 186
6.10　问题讨论 187
第7章　NodeManager剖析 188
8 ^3 w/ i& U7 Q0 w7.1　概述 188
7.1.1　NodeManager基本职能 188
: B0 y* }# `, _# @0 E7.1.2　NodeManager内部架构 190
7.1.3　NodeManager事件与事件处理器 193
7.2　节点健康状况检测 194
3 F) d: E- p* I1 G0 t. m: V7.2.1　自定义Shell脚本 194
4 M4 ]/ p6 ]  o7.2.2　检测磁盘损坏数目 196
) v) E  U- @! O, o4 @7.3　分布式缓存机制 196
, r& k3 Y- D& K- W9 D# U4 A7.3.1　资源可见性与分类 198
/ u3 U# H0 C1 S9 T. u5 l* D# e' \5 m7.3.2　分布式缓存实现 200
& D3 N3 ?: L% a1 c; T4 z' [- ^7.4　目录结构管理 203
2 H7 Y8 F) X8 z1 P, l7.4.1　数据目录管理 203
7.4.2　日志目录管理 203
7.5　状态机管理 206
0 L5 |! |" l( ^4 I7.5.1　Application状态机 207
7.5.2　Container状态机 210
% I0 Y: S' \+ y% V& }- I7.5.3　LocalizedResource状态机 213
+ u  h+ E5 ~# t/ E7 Q  x  ^7.6　Container生命周期剖析 214
7.6.1　Container资源本地化 214
7.6.2　Container运行 218
6 {- V8 B) m: e7.6.3　Container资源清理 222
# R7 A6 H4 N6 V. G2 H) e' u7.7　资源隔离 224
) K0 b* J: t: z( l7 i' Z* x' I3 z) a! j% ?7.7.1　Cgroups介绍 224
7.7.2　内存资源隔离 228
7.7.3　CPU资源隔离 230
7.8　源代码阅读引导 234
- f/ c. V% o# X8 V4 X4 f7.9　小结 235
7.10　问题讨论 236
& }* k. ^# z( g第三部分　计算框架篇
第8章　离线计算框架MapReduce 238
8.1　概述 238
8.1.1　基本构成 238
- [: Q& R( ~0 c8 p, k+ B8.1.2　事件与事件处理器 240
8.2　MapReduce客户端 241
# \+ x/ ~. K2 j4 Z( ~8.2.1　ApplicationClientProtocol协议 242
8.2.2　MRClientProtocol协议 243
2 s4 o) T8 y; _8.3　MRAppMaster工作流程 243
$ Q3 j1 Q2 \0 ]" Y  m: U+ E& c8.4　MR作业生命周期及相关状态机 246
; O* V2 y  Q1 z2 _8.4.1　MR作业生命周期 246
8.4.2　Job状态机 249
8.4.3　Task状态机 253
% @5 M: m: d) W  T- ^8.4.4　TaskAttempt状态机 255
8.5　资源申请与再分配 259
' b& T% x4 m) N6 I& b% m" E6 B8.5.1　资源申请 259
1 l$ j% Q9 {1 ~, {# m, m6 |2 T8.5.2　资源再分配 262
* a, I* C6 H1 w" e8 x; F8.6　Container启动与释放 263
' }  O  `9 n$ ~4 P8 B9 A8.7　推测执行机制 264
1 j7 A3 w/ {8 G3 ~6 J1 X& v' A8.7.1　算法介绍 265
7 O' r2 w' L2 ?7 a( C5 ?! R0 u3 `8.7.2　推测执行相关类 266
$ u8 s% j" C5 y/ e) w3 T. J  {. d. R8.8　作业恢复 267
8.9　数据处理引擎 269
8.10　历史作业管理器 271
8.11　MRv1与MRv2对比 273
8.11.1　MRv1 On YARN 273
8.11.2　MRv1与MRv2架构比较 274
8.11.3　MRv1与MRv2编程接口兼容性 274
8.12　源代码阅读引导 275
# l5 V; u1 Y) S' Y8 p, [2 z8.13　小结 277
8.14　问题讨论 277
第9章　DAG计算框架Tez 278
9.1　背景 278
6 y2 `0 k) d' l0 k+ B$ Q9.2　Tez数据处理引擎 281
) T' z' l7 R7 g+ d# q$ S' u1 h  t3 b9.2.1　Tez编程模型 281
9.2.2　Tez数据处理引擎 282
9.3　DAG Master实现 284
8 P5 X8 e8 ]5 b/ J9.3.1　DAG编程模型 284
9.3.2　MR到DAG转换 286
9.3.3　DAGAppMaster 288
! m( e" b  p" x5 [; o' U6 j9.4　优化机制 291
9.4.1　当前YARN框架存在的问题 291
9.4.2　Tez引入的优化技术 292
9.5　Tez应用场景 292
4 [# R. e# p7 r6 d" u% p9.6　与其他系统比较 294
9.7　小结 295
3 W& v* D  i( L8 h. L( Z第10章　实时/内存计算框架Storm/Spark 296
- v: ]1 G! b$ t+ `) l+ o- J( q4 N10.1　Hadoop MapReduce的短板 296
3 U+ E" q$ h  n: Q$ `% b10.2　实时计算框架Storm  296
10.2.1　Storm编程模型 297
10.2.2　Storm基本架构 302
10.2.3　Storm On YARN 304
10.3　内存计算框架Spark 307
10.3.1　Spark编程模型 308
- k$ [( P) h0 u. A. I! s10.3.2　Spark基本架构 312
1 h  b5 h* j/ Z7 W7 ?5 Q. N10.3.3　Spark On YARN 316
7 ?5 E3 v8 X: o" H* O; U$ I) ^: ?10.3.4　Spark/Storm On YARN比较 317
10.4　小结 317
  ~' r5 g& G) J8 U9 A第四部分　高级篇
) S9 a' ]3 w( c' J; l( l第11章　Facebook Corona剖析 320
5 A" p5 M% I9 ~/ C11.1　概述 320
- \! _9 \* e, i; f/ D11.1.1　Corona的基本架构 320
11.1.2　Corona的RPC协议与序列化框架 322
& d+ @9 J+ m5 s5 y" w1 I* \11.2　Corona设计特点 323
11.2.1　推式网络通信模型 323
11.2.2　基于Hadoop 0.20版本 324
( X1 W' Z  n2 F$ ^) z' {$ U1 _0 s! ^$ I11.2.3　使用Thrift 324
11.2.4　深度集成Fair Scheduler 324
11.3　工作流程介绍 324
& h; I7 K+ P  d* M+ K% E& C11.3.1　作业提交 325
11.3.2　资源申请与任务启动 326
11.4　主要模块介绍 327
, A9 G* B1 b+ X1 Y. N( V11.4.1　ClusterManager 327
11.4.2　CoronaJobTracker 330
2 n6 z" Z+ e  R4 H11.4.3　CoronaTaskTracker 333
1 c. `  A2 J9 \3 \$ L2 E# F' O6 E$ X11.5　小结 335
& l, E1 F) U! U( d. h& O第12章　Apache Mesos剖析 336
/ ^/ D0 d6 l6 x/ L12.1　概述 336
12.2　底层网络通信库 337
$ g; v% O$ O3 R- H; P- {12.2.1　libprocess基本架构 338
4 u# }5 @) i! S/ Y& `9 l8 Q  b12.2.2　一个简单示例 338
12.3　Mesos服务 340
4 W2 Z' R7 f2 T; F- j12.3.1　SchedulerProcess 341
6 R" I; R8 p3 S; `" k4 S0 C12.3.2　Mesos Master  342
12.3.3　Mesos Slave  343
. A' q# L! L2 i5 g6 q* V12.3.4　ExecutorProcess 343
8 b3 L$ x5 Q& C5 h12.4　Mesos工作流程 344
; y' u9 U$ T8 \* U; u  e12.4.1　框架注册过程 344
12.4.2　Framework Executor注册过程 345
! c/ b# u+ t- F8 e+ T. I12.4.3　资源分配到任务运行过程 345
12.4.4　任务启动过程 347
12.4.5　任务状态更新过程 347
12.5　Mesos资源分配策略 348
12.5.1　Mesos资源分配框架 349
0 W4 h+ ^; ^, I' t$ a5 F. _12.5.2　Mesos资源分配算法 349
12.6　Mesos容错机制 350
12.6.1　Mesos Master容错 350
12.6.2　Mesos Slave容错 351
12.7　Mesos应用实例 352
12.7.1　Hadoop On Mesos 352
12.7.2　Storm On Mesos 353
12.8　Mesos与YARN对比 354
( a% F$ I& ]5 O- ~' C. R12.9　小结 355
第13章　YARN总结与发展趋势 356
13.1　资源管理系统设计动机 356
13.2　资源管理系统架构演化 357
13.2.1　集中式架构 357
13.2.2　双层调度架构 358
13.2.3　共享状态架构 358
( k3 W$ M0 B, V5 B" u13.3　YARN发展趋势  359
13.3.1　YARN自身的完善 359
13.3.2　以YARN为核心的生态系统 361
: h, l% j- ^0 V) Y# h, h13.3.3　YARN周边工具的完善 363
13.4　小结 363
附录A　YARN安装指南 364
附录B　YARN配置参数介绍 367
; i+ j3 l% d6 ?& N附录C　Hadoop Shell命令介绍 371
: A9 j0 W& N0 z% ~: ^) y6 `4 ]! n附录D　参考资料 374

+ ^' d7 K( W' e
电子书优惠获取地址：《Hadoop技术内幕：深入解析YARN架构设计与实现原理》
4 @) G) b! v$ g) P& t6 h