|
|
java自学网（www.javazx.com）-java论坛，java电子书推荐：《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》
9 ]! Z+ `$ i& b+ P' d. sjava电子书推荐理由：由Hadoop领域资深的实践者亲自执笔，首先介绍了MapReduce的设计理念和编程模型，然后从源代码的角度深入分析了RPC框架、客户端、JobTracker、TaskTracker和Task等MapReduce运行时环境的架构设计与实现原理，最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。0 t0 n" ~! W$ R8 P K7 e) G' i
- P7 |3 M' K D# H
' `5 x/ {# b) |. g |+ v作者：董西成 著
$ Z% v, }% `) ~& V' \' w7 G出版社：机械工业出版社
8 C& F+ L% u- Y6 W9 t3 N3 ]8 o出版时间：2013年05月 * v# _4 w/ U+ e6 I3 h" z9 |: l2 ^2 z& p
1 I7 W* {6 |2 T: D7 x& W
3 {/ W+ \* `: m: w
" L+ P0 B0 M [2 Y" M" s
% Q* t0 x9 K; `. @0 P9 y' A* E
T( L. M& ~+ [( u9 b: `9 fjava电子书目录：
6 Y' ]1 q* Y$ B( {7 _第一部分 基础篇+ I9 v5 n/ h) J- i" D' y1 D
第1章 阅读源代码前的准备
, e2 Z1 o, p0 t/ Q5 w0 g1.1 准备源代码学习环境
" @: E" s7 J$ N" N* B3 z1.1.1 基础软件下载& N. N% }# U9 ]& V2 d+ B
1.1.2 如何准备Windows环境- e" ~- B8 [- T1 I" m! C8 T' v$ p- r+ M
1.1.3 如何准备Linux环境. S: G( i& ?/ N5 _7 d5 Z$ A$ H
1.2 获取Hadoop源代码
1 ~6 r$ V/ K7 J" q9 p1.3 搭建Hadoop源代码阅读环境5 d7 u6 ^ `: G) r5 ]
1.3.1 创建Hadoop工程% { i8 h1 Q8 p& `# H
1.3.2 Hadoop源代码阅读技巧$ T m5 N0 K |( t% J
1.4 Hadoop源代码组织结构
$ Q2 f+ U# A* Y# M% e1.5 Hadoop初体验
( v y: F! k$ _% ^, x2 x( u1.5.1 启动Hadoop. ^3 Q' e1 g" a3 I+ ^6 t
1.5.2 Hadoop Shell介绍( C% a3 O: m5 P+ X' j! i
1.5.3 Hadoop Eclipse插件介绍1 Z; m9 m1 r2 z' z; ^
1.6 编译及调试Hadoop源代码0 U9 j$ y% u2 X% m' c' y/ u
1.6.1 编译Hadoop源代码, v- C/ h" Q0 ~9 m! D$ E
1.6.2 调试Hadoop源代码7 g; F" j% d ~) A! x' }% g
1.7 小结
2 A ?" g' D/ u$ K第2章 MapReduce设计理念与基本架构
- K1 v ?7 h9 D5 h2.1 Hadoop发展史# G, O0 J& p# Q) o G' H! P
2.1.1 Hadoop产生背景
/ P5 m! t% i, `- Y) v2.1.2 Apache Hadoop新版本的特性
; c3 b1 t6 j- K2.1.3 Hadoop版本变迁0 C/ A. r: n6 D' n9 F/ Z* K: @
2.2 Hadoop MapReduce设计目标8 {( T, ]# r4 i9 t7 H# t* D \
2.3 MapReduce编程模型概述
3 R; i: I" |$ f' i$ k* f) U. Q2.3.1 MapReduce编程模型简介7 V( j0 R$ ~& M& w: f, u
2.3.2 MapReduce编程实例' P+ s' f. m( Z6 N4 U
2.4 Hadoop基本架构& q7 f' R& V# O$ C1 X0 H7 ]% T
2.4.1 HDFS架构
; s: V5 i4 K8 I5 P2.4.2 Hadoop MapReduce架构8 N8 h- d2 h, \6 A# o5 U
2.5 Hadoop MapReduce作业的生命周期+ f- ?# f& M! ^' I0 q9 [, V
2.6 小结
+ b0 D- w% y; ^8 R2 Y. F1 s第二部分 MapReduce编程模型篇$ X+ i: u: F6 g6 y
第3章 MapReduce编程模型
& B% g* J9 p! M* S% A5 v3.1 MapReduce编程模型概述
. _ O0 k. p. C2 x4 M+ f+ t6 N3 n3.1.1 MapReduce编程接口体系结构9 J( K5 Z. }$ |3 e
3.1.2 新旧MapReduce API比较
: \3 q4 X. B+ a2 W8 }5 ]3.2 MapReduce API基本概念5 `& D5 c9 G4 p: ^( X
3.2.1 序列化
3 g9 A, t1 K6 g( R& i! T( m3.2.2 Reporter参数+ v) `6 j$ f; j0 P Y5 Z$ z# Q
3.2.3 回调机制
6 w$ W: S+ I n6 w" W3.3 Java API解析/ R, A5 N4 ~' B' ]2 l! R; x" `
3.3.1 作业配置与提交
. N' n3 f& i2 q8 T+ i) p1 t1 S3.3.2 InputFormat接口的设计与实现2 o( a+ _9 l7 q D; v' [
3.3.3 OutputFormat接口的设计与实现3 A, k2 J6 i; F" ]
3.3.4 Mapper与Reducer解析
( N- b0 }5 @, \/ m3.3.5 Partitioner接口的设计与实现9 @0 `( z: F; ?" |1 |
3.4 非Java API解析. ]. U$ m2 x6 N$ E5 ?8 J# Y" V0 Z U
3.4.1 Hadoop Streaming的实现原理
( d: m8 j3 z! k9 V5 x3.4.2 Hadoop Pipes的实现原理' k* F% }! ]0 u$ k" o( q8 q! |
3.5 Hadoop工作流& M2 a# d3 F& G# @4 c$ c6 ]
3.5.1 JobControl的实现原理- x9 A: X1 A/ j3 d; r# F% T
3.5.2 ChainMapperChainReducer的实现原理9 _! s# Y. Z" v9 `
3.5.3 Hadoop工作流引擎
, j+ t; O. X6 w" _. Q5 L! z3.6 小结
; h7 b. }4 B4 h第三部分 MapReduce核心设计篇
0 r1 t& ]! [' X) k% V, R$ G4 K第4章 Hadoop RPC框架解析
' _: }- p+ L; J, h' A D4.1 Hadoop RPC框架概述! i( v# e9 O/ ?; x' ~# H/ f4 M
4.2 Java基础知识
) b8 n- n. f( D- S$ s. F4.2.1 Java反射机制与动态代理; D% e/ p& J' E) Q
4.2.2 Java网络编程! F2 J4 L* T+ Z; I5 i
4.2.3 Java NIO
" }& f1 |' j$ {3 r' }4.3 Hadoop RPC基本框架分析
/ I' Z8 F. n; e6 j4.3.1 RPC基本概念
3 P4 E& ~, t$ L7 A% y6 {! W$ a4.3.2 Hadoop RPC基本框架
$ P; B9 J; V4 Z( c! s4.3.3 集成其他开源RPC框架 z: ~ }: c8 R* G% L
4.4 MapReduce通信协议分析& ^' k0 v( h( |/ _1 R
4.4.1 MapReduce 通信协议概述( ~( f# E1 {* G* @9 ^
4.4.2 JobSubmissionProtocol通信协议
: G1 ~# M; Y1 s2 a" G0 O& Y4.4.3 InterTrackerProtocol通信协议
7 o* I) r9 Z2 U: r4.4.4 TaskUmbilicalProtocol通信协议
4 e5 M8 i! X9 i, M2 b4.4.5 其他通信协议
, q/ E7 }: n0 Z% r4.5 小结
6 x X( |% Z& Y9 Q& A/ U/ c( z( w2 [第5章 作业提交与初始化过程分析
" A! L$ ~* w6 ?. O3 O5.1 作业提交与初始化概述; l0 f) H9 |8 f* y
5.2 作业提交过程详解
3 k9 P/ x& W5 o5 k5.2.1 执行Shell命令5 z9 y* Z7 I) c5 j$ k- Z) j
5.2.2 作业文件上传
) j; S! Z: u. {- `* u4 q& Z9 ~0 Z5 U5.2.3 产生InputSplit文件* {; u' \, [! }' J% X
5.2.4 作业提交到JobTracker
* H; g- b* R, n4 @5.3 作业初始化过程详解0 k; l: }3 G7 Q7 Q! M1 K# d
5.4 Hadoop DistributedCache原理分析
' r) [( h1 G/ Y, b# P5.4.1 使用方法介绍; B M- a! W/ q9 a7 z0 }% I
5.4.2 工作原理分析! v/ t) S7 m9 I% ^
5.5 小结
. h) |( F( }( s: Y( @# `1 U第6章 JobTracker内部实现剖析
1 {$ i1 T; I* x1 ~6.1 JobTracker概述
4 K# f+ \9 U s- F6.2 JobTracker启动过程分析
$ ?$ ^# T; A& ?9 S" t% E% h Y6.2.1 JobTracker启动过程概述
$ G4 g- j$ z/ f' t( B* K2 W& Y6.2.2 重要对象初始化
) g) U; Y5 Q+ I8 D# ?6.2.3 各种线程功能5 y7 |, `# W$ ^
6.2.4 作业恢复) y4 Q# O3 ?: Z- @$ X8 U+ R4 S
6.3 心跳接收与应答5 ^& k* l3 D o! ?- [/ U5 ?* M" |( n/ M
6.3.1 更新状态
. ?. F( \! R$ w" q5 E$ H l; u3 D6.3.2 下达命令8 J7 j* d4 ^/ Z+ u- a! x; A
6.4 Job和Task运行时信息维护
1 Q/ z2 b$ C; N6.4.1 作业描述模型
. A+ }/ g; H0 \, s6.4.2 JobInProgress" n4 [' F( ~$ g6 [! W3 ?$ [
6.4.3 TaskInProgress
% x5 B& f: v% s8 t1 N, I6.4.4 作业和任务状态转换图 _3 y* f- s' d# D
6.5 容错机制
& p! z% u7 x, i- R! C1 `' U6.5.1 JobTracker容错
* e6 F. _5 q9 C; Y3 @6.5.2 TaskTracker容错* c, s/ j: M4 j3 g+ t* H/ Q& o/ E
6.5.3 JobTask容错
" {3 s! T$ d% X" b& S6.5.4 Record容错
4 B2 L! ]7 o7 H& o6.5.5 磁盘容错
: r' w1 q5 [/ [5 d7 e" k) s6.6 任务推测执行原理
8 B' m) o& l1 ^6.6.1 计算模型假设
M6 S) r1 e8 Q6 W/ l5 X& `3 r6.6.2 1.0.0版本的算法- a$ q+ b4 `- U6 R
6.6.3 0.21.0版本的算法: Q$ R. B5 N: X$ ?2 J+ v: v
6.6.4 2.0版本的算法
+ n5 E0 p, b$ K4 ^6 T. F3 Q; h6.7 Hadoop资源管理 i! ?" X+ n; D1 L5 p4 P
6.7.1 任务调度框架分析
p- V* |. {: H& b, ]" q8 r6.7.2 任务选择策略分析
# W* `6 v% ?, s* b; ~% F6.7.3 FIFO调度器分析
& x) u |7 N8 m+ h. f7 h2 e6 ]6.7.4 Hadoop资源管理优化6 [( z+ z0 j7 Z# h) k
6.8 小结
2 p/ V( r2 m8 U0 F第7章 TaskTracker内部实现剖析9 @' a% Z7 Q, ]9 ~3 m( ^3 [# N
7.1 TaskTracker概述
! g+ \; R$ V% }% t4 V7.2 TaskTracker启动过程分析
" m. [" o; `& h: F' Q4 A8 L$ X7.2.1 重要变量初始化
, `8 B: H3 v! Z7.2.2 重要对象初始化
+ g/ I) J. v4 E1 [: T7.2.3 连接JobTracker
/ N1 a) F$ \# E7.3 心跳机制
$ K' u4 v1 ?. Q/ [7 n1 i! P7.3.1 单次心跳发送
+ z* M* F0 ~& k, t, f. N* S7.3.2 状态发送6 y1 I) q. Y; O( X: @
7.3.3 命令执行
' `- X4 U1 D8 ^ f2 K( w7.4 TaskTracker行为分析, S* Y: L3 W" A- n6 h8 X, u
7.4.1 启动新任务
4 m- W P! V. c! X7.4.2 提交任务6 Q! O6 i( ~# T& G9 Y4 R3 d
7.4.3 杀死任务
1 {% K y F/ C# D7.4.4 杀死作业
+ s& V: S" m& f/ v0 \7.4.5 重新初始化
& S# ~9 F" X+ L1 z7.5 作业目录管理
D7 w8 _1 h: ?7 M! }; e& L7.6 启动新任务
- Q) K% s- `5 p( G7.6.1 任务启动过程分析
) b. t/ R- H& B5 J; N& S+ L7.6.2 资源隔离机制
4 Y0 I0 U# h6 {: t5 t% q1 c7 U7.7 小结
) v# D+ n# F5 S+ c5 J+ f. o0 c4 N第8章 Task运行过程分析
3 W% S g0 K1 v' C" o$ q* f4 C8.1 Task运行过程概述
" m9 P4 v: T2 X1 C& P7 n. m8.2 基本数据结构和算法
o$ s( l d4 W" i$ j8.2.1 IFile存储格式
* h1 ~1 o6 v+ ~3 ~5 c& f# r8.2.2 排序4 T; r4 o3 [3 K) N9 S! e0 ^) U
8.2.3 Reporter& q5 I1 I' q' i! l3 r1 \
8.3 Map Task内部实现
4 u- u1 a+ T' ~" b5 G) x3 ?: m8.3.1 Map Task整体流程* Y; A O- O( h" Q% C' |
8.3.2 Collect过程分析7 P3 Y( T* b6 g& k0 [3 p5 t7 a
8.3.3 Spill过程分析# g% ?6 D# S+ r, ^9 G- N9 N
8.3.4 Combine过程分析5 m) e$ `" N" C3 V# _# T ^' X
8.4 Reduce Task内部实现
! T& N; J! e5 b; ?+ k8.4.1 Reduce Task整体流程
, Q4 Q* `' E, A" @$ p% Z. E8.4.2 Shuffle和Merge阶段分析9 a: o3 r7 T( X- u, e3 O0 K
8.4.3 Sort和Reduce阶段分析! v; u# x( n3 o( I% ]
8.5 MapReduce Task优化4 D, Z8 P* I- W7 o. ^- U0 {0 L
8.5.1 参数调优
2 ~8 L. z+ G" o' Q1 T* p6 L3 Y, [8.5.2 系统优化$ q) A0 ^3 `* z0 c
8.6 小结6 W( o. F! L) y
第四部分 MapReduce高级篇 P' G' ^: W! X k* u
第9章 Hadoop性能调优
3 w' S4 J% ^* O! a q9.1 概述! P E3 p) f; h8 O% b# ^; F5 a
9.2 从管理员角度进行调优9 @" I- U- B" i' ^ p' e
9.2.1 硬件选择! f( a8 d+ z$ |
9.2.2 操作系统参数调优
- @* \$ n1 ], X% i! |9.2.3 JVM参数调优# h \: n# ~& k3 o0 V- B; \. X
9.2.4 Hadoop参数调优0 n# p. Z! w& k; P1 F+ P
9.3 从用户角度进行调优: X3 P) S2 k- Q$ W1 s' b. N% B
9.3.1 应用程序编写规范
+ V8 i3 t a k( m r3 ^/ H t7 m y9.3.2 作业级别参数调优0 N, A' v+ f" I3 y: T" `& ~
9.3.3 任务级别参数调优
l3 G. i! L- m! j( R9.4 小结
) E% K+ A2 V0 K J6 S第10章 Hadoop多用户作业调度器9 U& z" P- B7 q
10.1 多用户调度器产生背景
c( g0 {4 }3 r$ Z; {% H( ^10.2 HOD4 {4 W) t, h6 ~. T3 r0 c. x+ [+ ]( S* h
10.2.1 Torque资源管理器' D$ V8 n- Y! q
10.2.2 HOD作业调度
j- a- M0 K# V4 `10.3 Hadoop队列管理机制# C. f% h( S7 B, D6 K3 Z
10.4 Capacity Scheduler实现( \7 k8 m8 `3 N% k
10.4.1 Capacity Scheduler功能介绍
, i) D7 {' A' z5 Q) r10.4.2 Capacity Scheduler实现
- R% W9 f, Z% G& ~3 C6 C, m1 x10.4.3 多层队列调度$ L X1 s& Y% n Y6 S1 e! g, D- \" l
10.5 Fair Scheduler实现
/ E6 j) d9 O; o' b10.5.1 Fair Scheduler功能介绍
# S+ ?9 o& W7 r a' u10.5.2 Fair Scheduler实现5 o2 N6 r2 T3 K4 l' B
10.5.3 Fair Scheduler与Capacity Scheduler对比8 j" o0 h8 R) \) @2 o& a" U
10.6 其他Hadoop调度器介绍
F0 g8 q( i, ~' c' x10.7 小结
' F0 h2 ?# v( m( W. f8 t第11章 Hadoop安全机制
- ], D" ?5 S) x2 {. W3 J5 f11.1 Hadoop安全机制概述! T7 r, }& V3 P7 ^" a
11.1.1 Hadoop面临的安全问题
0 y; h5 N8 ?8 [5 \: ]11.1.2 Hadoop对安全方面的需求# x" p0 L$ l0 t$ q
11.1.3 Hadoop安全设计基本原则
2 T: i: `' x0 Z4 T! o6 W' ?* T11.2 基础知识8 l+ M; r2 p! d8 k6 @) s2 I
11.2.1 安全认证机制
1 D( m& K0 v1 N% D* q0 y11.2.2 Kerberos介绍
1 I4 @+ V: R9 u; O8 M+ v* h11.3 Hadoop安全机制实现" w$ [3 }8 V g* q) l3 ]: ^
11.3.1 RPC
' G1 p) o/ ]; t, [' j* `0 k11.3.2 HDFS
# N0 ]+ g# Q$ j4 N# Q. d, a11.3.3 MapReduce! v9 ~6 l3 E& {1 y( o* T
11.3.4 上层服务
B5 d( m! z; e4 F# h- h+ L2 ~11.4 应用场景总结
8 i1 @" D/ u$ D3 a- O11.4.1 文件存取
( Q: ?9 H$ K" `3 q11.4.2 作业提交与运行
: O- ?/ K8 y& }0 d5 F4 s11.4.3 上层中间件访问Hadoop
( _# }: X% n2 x$ m, t11.5 小结5 r6 g- y0 a' g& L
第12章 下一代MapReduce框架2 [3 R- E4 C- ~3 `8 h
12.1 第一代MapReduce框架的局限性
& e4 U% u6 @+ ^7 R$ y7 a6 u12.2 下一代MapReduce框架概述
. N* K; s6 s+ P* B) @7 C- R- {12.2.1 基本设计思想
# e& W6 p, M! D1 r12.2.2 资源统一管理平台
% e/ V* E( c; S& v8 d12.3 Apache YARN
0 T2 O7 F8 H* m. F' M+ f! F12.3.1 Apache YARN基本框架" T! i/ u% C5 C5 g2 k5 z2 c
12.3.2 Apache YARN工作流程
) s7 k" Y* Z4 y8 y" C/ h12.3.3 Apache YARN设计细节
6 v' g, S# C0 L- n: z12.3.4 MapReduce与YARN结合) y) Q* H7 K5 Q2 E/ |4 _# |% H
12.4 Facebook Corona
- r# k5 n" D( D7 v) f# h8 u12.4.1 Facebook Corona基本框架3 l9 F$ |9 |8 u$ g( g
12.4.2 Facebook Corona工作流程9 K1 M2 }1 {$ S' E: d0 Y
12.4.3 YARN与Corona对比
1 ^/ L M5 M8 g12.5 Apache Mesos( Q# e4 R) s9 N. R
12.5.1 Apache Mesos基本框架4 |3 F: A2 `" g( W* }! N
12.5.2 Apache Mesos资源分配
7 X. p. S! C+ S0 z7 S, O1 W12.5.3 MapReduce与Mesos结合+ G. Z- L R& K' }, _0 M' s6 f
12.6 小结
1 s# w; E6 G3 {$ a b
4 X8 d3 L9 T6 ^ d9 R8 W电子书优惠获取地址：《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》7 z0 m# }! u% X
, O+ K1 k% e0 l5 i. N" ?
, l7 k9 ]( `- K* ~+ k8 x' p0 t+ O+ e( [7 S& d6 a( [, @
|
|
发表于 2016-12-6 14:06:01
发表于 2017-3-15 22:21:19
