|
|
java自学网（www.javazx.com）-java论坛，java电子书推荐：《Spark大数据处理：技术、应用与性能优化》
* i4 o# ^) X- L/ Njava电子书推荐理由：这是一本依据最新技术版本，系统、全面、详细讲解Spark的著作，作者结合自己在微软和IBM的实践经验和对Spark源代码的研究撰写而成。首先从技术层面讲解了Spark的体系结构、工作机制、安装与部署、开发环境搭建、计算模型、Benchmark、BDAS等内容；然后从应用角度讲解了一些简单的、有代表性的案例；最后对Spark的性能优化进行了探讨。
* b1 A1 |$ e' j0 r0 C3 Z/ c, Q6 {7 I, h, U4 U; K* n
! \1 K4 V. u9 _2 r2 c8 W* k
作者：高彦杰 著
- ^0 X; d& n4 Z; g$ r! o" a出版社：机械工业出版社
/ s* @, ]+ x# a% X7 v$ L2 S出版时间：2014年11月 4 k a" p! L/ t7 ^) N5 p; s& `) P
( S0 U( e, g" p- B1 y) Z3 E9 X$ l. C) G* Q- G; h
; ]! F1 f3 W( e' _6 \* n0 E7 a! s' b/ [. l/ J
1 y s6 K0 A3 k- R7 S4 Hjava电子书目录：
) l/ ?% D" R$ L% ~
7 g/ @5 k4 `' h" i
$ [& u5 i, H+ _第1章 Spark简介0 Y# h0 y; E/ t- F: U3 \8 W9 N
1.1 Spark是什么: u2 t9 \' z% F* g5 \2 r8 T
1.2 Spark生态系统1 D/ P9 y9 m, r* f" s* h$ F
1.3 Spark架构, S) X) I9 T: Z! Y
1.4 Spark分布式架构与单机多核架构的异同
2 U0 z& }7 x$ d0 ~1.5 Spark的企业级应用" b; u, `! V: y1 P8 h) A& O4 Y
1.5.1 Spark在Amazon中的应用
9 o0 ?% M Q) z4 f' }1.5.2 Spark在Yahoo!的应用
3 p1 U. w, t; M% I1.5.3 Spark在西班牙电信的应用
$ n5 w4 [7 K& X, ~* H; k) p$ n1.5.4 Spark在淘宝的应用+ Z. ^$ U- ~% Q6 N W3 Q
1.6 本章小结8 N$ o$ r* @/ w
第2章 Spark集群的安装与部署
J e# m8 {2 O7 f2.1 Spark的安装与部署$ r j p* ^9 D* F
2.1.1 在Linux集群上安装与配?4 H( G/ {4 X( Z
2.1.2 在Windows上安装与配?
- a1 f9 D2 o7 B. a4 X2.2 Spark集群初试
: e( j% W3 C0 s6 v: T. }2.3 本章小结- y4 Y8 Y4 B/ t& N
第3章 Spark计算模型9 @! x0 J3 f3 J: t1 V: R
3.1 Spark程序模型
+ V" V& J1 B" `* H. c _3.2 弹性分布式数据集4 _! t2 a3 S+ Y
3.2.1 RDD简介/ l6 i/ v" e$ ~. |0 Y' t4 [
3.2.2 RDD与分布式共享内存的异同
8 y: R0 D$ p! s: y3.2.3 Spark的数据存储
* I) E* D u, ~# k2 _8 c5 p3.3 Spark算子分类及功能
9 h( X3 E/ K6 k* `3.3.1 Value型Transformation算子" p1 x, N3 F; d
3.3.2 Key-Value型Transformation算子7 I5 ~/ y( A) W& F# f
3.3.3 Actions算子
7 p2 _( a) x/ p& d3.4 本章小结
. t) Y. _7 ^, u0 `第4章 Spark工作机制详解
6 O. B* V8 Y- K: _& f2 x4.1 Spark应用执行机制
# h, E! H' Y S: r2 h4.1.1 Spark执行机制总览) g0 e/ @, m. Z; U# N- @9 v
4.1.2 Spark应用的概念2 Q& f, l8 R9 g0 r" Q0 K
4.1.3 应用提交与执行方式
! a, [9 R3 e6 g4.2 Spark调度与任务分配模块1 m& k2 F, e/ s3 |1 j
4.2.1 Spark应用程序之间的调度6 S3 z4 l1 F' z: j- }
4.2.2 Spark应用程序内Job的调度" z" t% ~9 J$ d: S! M$ y) _3 f
4.2.3 Stage和TaskSetManager调度方式- i- U4 w6 o8 F2 [9 f6 k
4.2.4 Task调度
5 s+ Z1 B$ O# T2 a, S' N+ U/ |+ j9 ~4.3 Spark I/O机制2 i/ [: {! B4 g
4.3.1 序列化
) |) _ p0 f. I+ L4.3.2 压缩
4 z8 s* t+ d2 f: C6 V7 b6 C$ V4.3.3 Spark块管理 }2 B) B9 [: }" X, S; i6 C7 d
4.4 Spark通信模块
& ?. a. A4 D* V7 W4.4.1 通信框架
4 V X R8 g) m1 I% N7 R8 |4.4.2 Client、Master和Worker间的通信/ K( M9 E( }0 m3 s4 m( p/ `
4.5 容错机制
% z8 C" F8 O0 b9 p2 x4.5.1 Lineage机制
, X$ b% u. r+ p" r% L4.5.2 Checkpoint机制, O$ W$ O; b' v6 Y* r& I
4.6 Shuffle机制; |9 M0 Q! p" Q! x+ b" v) L
4.7 本章小结
7 z& r. u V+ l. Q7 d t! C: |第5章 Spark开发环境配置及流程
" R3 x( l0 H* D: |: \! D5.1 Spark应用开发环境配置
% t1 D4 ^5 L& l l# }5 g6 ^3 W5.1.1 使用Intellij开发Spark程序/ ^" g$ h% k, [
5.1.2 使用Eclipse开发Spark程序: D: Z, @. N8 k( _
5.1.3 使用SBT构建Spark程序. U: u* X! K. }1 }+ R# M9 h
5.1.4 使用Spark Shell开发运行Spark程序2 v& l+ W+ S* C4 d/ R( Z
5.2 远程调试Spark程序
8 D# T, h$ F. p0 x" }% w+ Q) S5.3 Spark编译2 @6 ?2 Q0 x0 n6 l e& V
5.4 配置Spark源码阅读环境3 }# \$ F) n8 \3 p$ ^
5.5 本章小结
7 D0 {) \" L, Q第6章 Spark编程实战
$ f% v/ {6 J+ R5 ^6.1 Word
F' R" e: e2 V" {! V" y) s- x6.2 8 j, Z$ l: S; d, w; p0 R
6.3 中位数
3 V' x8 `7 v1 L3 A" a/ W9 e% x% B6.4 倒排索引
/ w# D* c1 E# `* {( s$ Q6.5 Coun9 ]) p/ g5 {& T' I5 [
6.6 倾斜连接1 s* A( \) Z( T
6.7 股票趋势预测
3 W: F! E: i5 M. [6.8 本章小结& o& U3 Y. o* T) Y9 s
第7章 Benchmark使用详解) Z* O) n# B, `
7.1 Benchmark简介
, k% }% r3 i( J* P7.1.1 Intel Hibench与Berkeley BigData0 c9 ?! H* }3 s' g, i/ E7 T3 ~, S& a
7.1.2 Hadoop Gr I2 T, I3 G/ l5 E* J- F
7.1.3 Bigbench、BigDataBenchmark与T6 p. W8 J, I2 V _4 v% l
7.1.4 其他Benc
7 t# _) n; k' a% X+ I/ F7.2 Benchmark的组成
; s" o, G) v7 b) a) r8 |7 _' c7.2.1 数据集) ?' a! \: @( {: o
7.2.2 工作负载/ n) p3 O( @- J0 m- a9 n
7.2.3 度量指标
% n$ ?( f3 Z/ D: [% s7.3 Benchmark的使用9 Q, x% J6 I* A4 y3 H$ V
7.3.1 使用Hi
+ v: Y6 t4 E1 a% ^ x4 y0 V7.3.2 使用T' h. ]; Z) z+ W- ?; Y8 P. W2 G" Q
7.3.3 使用BigData# F v! |" B3 h% }/ _
7.4 本章小结( k+ @. R( [) F( u* D
第8章 BDAS简介5 a% i) v4 ]2 |3 q. Q3 y
8.1 SQL on ! T/ ?6 L- u4 d
8.1.1 使用Spark SQL的原因. |: @+ A# M$ i- ]8 J9 v: T6 m
8.1.2 Spark SQL架构分析3 N, m) x) s- g
8.1.3 Shark简介
% D+ Z( f0 i1 G8.1.4 Hive on ) M1 H3 ?7 N: M, C
8.1.5 未来展望
3 a$ S: N1 \) E, T+ t8.2 Spark Stre
2 X4 Q, s* S$ \7 r8.2.1 Spark Streaming简介5 \+ p, N) ~1 q) I4 [; j- g) L
8.2.2 Spark Streaming架构# c9 F/ t' M+ i8 t
8.2.3 Spark Streaming原理剖析4 }! r7 z `3 [
8.2.4 Spark Streaming调优4 E+ H2 B, o$ T. V. O6 Z5 o- C& H
8.2.5 Spark Streaming 实例
8 i7 p0 P0 T( l8 Y3 Y8.3 G
* E6 c! a# K- K8.3.1 GraphX简介/ ]( m" ], y+ @% Z* _1 g \
8.3.2 GraphX的使用
5 r* f3 c- w" y# R2 n( l0 l# a8.3.3 GraphX架构$ g' R) }( q Q$ i$ d) f# s- v. p: T
8.3.4 运行实例2 X. Y; O( [ k+ o( n0 M2 o: M) q
8.4 3 h; T3 F" ~2 ~& c7 V
8.4.1 MLlib简介
# E1 F$ j( s6 k6 b( h8.4.2 MLlib的数据存储4 V0 {4 v6 D' C* e* \! y! S {
8.4.3 数据转换为向量（向量空间模型VSM）
. j4 G5 O* b% k( {9 ~& S$ R8.4.4 MLlib中的聚类和分类* e( Y; |: r( ]+ z& B
8.4.5 算法应用实例. N* O; Y# u. a! `6 B& V7 O
8.4.6 利用MLlib进行电影推荐
, k8 `: \! ^' o' X8.5 本章小结
8 e7 f. Z' u( z, m9 y$ s# o第9章 Spark性能调优2 ]8 w9 p0 `7 c0 e; o `1 B7 z3 [
9.1 配置参数
8 {& b( A. w3 ~2 d, x) [. j: ~5 c" K: B9.2 调优技巧
- y8 B* [$ i0 C' ~' T9.2.1 调度与分区优化, @5 [7 |" {& `+ t7 @
9.2.2 内存存储优化, q/ k0 U+ E( Z& q
9.2.3 网络传输优化, j$ P- E* V$ M% [( R
9.2.4 序列化与压缩1 ?# w7 e3 c8 {8 f
9.2.5 其他优化方法! N% b% {- \2 G S& `# ^0 M+ z6 i
9.3 本章小结
+ U# V1 E0 x4 \/ C" I2 B3 ?! k
& x% y# @3 x9 u2 a
! c* `- J. m, p, A4 K, P% i8 ]- q* s4 X7 J电子书优惠获取地址：《Spark大数据处理：技术、应用与性能优化》
/ i/ U, O) K) ]( `& G9 r2 l4 m' {! K# F) Q
" [! z$ T6 N) E: h
# @0 o; ~ I# c
6 L n1 p$ C7 @6 n( `! }1 [2 ] |
|
发表于 2016-12-7 12:30:43
发表于 2017-1-9 19:09:30
