[java电子书] 大数据技术原理与应用（第2版） PDF 电子书 百度云 网盘下载

java10086

java自学网（www.javazx.com）-java论坛，java电子书推荐：《 大数据技术原理与应用（第2版）》
  u- O$ A4 N$ k. `) kjava电子书推荐理由：1.作者建设了国内高校首个大数据课程教师培训交流基地，打造了中国高校大数据教学知名品牌，已经在国内高校形成了广泛的影响力。 2.作者建设了国内高校首个大数据课程公共服务平台，为教师教学和学生学习大数据课程提供讲义PPT、学习指南、备课指南、上机习题、实验指南、技术资料、授课视频等，资源丰富。

作者：林子雨
, P7 f* U8 |! s- Y- T6 F出版社：人民邮电出版社
5 s7 _$ U' T3 o* w6 O3 v出版时间：2017-02-20
+ ^4 P9 a7 ]1 \# A书籍价格：47.40元
! b  v( y( j! ~



java电子书目录：
第一篇 大数据基础
) S. K# |6 e* m/ N
5 e! c& h. H% ]2 U/ k
" b* q6 m. \1 ?) P' Z; m
3 Y2 u- T% M- M' r第1章　大数据概述　2

1.1　大数据时代　2
& C5 H3 \7 }" `# I8 ?
* _7 C' L. q% H1 y! U7 g. D1.1.1　第三次信息化浪潮　2

1.1.2　信息科技为大数据时代提供
" e. i" s* V  ]5 T) H8 j1 Y7 D. \
技术支撑　3
0 B+ }) ^, S/ y2 f6 ]1 q& T
5 l; p) a7 H! a8 ~. R: j4 `1.1.3　数据产生方式的变革促成大数据时代的来临　5

1.1.4　大数据的发展历程　6

1.2　大数据的概念　7
9 l5 {/ h) E2 s$ ]6 `6 L
1.2.1　数据量大　7

  [' i( ^1 L4 i+ K8 \: x2 z1.2.2　数据类型繁多　8

7 q- w& N% e2 h+ w2 r+ y1.2.3　处理速度快　9

1.2.4　价值密度低　9

1.3　大数据的影响　9
4 J5 k* ?  e! j# L2 z
1.3.1　大数据对科学研究的影响　10

) F' ?5 i1 m7 R0 s/ ~5 H5 M4 w! ^1.3.2　大数据对思维方式的影响　11
: a5 k; A9 J1 o
1.3.3　大数据对社会发展的影响　11
& M' W8 h9 {* i% `0 p4 z; A
1.3.4　大数据对就业市场的影响　12

+ c" O3 E' S; ~5 D1.3.5　大数据对人才培养的影响　13

, G. ^" y. |+ e" A1 e1.4　大数据的应用　14

1.5　大数据关键技术　14
/ f& O4 J7 j" t* q
( F  ?% ?4 p3 x6 U0 U( f1.6　大数据计算模式　15
: y5 w: }) l8 }' A
3 U2 k0 f+ H& r! H+ W1.6.1　批处理计算　16
. S; A2 Z5 v5 X5 j
1.6.2　流计算　16

. R  z( R3 E& c5 _) Y0 L6 w5 u1.6.3　图计算　16
9 E3 P0 S! S- O7 ~
1.6.4　查询分析计算　17
! q0 K" T% Y7 M9 O9 l
1.7　大数据产业　17
$ t# h" I7 F( P- b
1.8　大数据与云计算、物联网　18

1.8.1　云计算　18
: ?6 h! M- \1 J& r
! g  j9 P2 f+ z5 `% n( q1.8.2　物联网　21
, _1 f# v$ }6 J, ]& k
1 x# p" s. I' u) |( p5 N% b1.8.3　大数据与云计算、物联网的关系　25

) C+ N+ c' T/ S% f" I1 b8 _% G1.9　本章小结　26
/ e% Y9 H7 h3 o2 o
' B7 _: x* F) O1.10　习题　26
, c) ?& U4 @, d- P
  r6 H- M! A( `) I第2章　大数据处理架构Hadoop　28
; g# f* `/ W/ N8 u5 D( N# [. z
% k# L5 B8 P) u2.1　概述　28

  i# y2 K' p: @- H2 o2.1.1　Hadoop简介　28

& N; @% L  t2 N3 a0 x# R2.1.2　Hadoop的发展简史　28
  V- v+ |) g3 P8 ]. v
2.1.3　Hadoop的特性　29

2.1.4　Hadoop的应用现状　29
" o& a2 k$ o' {
8 H% I; L/ W3 S( l1 e1 {4 W5 U2.1.5　Hadoop的版本　30

2.2　Hadoop生态系统　30
/ U. V' x, B$ P0 n/ s) d+ \2 u& H
2 R+ X4 j" u! @' U8 {4 s2.2.1　HDFS　31

$ ~/ d' N, e, H2.2.2　HBase　31

- o* r( r2 i% |3 ]: B& Q9 `2.2.3　MapReduce　31

: \6 M- L  Z5 D: b& v3 L2.2.4　Hive　32
: y! _6 e+ B# C6 c' k4 F
* o$ H6 Y0 |! {+ }1 r2.2.5　Pig　32

8 I+ ?# _4 J6 T- p* b! x$ N* I2.2.6　Mahout　32
4 z: C: b% M# U
1 V! b3 L  [7 \* q2.2.7　Zookeeper　32

2.2.8　Flume　32
, C0 s9 N* g9 ~6 T* c' h
# i" M( y# l, N: @4 g/ Z4 s2.2.9　Sqoop　32
0 w+ B& N' o% T% M4 H; o: l
8 I4 d/ B0 s% ^& S0 }) {6 P2.2.10　Ambari　33
* c, w2 o  p) z
2.3　Hadoop的安装与使用　33

4 [2 a2 N; f4 D3 B2.3.1　创建Hadoop用户　33

& M7 g& `% F, v7 T" r, V# ?! C+ Q2.3.2　Java的安装　34
$ G4 D" t* p: j+ n7 x
% [& \7 V/ z, ^4 ?9 C* W  m+ v7 }2.3.3　SSH登录权限设置　34

+ y$ e4 Y  s) [2.3.4　安装单机Hadoop　34

& q7 P1 L, `; N! A( d6 l2.3.5　Hadoop伪分布式安装　35
3 U" ~4 I6 O, C# F2 Z3 V6 x' q
8 g8 j* @1 h/ I2.4　本章小结　37
; T' \$ X2 t2 Y8 F( z; O
2.5　习题　38
" a6 f4 s( f: f: F# u
实验1　安装Hadoop　38



/ }* R; F7 O3 f2 X3 \) j/ v第二篇　大数据存储与管理

2 ^8 t$ B4 l' u; `0 A
( B( Z4 @1 r4 O* _
第3章　分布式文件系统HDFS　42

6 F$ z. k! j: ?- p/ a& b/ Y, n3.1　分布式文件系统　42

8 R( {, S- P, q- _3.1.1　计算机集群结构　42
3 o9 _1 f( Z- o2 x) L- B
$ T) F/ P! E5 g+ ?* W0 \; E3.1.2　分布式文件系统的结构　43

. _  z6 u0 k4 [6 Q7 S% [7 I# e* T9 U3.1.3　分布式文件系统的设计需求　44

3.2　HDFS简介　44
7 O) r: c# q" Z. K
: h* {% b) ]7 y, T3.3　HDFS的相关概念　45
0 a; d" k: I  [7 Y/ N  n
3.3.1　块　45

9 n# `. B( W# ?3.3.2　名称节点和数据节点　46

3.3.3　第二名称节点　47
& \$ ~, y" t0 e! f, ?5 g
: H* |" v; \! F( q2 [- J4 F5 c3.4　HDFS体系结构　48
& K' b3 `- q0 u8 W" _7 A+ b4 ^5 Q  W
3.4.1　概述　48
: ^' H3 f" b8 D! x) S
9 {+ L3 S8 O' Q& }0 Q) e" r* \3.4.2　HDFS命名空间管理　49
- t/ `8 O/ K3 ?# }
# Y+ D. G, s. R1 y. v: t6 i3.4.3　通信协议　49

9 s" |+ R* E# d& ?" C2 V8 q9 {3.4.4　客户端　50
7 u3 s3 A. a) |1 ?  O3 V
  d4 x0 E. r" y) u* ~3.4.5　HDFS体系结构的局限性　50
2 e- ^( ]( a/ X$ e6 {  [/ w
3.5　HDFS的存储原理　50

% p/ t) [* f' v3.5.1　数据的冗余存储　50

3.5.2　数据存取策略　51

0 P3 ]. G8 g% V4 ]3.5.3　数据错误与恢复　52

3.6　HDFS的数据读写过程　53
* `5 d: J# b4 {
) i! e3 t& `- q7 _( P3.6.1　读数据的过程　53
4 }8 }- F7 Y. @8 |5 |+ M
/ K4 w: d5 A7 ?5 T  X8 @1 v3.6.2　写数据的过程　54
$ }6 Z% U/ n9 E0 N+ i7 C
; Y  z3 p  B, i- M3.7　HDFS编程实践　55

4 Q. F8 @  V$ g( h3.7.1　HDFS常用命令　55

7 z5 H2 Y- ?$ F7 ~3.7.2　HDFS的Web界面　56

3.7.3　HDFS常用Java API及应用实例　57

3.8　本章小结　60
6 c/ u9 l1 }" k/ X
! k( X% \( C; Q; T, U( w7 o+ ~$ U2 v2 n3.9　习题　61
$ E- G) r1 A7 t5 L* t. _& y
/ M; ~: e2 `$ h& r% E9 N8 F2 a实验2　熟悉常用的HDFS操作　61

第4章　分布式数据库HBase　63
, q5 j& R" z( `+ y/ j
4.1　概述　63

4.1.1　从BigTable说起　63

) L  L6 k9 z  g- e; S* ?4.1.2　HBase简介　63
5 t  r8 `. ]! n8 M2 O
4.1.3　HBase与传统关系数据库的
/ Q, S2 G6 f; }: a- E) r
对比分析　64
+ A  g# i: _% v* D
4.2　HBase访问接口　65

4.3　HBase数据模型　66
4 R, I. s, ?# Q1 h% _7 k
( C% _" R+ |6 O9 X. q. C4.3.1　数据模型概述　66
  O( c. S: A, t1 d. j( a# y
4.3.2　数据模型的相关概念　66
) e7 a& Z6 b" r% e
2 ]. i1 A" d" ]* g4.3.3　数据坐标　67

4.3.4　概念视图　68

4 O+ n; P4 d- ~! s4.3.5　物理视图　69
& }1 a/ u4 j$ o
0 l' L+ c% T0 w: k* A& F4.3.6　面向列的存储　69

9 l: M% o  q( e9 @! H: a+ c5 t4.4　HBase的实现原理　71
1 Z) G# r' z4 b) A3 I4 [' T/ N
4 v+ B5 ]& m2 T4.4.1　HBase的功能组件　71
9 `' _6 i' j$ N9 R" y
, S% ~7 ^9 @9 ~) R: {4.4.2　表和Region　71
- b/ ?" R6 K/ B7 e" F: U% c( i
) C! j1 l  e8 P' Z4.4.3　Region的定位　72

4.5　HBase运行机制　74
, E) Y# l. T( H" Q; @
4.5.1　HBase系统架构　74

4.5.2　Region服务器的工作原理　76
9 U* a3 o* _/ ~! s( B0 Q, E6 m  j8 [
4.5.3　Store的工作原理　77

4.5.4　HLog的工作原理　77

4.6　HBase编程实践　78

7 C' T9 Y2 f$ G6 N4.6.1　HBase常用的Shell命令　78
% B- {7 Q7 E  @$ x% o; D8 @: ^4 w
0 h( S! I" h; A, X; c& ?. x4.6.2　HBase常用的Java API及
1 E8 I9 a4 `" n* N( ^6 ]0 Z" a
) R% J/ g2 h) }* }; q应用实例　80

4.7　本章小结　90

4.8　习题　90
/ X$ d1 S0 G1 J5 V, g3 ~8 o, Q) \. j
1 A5 K: U2 _) {实验3　熟悉常用的HBase操作　91
9 H9 _  `2 k# w+ W) G2 E) I! ]% p
第5章　NoSQL数据库　94
" M( ^. O9 s0 j5 B, y3 I8 a7 _: Q
5.1　NoSQL简介　94

5.2　NoSQL兴起的原因　95
# W( U/ @( I% W0 [+ F; W
5.2.1　关系数据库无法满足

4 A: F$ q6 D/ y3 G3 VWeb　2.0的需求　95
0 _$ X* \+ i$ C+ n; `
5.2.2　关系数据库的关键特性在Web 2.0时代成为“鸡肋”　96

& t; \  q+ e- b: E1 }$ y& S7 c5.3　NoSQL与关系数据库的比较　97

5.4　NoSQL的四大类型　98

3 w; d, N/ T2 {! N+ P8 h5.4.1　键值数据库　99

- j2 N: @6 R' [" X% p5.4.2　列族数据库　100
* X0 @2 ]. w7 {  ~, ]! q' l2 \# M
$ k& s9 B& V" T2 I9 e% M. D5.4.3　文档数据库　100
" c# S8 p, ~' \) [8 i
5.4.4　图数据库　101
3 D; V: ^; b9 [' b# \
1 m, f7 N: k- ^4 @0 r5.5　NoSQL的三大基石　101
# T. d, m8 k" U
$ U' T/ _, c2 E: X4 a2 ]5.5.1　CAP　101

2 x% Y' H) N5 Q7 D5.5.2　BASE　103

5.5.3　最终一致性　104
- o6 F( Z$ n5 ]
5.6　从NoSQL到NewSQL数据库　105
1 f* E4 k4 J9 q- e$ `1 G% T
$ _$ V5 g2 }: ?4 o) ^5.7　本章小结　107
0 [% ^. o" P6 ^( _$ Y8 c7 @8 |
: J1 u' s2 ~5 [5.8　习题　107
' s2 E  G. k( B. J3 P! ?
5 |( {; D5 ~( I( p; k! }3 `/ d& k第6章　云数据库　108

0 \; |& V% ^( A, P6.1　云数据库概述　108
/ b7 e) F% |: e! \& s, e0 _& u
6 E" H" F" C. b8 v3 F: E6.1.1　云计算是云数据库兴起的基础　108

5 P, Z, x) S" w( t6.1.2　云数据库的概念　109

1 A% v" ^; L+ a6.1.3　云数据库的特性　110

4 ]- k3 T3 G' l2 L6.1.4　云数据库是个性化数据

2 z& Z5 W  h, X- C- u# \4 \! ]存储需求的理想选择　111
: |6 q& F" Q5 l8 I
4 {: R. Q1 q" u. T& _- [( f$ x5 `6.1.5　云数据库与其他数据库的关系　112
! Y1 h( \3 g0 j; P# ^, ^% k
( a& L6 V& c; w* p1 x5 M$ P( K0 E6.2　云数据库产品　113
& H. G9 ^4 w1 u$ S3 u% {. q1 Z
6.2.1　云数据库厂商概述　113

6.2.2　Amazon的云数据库产品　113

6.2.3　Google的云数据库产品　114
/ l/ z1 e* C, w4 h5 N; y
6.2.4　微软的云数据库产品　114

6.2.5　其他云数据库产品　115
; f! [% A7 ^3 t3 I
6.3　云数据库系统架构　115
  C/ G8 C; X1 i( C2 V" n1 D
0 p: ^& V' T9 T6.3.1　UMP系统概述　115
  O3 S" R* D5 u) g
6.3.2　UMP系统架构　116

0 \$ J& d9 V9 w/ |6.3.3　UMP系统功能　118
+ S& t- u/ n# }3 G
6 w; f; y+ X* S6.4　云数据库实践　121

6 r" I0 B7 {- I6.4.1　阿里云RDS简介　121

6.4.2　RDS中的概念　121

6.4.3　购买和使用RDS数据库　122
7 u) R+ u( ?7 M0 X1 b! |( L6 V8 `! G
9 r& h$ E3 a% K! I5 t& X$ s; P6 R1 ^* }6.4.4　将本地数据库迁移到云端RDS
2 k/ G5 h! D5 R8 P; x9 l% s% u/ C
数据库　126

% V4 n. U4 N% [( O8 F. P6.5　本章小结　127
) d7 K( ?# s# V0 l+ z3 e4 h) ?
6.6　习题　127
  y9 G! j5 g4 c+ Q4 M+ ~
实验4　熟练使用RDS for MySQL
4 z7 m# V2 ~% O8 `4 H' Q- j
. k7 C) Y3 e7 v! M1 P数据库　128

1 \3 Q$ [' r. ~: L9 j

( h* T' Z: g5 s+ d第三篇　大数据处理与分析



第7章　MapReduce　132

# O/ z% D9 f; Q" W1 X9 p4 I8 x- o9 z7.1　概述　132

7.1.1　分布式并行编程　132

7.1.2　MapReduce模型简介　133

7.1.3　Map和Reduce函数　133

' `: U1 x: R* V! W0 d7.2　MapReduce的工作流程　134
  o: i, G, J- [2 }
7.2.1　工作流程概述　134

7.2.2　MapReduce的各个执行阶段　135
2 o( n) [5 V& b8 C6 t1 a
. e6 s% ]& k! k7.2.3　Shuffle过程详解　136
% ]- D+ D9 Z, q7 r
7.3　实例分析：WordCount　139

) E" D- z; R5 K7.3.1　WordCount的程序任务　139
# e5 l7 f2 L9 L# Q2 e
7 l/ Y6 }3 y' s* C- ~7 |7.3.2　WordCount的设计思路　139

) C& [3 K# s0 C2 \* g7.3.3　WordCount的具体执行过程　140

7.3.4　一个WordCount执行过程的
. A" Y" u5 v; ]
5 g. w9 ^, L7 |/ S, J- S  _实例　141

! o; l" x2 X; R) J- Y7.4　MapReduce的具体应用　142

" x- k" u/ a  z* C  v7.4.1　MapReduce在关系代数运算中的应用　142

$ @3 {) L0 u& z3 P2 G- e5 O7 [7.4.2　分组与聚合运算　144

# g! ?+ v/ A3 U  ?. b: R: n7.4.3　矩阵-向量乘法　144

4 e7 P/ J0 z% [8 I: ?9 R7.4.4　矩阵乘法　144

6 k/ ~/ g# O/ g' ^/ d7.5　MapReduce编程实践　145

7.5.1　任务要求　145

7.5.2　编写Map处理逻辑　146

1 v6 @) F* f: V+ Z' v$ k4 b7.5.3　编写Reduce处理逻辑　147

/ S# }9 O6 M1 Z7.5.4　编写main方法　147
# @. }) ]; c" A$ B% R/ D) Y& E7 {
7.5.5　编译打包代码以及运行程序　148
2 l" f+ C% D  H6 R/ X
7.6　本章小结　150

7.7　习题　151

实验5　MapReduce编程初级实践　152

; }: J5 y  y0 I+ L$ I& f, O第8章　Hadoop再探讨　155

8.1　Hadoop的优化与发展　155

8.1.1　Hadoop的局限与不足　155

8.1.2　针对Hadoop的改进与提升　156
  }! P9 a, j/ y% {9 R; A8 W
8.2　HDFS2.0的新特性　156

  k$ n  ~& u$ `- H" t8.2.1　HDFS HA　157
2 O' L- k& \9 k& g8 k; O
# \) b. g& c: D5 m8.2.2　HDFS联邦　158
0 x9 Y, ?# t( {$ f3 p, g
/ [4 t3 _) W! ~0 R8 W7 H* d8.3　新一代资源管理调度框架YARN　159

. @: ]9 b, m; [3 B, X6 `2 J1 i, ?8.3.1　MapReduce1.0的缺陷　159
) f1 u7 G. Q/ d2 b; X& d
0 f8 m9 q5 ?( b7 q  G$ m8.3.2　YARN设计思路　160
0 I8 s+ g( o, g2 i" \9 T. ~3 [7 `
- Y" T3 o- Q- z3 s8 `2 C6 B8.3.3　YARN体系结构　161
. ^7 x2 K5 X. h
8.3.4　YARN工作流程　163

1 `4 f! E- z, F) K- Y& ?( h/ c8.3.5　YARN框架与MapReduce1.0
7 c9 o. S4 f! }7 c7 z5 y
7 {  I) ]  m. ~. G( r8 K5 a; h; p框架的对比分析　164

% m1 Z# R; p7 w9 @/ Y* W) o/ m8.3.6　YARN的发展目标　165
4 n& ^" q& K8 D( {* v, W; o
8.4　Hadoop生态系统中具有代表性的

功能组件　166
8 e! j3 V7 q0 A. ]7 F
8 U. d6 p. m1 P4 n8.4.1　Pig　166
, y4 D1 k' Z5 Q" ^9 Z
! F  Q7 _% u+ P$ Q/ L8.4.2　Tez　167

- L5 L) [9 ~' Q% H5 \. z8.4.3　Kafka　169
8 [" m- ?: G8 z) v8 H" ]' y2 P! f
% P: [+ E" e" o6 e% E- u8.5　本章小结　170

0 }8 r9 w2 l- H. W) H2 x8.6　习题　170
* j% u1 C6 ~. b$ c3 p" }7 m
第9章　Spark　172

" Z5 r% B9 u1 }* x9.1　概述　172
1 P% b8 S+ y5 n. X
9 _; H, t3 P( \9.1.1　Spark简介　172

9.1.2　Scala简介　173
* `2 \) X# N# P' Y7 A9 B
9.1.3　Spark与Hadoop的对比　174
, H5 W) d6 z: o& F0 j0 ?- u) V
5 c9 j, _0 G: ^; b0 d, k! Z9.2　Spark生态系统　175
" R3 M1 l6 n" x  ^! Q0 J
6 C" S$ ^; @# v$ k9.3　Spark运行架构　177
2 ^" K% M) V* r) \8 C. g( [. `
9.3.1　基本概念　177

9.3.2　架构设计　177

9.3.3　Spark运行基本流程　178
- j6 G4 y5 j* a  X% M# p: z
# k9 U- @- c! v+ Y8 o* s8 D9.3.4　RDD的设计与运行原理　179
' v0 g! \. i0 F8 y) E
' X: z! x! [3 u9 O% s0 Z9 W. T9.4　Spark的部署和应用方式　184

9.4.1　Spark三种部署方式　184

; N2 y, E& l/ e2 R0 c( M9.4.2　从“Hadoop Storm”架构转向
; H6 D4 q# F5 ?6 l" e6 b  z
/ y" Y7 {  G- K$ @. oSpark架构　185
( x) z; H$ {3 N/ c) }4 ~/ F
9.4.3　Hadoop和Spark的统一部署　186
  Q# f+ m# }' |( N
& M1 {* k/ f! n0 s9.5　Spark编程实践　186
* e# ~5 F  _1 t, ^
6 |# ~! U. O% \9.5.1　启动Spark Shell　187
  x) c0 d! Y! J8 a6 }. L
& W3 v5 g6 d  O7 J( h9.5.2　Spark RDD基本操作　187
% E" P7 K2 U4 a- i6 K' z
* ?5 B: c0 w1 o- w5 o/ r8 ]9.5.3　Spark应用程序　189
! D( J# b' z' l3 Y7 X6 _
4 w0 z  a& F! U' x% {# @9.6　本章小结　192

, q" w: P0 n5 `9 V. q2 W9.7　习题　193
9 s! ?6 s. [; t
+ ]  |5 x0 V8 u/ ^. `- U! `. e! |第10章　流计算　194
: x* }/ i9 f" u- W
- t- S( x: ]# w, ^  ?10.1　流计算概述　194
1 T% n: o$ {$ H, b+ o
10.1.1　静态数据和流数据　194
- i' `3 Y$ P) z) w1 o5 W
1 `  G7 t, _$ E5 ~( T" l10.1.2　批量计算和实时计算　195

10.1.3　流计算的概念　196
" j1 A& o9 s# O9 U% v; r3 v
$ ^$ \2 o7 C% P& q. j7 q8 F4 V1 h10.1.4　流计算与Hadoop　196

% @' }4 Y0 n! a$ A& H. ~10.1.5　流计算框架　197

0 O/ H/ C# Z2 Z* H10.2　流计算的处理流程　197

( q0 f, r7 A; h0 ^6 I2 R5 f10.2.1　概述　197

10.2.2　数据实时采集　198
" s# m7 R- I$ h% p
2 L  ~( O3 K$ ^$ k/ G0 d1 t10.2.3　数据实时计算　198
& i6 c. g, w6 v$ `$ W2 j/ Q* s
- A, f1 v/ e: S10.2.4　实时查询服务　199

10.3　流计算的应用　199
# @$ @, ]# g, |8 v6 j
10.3.1　应用场景1：实时分析　199
+ ~$ @& Z0 k: b1 N; {5 Z
4 X1 }8 ]$ x  M! ^; W, I10.3.2　应用场景2：实时交通　200

10.4　开源流计算框架Storm　200
. o- I" e  E: Q
) q/ c7 n  q6 j: ?/ K6 o10.4.1　Storm简介　201

+ A7 n+ @0 E* t3 g0 m: o, n10.4.2　Storm的特点　201

. w+ J4 X! A+ j/ G3 K7 ~' G$ r10.4.3　Storm的设计思想　202

10.4.4　Storm的框架设计　203
4 F7 H4 O7 `$ m4 ?" y6 a+ K1 m% ]
10.4.5　Storm实例　204
) n! `5 V2 ~  q7 p$ H: H0 Q
10.5　Spark Streaming　206
% T0 v/ k  q/ |6 A* z
8 V/ M3 s- u: L" n( ?& f10.5.1　Spark Streaming设计　206

10.5.2　Spark Streaming与Storm的
3 z9 M) Z, W& O9 H; P# ^' R
对比　207
' v- q* R; j) U6 i% n8 {
7 V7 X) H1 j. u1 E% B7 {10.6　本章小结　208
0 l; A$ S6 M: A2 B
10.7　习题　208
) @/ i, E+ [2 G$ P! G6 U. G0 ]6 O
- o% S( V  b+ K' }# k第11章　图计算　210
6 T4 E6 Q/ _- R  o2 O, I
7 @7 c" x$ u- v7 V' n11.1　图计算简介　210
! N$ ], O$ C/ `1 j
$ Z& _( f8 B6 k1 C11.1.1　传统图计算解决方案的
% G7 V4 q- ?% t+ q- Z
　不足之处　210
) z8 E) l! H3 q9 j' d  F) ?% L4 w
2 F* C' h  o6 f11.1.2　图计算通用软件　211

11.2　Pregel简介　211
+ Q  K% |; D& A, `. i
11.3　Pregel图计算模型　212
: K/ z5 S  W  ?& S0 n9 _& P
11.3.1　有向图和顶点　212

11.3.2　顶点之间的消息传递　212

11.3.3　Pregel的计算过程　213
1 G5 }0 k! c9 N  C+ T, `
11.3.4　实例　214
  X3 Q# O( g' x9 {* \; g' k
; J9 r. Y1 \; [, c11.4　Pregel的C API　216

11.4.1　消息传递机制　217
8 N- g9 ~( E: r* w+ ?3 I& h
11.4.2　Combiner　217
" H* ~/ O* P# D/ u" G
- ?& v/ }1 h6 h5 c$ V3 W11.4.3　Aggregator　218
: J& e. A' x9 ?/ W; y
5 G; L5 [8 ?. M4 f1 h11.4.4　拓扑改变　218

11.4.5　输入和输出　218
( F4 B  [. k: p
11.5　Pregel的体系结构　219

11.5.1　Pregel的执行过程　219

11.5.2　容错性　220

11.5.3　Worker　221

- K/ ~$ O: |' B6 o( b8 W8 S11.5.4　Master　221

11.5.5　Aggregator　222
; d% y# G. N' M- t1 j: ]# x1 g( Q% I
11.6　Pregel的应用实例　222

11.6.1　单源最短路径　222

6 h7 y' _! W1 j% h) X( I% P& v3 M11.6.2　二分匹配　223

2 s& B# e6 h: G( |11.7　Pregel和MapReduce实现PageRank算法的对比　224

11.7.1　PageRank算法　224

11.7.2　PageRank算法在Pregel中的

3 j( Y& D: z. ]% X实现　225

" P3 A! L& i3 q, {, `4 Q11.7.3　PageRank算法在MapReduce
# S# i# P8 L6 M9 y
3 q$ Q( {0 O/ E6 F6 t, v" ]中的实现　225
) k5 w9 J( E; G" @0 Q  A& {* x9 r" L! ^
11.7.4　PageRank算法在Pregel

和MapReduce中实现的比较　228

11.8　本章小结　228

11.9　习题　228

: @/ [# C! v7 j第12章　数据可视化　230

12.1　可视化概述　230

: u/ h1 q% p- ?12.1.1　什么是数据可视化　230
( ^! o& x  ?( v5 a
12.1.2　可视化的发展历程　230

; Z6 y/ A3 ~& x& E& `12.1.3　可视化的重要作用　231
& G8 d6 h- U' o1 r7 ]  l
12.2　可视化工具　233
3 ~% q+ T) F, }( P1 `( H5 k& K
12.2.1　入门级工具　233

12.2.2　信息图表工具　234
  b8 L5 N* F6 L
12.2.3　地图工具　235

# E  \" E5 R* _: m; A12.2.4　时间线工具　236

12.2.5　高级分析工具　236

12.3　可视化典型案例　237

) e1 {+ k0 c" T" p12.3.1　全球黑客活动　237
- g7 Q7 V. c2 B1 E. B" q
12.3.2　互联网地图　237
' _. o2 `% F2 |$ e: [9 P- |4 p
3 _4 E; |& }7 p, b+ z7 G. l& d4 k12.3.3　编程语言之间的影响力关系图　238
# C. _$ d  ^- \, N& r2 M
12.3.4　百度迁徙　239

12.3.5　世界国家健康与财富之间的

关系　239

12.3.6　3D可视化互联网地图APP　239
) Q3 b& {: a' E. `
12.4　本章小结　240

% b3 n  G) P* L! H. q12.5　习题　240

/ @6 o/ R  q8 e+ r

/ H0 ~- a0 |, W" S第四篇　大数据应用
# q2 y# l' `3 D/ s5 i4 n! B+ p- ^


2 g, f6 ~8 K, Q. y第13章　大数据在互联网领域的
% D. m# d6 `& x$ R
应用　242
+ x. Q7 q  `" i6 e! S7 V4 g- q$ T
13.1　推荐系统概述　242

6 Z& T$ i- O1 D3 y13.1.1　什么是推荐系统　242
, M6 w1 x- q- ]
13.1.2　长尾理论　243
0 K) B1 P3 u3 q: K3 X+ k
13.1.3　推荐方法　243

13.1.4　推荐系统模型　244
  R- t) R, _& j# H3 D% S
% w% a9 {! |. j& r: ?* c1 K13.1.5　推荐系统的应用　244

13.2　协同过滤　245

13.2.1　基于用户的协同过滤　245

/ ^2 M5 C: i) p/ m# x& F13.2.2　基于物品的协同过滤　246

13.2.3　UserCF算法和ItemCF算法的
! M6 e/ P$ o& V/ T$ e# S4 r
对比　248

13.3　协同过滤实践　248

; d* o% o7 R: U- {- ~; X( q13.3.1　实践背景　248

13.3.2　数据处理　249

13.3.3　计算相似度矩阵　249
5 S* _8 C, @0 C0 v: H
13.3.4　计算推荐结果　250
2 b# c5 H8 u3 R" [: ~0 r
" A1 m# h4 m! k1 p13.3.5　展示推荐结果　250

13.4　本章小结　251
" ~0 ?4 |2 [* ?7 e
13.5　习题　251

! Y) f) w+ v' `4 d! S- b" x6 H$ e. i第14章　大数据在生物医学

领域的应用　252

14.1　流行病预测　252

4 m' o0 F6 Z; L+ J# W* W14.1.1　传统流行病预测机制的不足　252
5 `( T# O8 S: M7 h+ W
14.1.2　基于大数据的流行病预测　253

14.1.3　基于大数据的流行病预测的
' M1 T0 E+ Q( n: g' R( _
重要作用　253

14.1.4　案例：百度疾病预测　254

+ ?( ]* Q% k, D/ H' N14.2　智慧医疗　255
# ~! ?7 ~. s+ @. e. l+ d& i, e
14.3　生物信息学　256

. t! C6 }. v2 _* M; g" S0 x4 v14.4　案例：基于大数据的综合健康服务

平台　257
8 _9 U" [; ?" Z, C! B: D6 n
14.4.1　平台概述　257

7 _6 y' A! ^2 I2 w3 D14.4.2　平台业务架构　258
/ Z9 I( X3 X4 w2 J  e& R
14.4.3　平台技术架构　258

14.4.4　平台关键技术　259
; |" x: y5 K2 W0 K, m5 S- q
14.5　本章小结　260
: d7 d9 G8 A" ?. W0 m. W4 R
/ r; b8 g5 t9 {, a- o2 x- @6 T14.6　习题　261
* a6 s6 ?. S0 l8 A7 V6 |
" h5 }* g' ?, f3 X$ c5 M- I第15章　大数据的其他应用　262
& `+ |6 M' D8 c0 W( v6 ^3 g
15.1　大数据在物流领域中的应用　262

( u- L) u; A( Z# u8 s3 m15.1.1　智能物流的概念　262
- S+ Y# F; }( O) {% G. E1 u7 [
15.1.2　智能物流的作用　263

* d+ Q9 H& g$ ?) J15.1.3　智能物流的应用　263
* b) t$ y% m. G5 Z
15.1.4　大数据是智能物流的关键　263

* _3 Z; x2 K+ M4 L15.1.5　中国智能物流骨干网—菜鸟　264
# a& k' N( K7 O: J9 c5 s/ w
8 m& n+ H4 A7 R* l; R1 |# D15.2　大数据在城市管理中的应用　266

- y: [, f5 a8 R$ E6 L$ r) t15.2.1　智能交通　266

9 F8 i: U3 p$ n$ o4 z5 |15.2.2　环保监测　267

15.2.3　城市规划　268

8 _" g+ }1 W; v, A' a15.2.4　安防领域　269
$ V# B4 k3 v8 \% _9 _  s
% }/ V6 Q+ B) V$ z$ A8 k! J15.3　大数据在金融行业中的应用　269
8 t9 |5 M, R2 j+ a9 q
15.3.1　高频交易　269
6 j4 I! G! J- e2 ~+ U
15.3.2　市场情绪分析　269
: i6 ?, p* F: F' v- ~* f8 \  O6 s
15.3.3　信贷风险分析　270
; I$ O0 g" Z' U; ]2 V! ^
7 c7 }" F& C& ]3 W: q15.4　大数据在汽车行业中的应用　271

- S# ]7 x: r8 W" D9 P0 c15.5　大数据在零售行业中的应用　272
: P$ k: N# B8 X( x, i) \
15.5.1　发现关联购买行为　272

$ O- b5 u! `9 |" _5 H# e8 Y5 z15.5.2　客户群体细分　273
' B6 \5 B. L+ a5 ^
, x  N2 m& {% r8 @15.5.3　供应链管理　273
4 \. R, }: X* `8 Z
15.6　大数据在餐饮行业中的应用　274
) W3 S( S' D* k5 E* j" c# a
15.6.1　餐饮行业拥抱大数据　274

15.6.2　餐饮O2O　274
0 b( i( F3 p. T" s
15.7　大数据在电信行业中的应用　276

6 G- Y; L; D3 D' e  j! |15.8　大数据在能源行业中的应用　276

5 C' k7 v8 w. @& V: S# k+ t15.9　大数据在体育和娱乐领域中的
. V& _2 r% ]8 L1 o" j0 J
应用　277
9 Y9 c( D; Y6 E0 \( l9 \
( [. W5 T4 q) z% I- w) e; x' l15.9.1　训练球队　277
' ^7 p9 ^9 c/ M6 u. P; v3 {% B3 T
% c5 G6 @' Z& G4 l6 E% H15.9.2　投拍影视作品　278

& l1 u7 |2 g& }4 z! _15.9.3　预测比赛结果　279
3 t) `/ ?3 @/ h* O
, ^7 ~% [0 Z6 _" _8 Y& C# L15.10　大数据在安全领域中的应用　280

2 M. W9 z  b+ m& V: x7 H15.10.1　大数据与国家安全　280

15.10.2　应用大数据技术防御

% D" S( @6 ]4 N' v3 i( {& ]网络攻击　280
- \- c7 N3 b  L) o; E" x6 U. k
0 s0 Y/ Z2 k9 T. P! ]15.10.3　警察应用大数据工具

: t, d: U+ k/ j& @: ?4 f# U预防犯罪　281

) ^# H( ^0 x! H0 Y  ?9 x! S$ \) Q6 F. M15.11　大数据在政府领域中的应用　282
0 E0 n) U1 f# S( _4 ~
15.12　大数据在日常生活中的应用　283
( H* E( c% }) ^4 H! u3 V& m
/ Z+ g& p9 M6 v: O' i15.13　本章小结　284

15.14　习题　284

8 j: m: i8 j+ ^/ \6 I" A参考文献　285
9 c) I6 U. {2 T3 A
& `, s$ A2 i* Y. A7 ^; c- g( d2 hJava资料百度网盘下载地址链接（百度云）：java自学网（javazx.com） 大数据技术原理与应用（第2版）  PDF 高清 电子书 百度云.rar【密码回帖可见】

游客，如果您要查看本帖隐藏内容请回复

2 H% ?# _  J( X* _% Z
3 s! K4 A2 D( U" j# k$ ?

qq285181913

不错好资源 可以用

ACBest

Java电子书 不错

qq287732322

你好你好啊

asddsa12345

顶顶顶顶顶顶顶顶顶答辩

junziqiang

顶顶，多谢分享

513614324

感谢，正好需要第二版的电子版

skyoung

不错好资源 可以用

J1995

感谢分享啊

jhz319

感谢感谢，下载下来试试看

gyxq

的顶顶顶顶顶顶顶顶顶顶

qq285181913

谢谢你的分享