TA的每日心情 | 开心 2018-4-8 22:14 |
---|
签到天数: 1 天 [LV.1]初学乍练
普通会员
- 积分
- 5517
|
java自学网(www.javazx.com)-java论坛,java电子书推荐:《 Spark大数据分析技术与实战》5 E! e" G1 f6 r; B
java电子书推荐理由:本书适合: 大数据技术初学者阅读; 作为高等院校计算机相关专业的研究生学习参考资料; 所有愿意对大数据技术有所了解并想要将大数据技术应用于本职工作的读者阅读。
" v9 K; [) ^ B- T6 r. P2 n
/ N1 M! z- ~1 ?, A* Y; v- x9 y作者:经管之家5 {7 b4 ~ V* i2 H0 s
出版社:电子工业出版社; w. @7 k& O) l. K$ p
出版时间:2017-07-01
( j: `# z" M" P5 l1 R书籍价格:56.10元
& f- h* ~6 K! m2 g+ f/ u/ k8 \
1 n5 t( S: O' C; K8 D8 g" g' `- H8 }% \/ P
* U8 A3 e# A! C9 T; K8 m+ S! z! _8 b! H. _5 {( `& S5 |
java电子书目录:
. D: ]+ \; Y9 i$ _( f9 ]9 B; W第1章 Spark导论 1. i8 N% z! ?9 G5 a
1.1 Spark的发展 2# Q- I: e- y# j/ d. t h$ h/ Q
1.2 什么是Spark 3
J0 |# [ D" A) y1.3 Spark主要特征 3" H9 @2 X4 h0 `' \
1.3.1 快速 3& L7 j, l0 m3 E3 o
1.3.2 简洁易用 5
6 B* A' N$ d0 p$ Z F1 P1.3.3 通用 69 _4 [* v8 V2 p2 W0 |
1.3.4 多种运行模式 85 ?& ]; i; c2 D
第2章 Spark集群部署 9
2 i$ C* c: R9 X2 c& Y2.1 运行环境说明 9) R& T8 w: ?/ z& ]
2.1.1 软硬件环境 9
3 s+ H7 j5 c8 k% p- |4 R, s6 s% U2.1.2 集群网络环境 10
; w( X1 h; E9 [4 m: X2.2 安装VMware Workstation 11 10
# N8 d0 t+ i- [2.3 安装CentOS 6 16
3 [7 P }8 |; c( N- e0 S6 P* r/ S2.4 安装Hadoop 21
2 Q, E& N0 G1 q2.4.1 克隆并启动虚拟机 21
) C1 J4 w1 c8 K; v r8 x5 S" [2.4.2 网络基本配置 249 v* y) Q! W5 V# Q1 o1 X
2.4.3 安装JDK 27" y0 j% h* E( ]' A0 c4 Y {
2.4.4 免密钥登录配置 288 P s3 L! Q: ^, x5 a k/ ^
2.4.5 Hadoop配置 293 a. K% h) `' N& S
2.4.6 配置从节点 332 ?5 `/ {! b' @4 O' B$ E+ U
2.4.7 配置系统文件 33
& h6 `4 G. a- ^( B9 U) }6 e2 g2.4.8 启动Hadoop集群 33' B: A* x, k4 t3 J T: z7 y0 E7 I1 Q
2.5 安装Scala 35, r( }8 k% j, g1 m( q: `4 D r0 g: s
2.6 安装Spark 364 a8 G/ y8 V) u* A/ ?6 }* L
2.6.1 下载并解压Spark安装包 36
$ U8 {/ P: `& W2.6.2 配置Spark-env.sh 37
5 z' `7 X2 \, D& G- o' Z+ X2.6.3 配置Spark-defaults.conf 37# |! l2 Z4 K; T% e& s# @3 r) X$ U
2.6.4 配置Slaves 38+ I9 J( O. l7 c0 ]/ o3 L$ D
2.6.5 配置环境变量 38
/ l5 N. q {( I- v2.6.6 发送至Slave1、Slave2 39" x, _) |4 F5 o; K' e5 ?
2.7 启动Spark 39
7 \/ p' t8 F% V# P第3章 RDD编程 42
6 f1 | ^, [+ J7 Z3.1 RDD定义 426 S& `. c7 `) c9 k! }2 V4 ?' ~
3.2 RDD的特性 43' z9 t8 Q0 ^" l8 p: ?. g
3.2.1 分区 43
. h/ z3 Q( P1 m; I( G3 g. Y" p4 V9 O3.2.2 依赖 44
, _0 }8 B% l2 H3.2.3 计算 45
$ U/ {' z" N+ `1 l( r0 k/ m( g+ z3.2.4 分区函数 45
# R- s2 e1 Y5 N6 x% h$ v2 u3.2.5 优先位置 465 L) f6 |6 t# J' U& I
3.3 创建操作 461 F; p" N( N. m: V: n, ?5 f0 J
3.3.1 基于集合的创建操作 47" E9 |' W/ R0 @! N* V; d& ~
3.3.2 基于外部存储的创建操作 47
8 U ^% N/ }, B/ O* I* \3.4 常见执行操作 49+ h* [ _& c9 j5 L6 p2 n6 w
3.5 常见转换操作 49" q5 W# F a3 ` b$ x0 ?
3.5.1 一元转换操作 50) b# g: \4 n& |! e* g6 ~
3.5.2 二元转换操作 53* p1 B& ^* Y( e* S! O- A0 _; J
3.6 持久化操作 56' ]. P7 `5 P: w- E7 p
3.7 存储操作 58
$ u1 ]9 n/ {# v1 V" }7 D$ a' x第4章 Spark调度管理与应用程序开发 59
- S9 `6 S3 |" O% W( Z* R/ t- F4.1 Spark调度管理基本概念 59/ k$ N7 j8 k( {! y$ c$ [' `
4.2 作业调度流程 60
, J M8 ]# Q. _4.2.1 作业的生成与提交 614 l6 Q3 ?3 K i0 ]1 t, {: ?( l, W
4.2.2 阶段的划分 62$ S- U" `$ X7 [
4.2.3 调度阶段的提交 62
* T! J5 y9 K- E6 g4.2.4 任务的提交与执行 62
m k& J9 @) {1 E! G. Q- f8 H4.3 基于IntelliJ IDEA构建Spark应用程序 64: T* ^8 l' c, M7 ~! L Y- s5 e6 X5 u3 H
4.3.1 安装IntelliJ IDEA 64 L9 L1 f8 G1 i5 N) o' t0 i
4.3.2 创建Spark应用程序 70. `, P* {8 _0 U
4.3.3 集群模式运行Spark应用程序 810 p0 P$ O8 ?# t) t
第5章 GraphX 878 @" ~+ L4 o1 b' a) N, O
5.1 GraphX概述 877 r* I; j5 c( ~* E3 G+ K2 d( B
5.2 GraphX基本原理 890 ~/ l1 V# @2 i6 a
5.2.1 图计算模型处理流程 892 Q0 Y( _+ h r) w
5.2.2 GraphX定义 90( Z9 g5 V4 W& n8 i/ L7 S! j
5.2.3 GraphX的特点 90$ }. k! f5 B& M0 m, Q. z/ j
5.3 GraphX设计与实现 91
9 r1 D9 f9 S% s2 y; Q5.3.1 弹性分布式属性图 91" j- L- @/ ?) n7 {# X
5.3.2 图的数据模型 923 w6 M- [% x5 f* N( B: w2 N: i
5.3.3 图的存储模型 949 Q" f% H) u8 P- ?. v: Q1 J1 N" e
5.3.4 GraphX模型框架 97- ^4 k( ~ ]! t% `# j' A
5.4 GraphX操作 972 J' ^ I& m# y6 \' R8 r
5.4.1 创建图 97
- U0 G8 ? u: \& C0 |, R5.4.2 基本属性操作 100
& @' I4 J8 c# d8 }$ C* t5 w5.4.3 结构操作 102
5 n4 R# N0 I, r" g$ {9 V5.4.4 转换操作 103
- j, s! V% k0 m! W0 X% h, g% b5 M# ~5.4.5 连接操作 105
& p% a/ Z- G* U& {) Z; y5.4.6 聚合操作 106. x9 n* S9 A7 ?2 K0 P+ V$ P
5.5 GraphX案例解析 1076 ~ o4 c X5 p& }
5.5.1 PageRank算法与案例解析 107# D ]% T( u: @- Q- z
5.5.2 Triangle Count算法与案例解析 110
0 {8 o3 `" u& b6 v/ [8 t! h第6章 Spark SQL 113. E: l$ t: Q7 i; W7 F% x# W
6.1 Spark SQL概述 113
7 ?# j' Z( ~ D0 B" v6.2 Spark SQL逻辑架构 116
4 Y7 a P' S% U( e, V4 ~6.2.1 SQL执行流程 116! E8 r7 Q: T2 G' j, r$ r
6.2.2 Catalyst 117
! |" Y, ^8 \9 E5 g; ]6.3 Spark SQL CLI 117. G8 R0 ~, v* z" g J& `
6.3.1 硬软件环境 117# [* q) L; A8 d( |
6.3.2 集群环境 118
1 w! X- [2 Q4 `1 ^' B& @6.3.3 结合Hive 118
2 ?8 m/ r6 F: L6.3.4 启动Hive 118
3 |$ B4 K; c* G8 b6.4 DataFrame编程模型 119
6 U# `4 x& M2 F T4 m6.4.1 DataFrame简介 1190 Q7 b8 J" _2 c: k
6.4.2 创建DataFrames 120
0 \- E& M9 S# A6 n6.4.3 保存DataFrames 126
7 ?3 R' k& B1 e% P5 @6.5 DataFrame常见操作 127- J! X$ Y O2 p( h1 {! H5 `7 T
6.5.1 数据展示 1276 J* i: i" a4 M' V- A
6.5.2 常用列操作 128 Z6 b: K) I2 Z" }8 f' D2 P; G
6.5.3 过滤 131
0 e. U: t4 X4 |$ {6.5.4 排序 132
8 N( B1 v2 v2 y3 d' v+ }* G. i6.5.5 其他常见操作 134' S& e7 M* ]/ R
6.6 基于Hive的学生信息管理系统的SQL查询案例与解析 137
5 K8 o* ?& h/ P+ B# l/ | ?& b4 ^& s6.6.1 Spark SQL整合Hive 137
, C. P. W6 i% ?6.6.2 构建数据仓库 138
; O2 |' R+ V3 g; ~: g- J5 ~& x' R6 F6.6.3 加载数据 141
8 y& R' ^7 Y, C. j- o5 U6.6.4 查询数据 142) n- h5 I7 ]7 E6 e- w
第7章 Spark Streaming 1468 w, U5 U! `: h3 e) ]; q2 }7 u
7.1 Spark Streaming概述 1465 s1 _) \6 `2 E8 w6 W) j; D
7.2 Spark Streaming基础概念 147, u' T/ ]* O1 _2 \1 `9 I8 L
7.2.1 批处理时间间隔 147 b+ R) @) j6 i9 ~, |; O7 e
7.2.2 窗口时间间隔 148
$ I* p. R/ S% ]1 H; f5 V: J" \7.2.3 滑动时间间隔 148& O1 \. N9 l# f; g3 t& _
7.3 DStream基本概念 149
$ t: _" ~; P9 k% N7.4 DStream的基本操作 150
% U3 D$ q/ Z) p: W3 N( \9 i7.4.1 无状态转换操作 150; s3 L- n3 j& [8 D# V5 V+ D Y
7.4.2 有状态转换操作 152# s! e. F4 O% U+ S* P2 M3 a
7.4.3 输出操作 1535 w1 y1 g/ O3 Q1 i/ r9 M
7.4.4 持久化操作 1548 b5 Z, ^- ~* U. N
7.5 数据源 154, B) s$ A% K. b( Y4 U8 @" O$ @
7.5.1 基础数据源 154- [& ^! X+ a9 Z( j# }9 b( {
7.5.2 高级数据源 155
- T# ]' ]/ U0 G$ R7 U7.6 Spark Streaming编程模式与案例分析 156
( L& X. m$ C2 _5 S( F1 }7.6.1 Spark Streaming编程模式 156
" |) ~( i9 {, }3 U" N* ~+ V7.6.2 文本文件数据处理案例(一) 157
E/ R3 z/ \7 R8 y% T( Y- X% x ]6 r7.6.3 文本文件数据处理案例(二) 160+ @$ h4 a8 h- z3 Y
7.6.4 网络数据处理案例(一) 164
" `8 R! U0 G( A; J7.6.5 网络数据处理案例(二) 1717 B9 c- I6 C! ]" K$ n9 P
7.6.6 stateful应用案例 175
) v6 C! Q4 [; C2 U+ q, f Q7.6.7 window应用案例 1807 O! d2 w& r4 \- m; I$ t
7.7 性能考量 185% w% X3 |$ A. q
7.7.1 运行时间优化 185
( u6 x# v, K- H6 g9 q% q( N7.7.2 内存使用与垃圾回收 1864 O' d9 V( M+ b# D8 R/ _/ \0 i
第8章 Spark MLlib 187, ?: M R- r U8 ^! |5 D8 [! Z; `
8.1 Spark MLlib概述 187
% I8 x, u9 g Q! _0 F1 _/ R! A8.1.1 机器学习介绍 187+ r- F" {% h% J- @$ _
8.1.2 Spark MLlib简介 189
4 ]( o( n* {( s7 F/ ?+ H8.2 MLlib向量与矩阵 1905 h" Q; [1 S, b. s( n8 |* w
8.2.1 MLlib向量 190- W' n* v0 b/ X, m8 d4 f
8.2.2 MLlib矩阵 192
' ]( f: P! m* l/ o0 P0 c- Q8.3 Spark MLlib分类算法 196: ?, Z- A7 S7 O$ L( ~) `
8.3.1 贝叶斯分类算法 197
. E& }- n7 T3 J& a9 k8.3.2 支持向量机算法 201
# ^. S$ J" Q; }2 S) ~6 A) E" X8.3.3 决策树算法 2047 W* b* K/ d* N
8.4 MLlib线性回归算法 208
1 r3 e& v2 q# W/ e8.5 MLlib聚类算法 212
. j, \6 _ ^( ]' I8.6 MLlib协同过滤 215
/ G# h9 [- F% D4 F4 m+ C. |4 a4 a3 j8 e5 g
Java资料百度网盘下载地址链接(百度云):java自学网(javazx.com) Spark大数据分析技术与实战 PDF 高清 电子书 百度云.rar【密码回帖可见】
) X: L, ~) [, X
: D( \- h7 \ ]' v3 p7 _# g" N, k8 t. x
' {+ G1 K- z9 T. v& u, z) B2 _" f: M, F9 }
|
|