欢迎光临
免费的PDF电子书下载网站

Spark大数据编程基础(Scala版) 高等教育大数据科学与技术“十三五”规划教材 PDF下载

编辑推荐

大数据被称为“未来的新石油”,那么如何开采“新石油”是各个领域处理大数据面临的核心问题。工欲善其事,必先利其器。大数据编程为处理大数据提供了*有效的“器”,本书将全面的介绍大数据编程基础。大数据处理技术发展迅速,Spark已经成为大数据处理的*平台,因此本书的大数据编程将针对Spark平台进行。

内容简介

暂无

作者简介

暂无

Spark大数据编程基础(Scala版) 高等教育大数据科学与技术“十三五”规划教材 PDF下载

目录

目 录

1Spark概述   1

1.1 Spark的背景  (1

1.1.1 Spark发展史   (1

1.1.2 Spark的特点   (2

1.2 Spark生态系统  (3

1.2.1 Spark Core  3

1.2.2 Spark SQL   4

1.2.3 Spark Streaming   4

1.2.4 GraphX   5

1.2.5 MLBase/MLlib   5

1.2.6 SparkR   5

1.3 Spark运行架构  (6

1.3.1相关术语   (6

1.3.2 Spark架构   (7

1.3.3执行步骤   (8

1.3.4 Spark运行模式   (10

1.4 WordCount示例  (13

1.4.1三种编程语言的示例程序   (13

1.4.2 Scala版本WordCount运行分析   (16

1.4.3 WordCount中的类调用关系   (18

1.5本章小结  (19

思考与习题  (19)  

2章 搭建Spark开发环境   20

2.1 Spark开发环境所需软件  (20) 

2.2安装Spark  21

2.2.1 spark-shell下的实例   (25)        

2.2.2 SparkWEB的使用   (26

2.3 IDEA  28

2.3.1安装IDEA   28

2.3.2 IDEA的实例(Scala)   (32

2.3.3 IDEA打包运行   (37

2.4 Eclipse  40

2.4.1安装Eclipse   40)         

2.4.2 Eclipse的实例(Scala)   (41

2.5本章小结  (46

思考与习题  (47)  

3Scala语言基础   48

3.1 Scala简介  (48

3.1.1 Scala特点   (48

3.1.2 Scala运行方式   (48

3.2变量与类型  (50

3.2.1变量的定义与使用   (50

3.2.2基本数据类型和操作   (56

3.2.3 Range操作   (61

3.3程序控制结构  (62

3.3.1 if条件表达式   (62

3.3.2循环表达式   (66

3.3.3匹配表达式   (70

3.4集合  (73

3.4.1数组   (73

3.4.2列表   (78

3.4.3集   (81

3.4.4映射   (85)         

3.4.5 Option   90

3.4.6迭代器与元组   (92

3.5函数式编程  (95)         

3.5.1函数   (95

3.5.2占位符语法   (97)         

3.5.3递归函数   (99

3.5.4嵌套函数   (101)         

3.5.5高阶函数   (102)         

3.5.6高阶函数的使用   (104

3.6本章小结  (108

思考与习题  (108

4Scala面向对象编程   110

4.1类与对象  (110

4.1.1定义类   (110)        

4.1.2创建对象   (111

4.1.3类成员的访问   (112

4.1.4构造函数   (113)         

4.1.5常见对象类型   (116)         

4.1.6抽象类与匿名类   (118

4.2继承与多态  (120

4.2.1类的继承   (121

4.2.2构造函数执行顺序   (124)         

4.2.3方法重写   (125)         

4.2.4多态   (127

4.3特质(trait)  (128)         

4.3.1特质的使用   (129

4.3.2特质与类   (132

4.3.3多重继承   (135

4.4导入和包  (137)         

4.4.1包   (137

4.4.2 import高级特性   (138

4.5本章小结  (141

思考与习题  (141)  

5RDD编程   143

5.1 RDD基础  (143

5.1.1 RDD的基本特征   (143

5.1.2依赖关系   (144

5.2创建RDD  148)         

5.2.1从已有集合创建RDD   148

5.2.2从外部存储创建RDD   149

5.3 RDD操作  (150

5.3.1 Transformation操作   (151

5.3.2 Action操作   (159

5.3.3不同类型RDD之间的转换   (166

5.4数据的读取与保存  (168

5.5 RDD缓存与容错机制  (170

5.5.1 RDD的缓存机制(持久化)   (170

5.5.2 RDD检查点容错机制   (173

5.6综合实例  (174

5.7本章小结  (179

思考与习题  (180)  

6Spark SQL   181

6.1 Spark SQL概述  (181

6.1.1 Spark SQL架构   (181

6.1.2程序主入口SparkSession   182

6.1.3 DataFrameRDD   184

6.2创建DataFrame  185

6.2.1从外部数据源创建DataFrame   185

6.2.2 RDD转换为DataFrame   199

6.3 DataFrame操作  (203

6.3.1 Transformation操作   (204

6.3.2 Action操作   (216

6.3.3保存操作   (219

6.4 Spark SQL实例  (220

6.5本章小结  (226

思考与习题  (226

Spark大数据编程基础(Scala版) 高等教育大数据科学与技术“十三五”规划教材 pdf下载声明

本pdf资料下载仅供个人学习和研究使用,不能用于商业用途,请在下载后24小时内删除。如果喜欢,请购买正版

pdf下载地址

版权归出版社和作者所有,下载链接已删除。如果喜欢,请购买正版!

链接地址:Spark大数据编程基础(Scala版) 高等教育大数据科学与技术“十三五”规划教材