Spark最佳实践 PDF下载

编辑推荐

季昕华、徐羽作序，连城/胡熠/武泽胜/肖磊/靳志辉联袂推荐

；

腾讯专家首次分享Spark*实践

；

基于真实数据，用案例分析全面解读大数据应用设计

；

内容简介

本书是Spark实战指南，全书共分8章。前4章介绍Spark的部署、工作机制和内核，后4章分别通过实战项目介绍Spark SQL、Spark Streaming、Spark GraphX和Spark MLib功能模块。此外，本书详细介绍了常见的实战问题，比如大数据环境下的配置设置、程序调优等。本书附带的一键安装脚本，更能为初学者提供很大帮助。

作者简介

陈欢

腾讯资深程序员，15年编码经验，曾任职网络安全、互联网金融等部门，亲手从零建设了财付通业务的Spark集群，并使之同时支持SQL、实时计算、机器学习等多种数据计算场景。他目前就职于腾讯社交与效果广告部，从事大数据分析工作。

；

林世飞

腾讯资深研究员，2005年加入腾讯，先后在无线产品、安全中心、搜索平台、开放平台、社交与效果广告部等部门从事开发和团队管理工作。他对网络安全、搜索引擎、数据挖掘、机器学习有一定了解，热衷知识传播和分享，曾获腾讯学院2009年年度优秀讲师。目前，他就职于社交与效果广告部，负责广告系统相关的研发工作。

Spark最佳实践 PDF下载

第1章 　Spark与大数据　　1
1.1 　大数据的发展及现状　　1
1.1.1 　大数据时代所面临的问题　　1
1.1.2 　谷歌的大数据解决方案　　2
1.1.3 　Hadoop生态系统　　3
1.2 　Spark应时而生　　4
1.2.1 　Spark的起源　　4
1.2.2 　Spark的特点　　5
1.2.3 　Spark的未来发展　　6
第2章 　Spark基础　　8
2.1 　Spark本地单机模式体验　　8
2.1.1 　安装虚拟机　　8
2.1.2 　安装JDK　　19
2.1.3 　下载Spark预编译包　　21
2.1.4 　本地体验Spark　　22
2.2 　高可用Spark分布式集群部署　　25
2.2.1 　集群总览　　26
2.2.2 　集群机器的型号选择　　28
2.2.3 　初始化集群机器环境　　29
2.2.4 　部署ZooKeeper集群　　33
2.2.5 　编译Spark　　35
2.2.6 　部署Spark Standalone集群　　37
2.2.7 　高可用Hadoop集群　　40
2.2.8 　让Spark运行在YARN上　　40
2.2.9 　一键部署高可用Hadoop Spark集群　　42
2.3 　Spark编程指南　　43
2.3.1 　交互式编程　　43
2.3.2 　RDD创建　　44
2.3.3 　RDD操作　　47
2.3.4 　使用其他语言开发Spark程序　　54
2.4 　打包和提交　　54
2.4.1 　编译、链接、打包　　54
2.4.2 　提交　　56
第3章 　Spark工作机制　　58
3.1 　调度管理　　58
3.1.1 　集群概述及名词解释　　58
3.1.2 　Spark程序之间的调度　　60
3.1.3 　Spark程序内部的调度　　63
3.2 　内存管理　　65
3.2.1 　RDD持久化　　65
3.2.2 　共享变量　　66
3.3 　容错机制　　67
3.3.1 　容错体系概述　　67
3.3.2 　Master节点失效　　68
3.3.3 　Slave节点失效　　69
3.4 　监控管理　　69
3.4.1 　Web界面　　69
3.4.2 　REST API　　72
3.4.3 　Metrics指标体系　　73
3.4.4 　其他监控工具　　73
3.5 　Spark程序配置管理　　73
3.5.1 　Spark程序配置加载过程　　74
3.5.2 　环境变量配置　　74
3.5.3 　Spark属性项配置　　74
3.5.4 　查看当前的配置　　76
3.5.5 　配置Spark日志　　76
第4章 　Spark内核讲解　　77
4.1 　Spark核心数据结构RDD　　77
4.1.1 　RDD的定义　　78
4.1.2 　RDD的Transformation　　80
4.1.3 　RDD的Action　　82
4.1.4 　Shuffle　　83
4.2 　SparkContext　　84
4.2.1 　SparkConf配置　　84
4.2.2 　初始化过程　　85
4.2.3 　其他功能接口　　87
4.3 　DAG调度　　87
4.3.1 　DAGScheduler　　87
4.3.2 　TaskScheduler　　90
第5章 　Spark SQL与数据仓库　　92
5.1 　Spark SQL基础　　93
5.1.1 　分布式SQL引擎　　93
5.1.2 　支持的SQL语法　　97
5.1.3 　支持的数据类型　　98
5.1.4 　DataFrame　　99
5.1.5 　DataFrame数据源　　103
5.1.6 　性能调优　　104
5.2 　Spark SQL原理和运行机制　　104
5.2.1 　Spark SQL整体架构　　105
5.2.2 　Catalyst执行优化器　　105
5.3 　应用场景：基于淘宝数据建立电商数据仓库　　110
5.3.1 　电商数据仓库场景　　111
5.3.2 　数据准备和表设计　　111
5.3.3 　用Spark SQL来完成日常运营数据分析　　115
5.3.4 　Spark SQL在大规模数据下的性能表现　　120
第6章 　Spark流式计算　　122
6.1 　Spark Streaming基础知识　　123
6.1.1 　入门简单示例　　123
6.1.2 　基本概念　　124
6.1.3 　高级操作　　129
6.2 　深入理解Spark Streaming　　132
6.2.1 　DStream的两类操作　　132
6.2.2 　容错处理　　134
6.2.3 　性能调优　　136
6.2.4 　与Storm的对比　　137
6.3 　应用场景：一个类似百度统计的流式实时系统　　139
6.3.1 　Web log实时统计场景　　139
6.3.2 　日志实时采集　　140
6.3.3 　流式分析系统实现　　140
第7章 　Spark图计算　　149
7.1 　什么是图计算　　149
7.1.1 　图的基本概念　　149
7.1.2 　图计算的应用　　150
7.2 　Spark GraphX简介　　151
7.2.1 　GraphX实现　　151
7.2.2 　GraphX常用API介绍　　152
7.3 　应用场景：基于新浪微博数据的社交网络分析　　153
7.3.1 　社交网络分析的主要应用　　153
7.3.2 　社区发现算法简介　　154
7.3.3 　用GraphX实现Louvain算法　　156
7.3.4 　小试牛刀：谁是你的闺蜜　　162
7.3.5 　真实的场景：新浪微博关系分析　　164
第8章 　Spark MLlib　　169
8.1 　机器学习简介　　169
8.1.1 　什么是机器学习　　169
8.1.2 　机器学习示例　　171
8.1.3 　机器学习的基本方法　　172
8.1.4 　机器学习的常见技巧　　173
8.1.5 　机器学习参考资料　　174
8.2 　MLlib库简介　　174
8.2.1 　基础数据类型　　174
8.2.2 　主要的库　　175
8.2.3 　附带的示例程序　　176
8.3 　应用场景：搜索广告点击率预估系统　　178
8.3.1 　应用场景　　178
8.3.2 　逻辑回归　　179
8.3.3 　学习算法　　181
8.3.4 　模型评估　　184
8.3.5 　数据准备　　186
8.3.6 　模型训练　　187
8.3.7 　模型调优　　195
附录 　Scala语言参考　　197

媒体评论

“相较于其他大数据解决方案，Spark的一大特点便是擅长在单一框架内搭建一体化大数据流水线。本书以Spark 1.4为蓝本，既带读者概览Spark的各个组件，又从实际出发，给出了各种典型案例的解决思路，尤其适合初学者快速把握Spark的全貌和各组件的基本特点，从而结合实际，有针对性地发挥Spark全能一体的优势。”——Apache Spark committer，Databricks 软件工程师连城

；

“Spark作为一个专门处理分布式大数据的有力工具，与“机器学习”碰撞出了火花。本书拿出一章重点介绍了计算广告中一个核心模型——点击率（CTR）预估的逻辑回归——在MLlib中的完整实现，为“Spark 机器学习”提供了很好的范例。相信这本全面介绍Spark的实用宝典，会为读者提供很大帮助。”——*B2B搜索联盟算法负责人；胡熠

；

“以Hadoop为核心的技术，主导了过去十多年大数据技术的发展，我在小米经历了小米大数据团队的从无到有，见证了从刚开始Hadoop支持所有业务，到后来大量的业务开始使用Spark的过程，深刻体会到Spark作为后起之秀，在近几年的发展突飞猛进，大有取代Hadoop之势。一本好的技术书，既要能讲清楚技术背后的原理，又要能说明白其应用场景，《Spark*实践》这两方面都做到了，是学习Spark技术不可多得的好书。”——棒米科技联合创始人&；CTO 武泽胜

；

“数据已经成为工业革命的重要原材料，我们无法想象一个没有数据存在的“真空”环境。可以说，我们及我们周边的事物都只是数据繁衍的一个载体；如何利用好这个原材料，加工好这个原材料，挖掘好这个原材料，理解好这个原材料，已经成为一个核心竞争力。

作为Hadoop系的重要补充，Spark更是为大数据处理虎上添翼，尤其是在更加复杂的数据迭代技术方面。作者结合多年实践著就本书，可以帮你快速进入这一“圣殿”，少走弯路，更加快速地决胜千里。”——腾讯数据平台部精准推荐中心总监肖磊

；

“面对诸多的大数据技术，如何能够快速学习？本书的作者们试着给Spark初学者设计了一条路径：在深入讲解理论的同时，引导读者利用实际可运行的数据案例低成本地在实践中学习。“纸上得来终觉浅，绝知此事要躬行”，学习Spark技术的有效方式就是在实际的Spark环境中‘玩’数据。”——腾讯社交与效果广告部质量研发中心；总监靳志辉