网志栈编辑推荐
■ 学术界与业界完美结合的结晶，从原理剖析到系统化算法设计与编程实践 ■ 多年来系统性教学实践和成果总结，一系列业界产品增强功能深度技术剖析 ■ 一系列大赛获奖算法、优秀课程设计以及来自科研课题及业界应用的实战案例 ；
内容简介
以大数据处理主流平台Hadoop1.0为核心，介绍Hadoop MapReduce，HDFS，HBase，以及Hive的基本设计思想、工作原理、系统构架、以及详细的大数据处理编程技术。
特点：
（1） 重点放在教读者算法设计实现，从基础算法，到应用编程案例，解决实际问题。
（2） 作者多年的教学研究实践，课程设计沉淀，可以更深入地讨论大数据。
（3） 来自业界——Intel真实的实践经验和案例积累。
作者简介
黄宜华博士，南京大学计算机科学与技术系教授、PASA大数据实验室学术带头人。中国计算机学会大数据专家委员会委员、副秘书长，江苏省计算机学会大数据专家委员会主任。于1983、1986和1997年获得南京大学计算机专业学士、硕士和博士学位。主要研究方向为大数据并行处理、云计算以及Web信息挖掘等，发表学术研究论文60多篇。2010年在Google公司资助下在本校创建并开设了“MapReduce大数据并行处理技术”课程，成为全国最早开设该课程的院校之一。因在该课程教学和人才培养方面的出色成绩获得2012年Google奖教金。目前正在开展系统化的大数据并行处理技术研究工作，主持国家和省部级科研项目以及与美国Intel公司等业界的合作研究项目多项。
苗凯翔(Kai X. Miao)博士，英特尔数据中心软件部中国区首席技术官，中国计算机学会大数据专家委员会委员。曾担任英特尔中国区系统集成部总监、信息技术研究部门亚洲地区总监、英特尔北美地区解决方案首席架构师。于2009荣获英特尔公司首席工程师职称。在加入英特尔以前，曾在美国Rutgers与DeVry大学任教。获得北方交通大学（北京）通信学士学位、美国辛辛那提大学电机工程硕士和博士学位。发表期刊和会议研究论文多篇，并拥有21项美国专利，在各种会议上发表过上百次主题演讲，曾参与IETF、ITU 和 MIT CFP等工业标准的制定，并于2006 年担任IEEE通信杂志的联合编辑。
目录
推荐序一
推荐序二
推荐序三
丛书序言
前言
第一部分Hadoop系统
第1章大数据处理技术简介
1.1并行计算技术简介
1.1.1并行计算的基本概念
1.1.2并行计算技术的分类
1.1.3并行计算的主要技术问题
1.2大数据处理技术简介
1.2.1大数据的发展背景和研究意义
1.2.2大数据的技术特点
1.2.3大数据研究的主要目标、基本原则和基本途径
1.2.4大数据计算模式和系统
1.2.5大数据计算模式的发展趋势
1.2.6大数据的主要技术层面和技术内容
1.3MapReduce并行计算技术简介
1.3.1MapReduce的基本概念和由来
1.3.2MapReduce的基本设计思想
1.3.3MapReduce的主要功能和技术特征
1.4Hadoop系统简介
1.4.1Hadoop的概述与发展历史
1.4.2Hadoop系统分布式存储与并行计算构架
1.4.3Hadoop平台的基本组成与生态系统
1.4.4Hadoop的应用现状和发展趋势
第2章Hadoop系统的安装与操作管理
2.1Hadoop系统安装方法简介
2.2单机和单机伪分布式Hadoop系统安装基本步骤
2.2.1安装和配置JDK
2.2.2创建Hadoop用户
2.2.3下载安装Hadoop
2.2.4配置SSH
2.2.5配置Hadoop环境
2.2.6Hadoop的运行
2.2.7运行测试程序
2.2.8查看集群状态
2.3集群分布式Hadoop系统安装基本步骤
2.3.1安装和配置JDK
2.3.2创建Hadoop用户
2.3.3下载安装Hadoop
2.3.4配置SSH
2.3.5配置Hadoop环境
2.3.6Hadoop的运行
2.3.7运行测试程序
2.3.8查看集群状态
2.4HadoopMapReduce程序开发过程
2.5集群远程作业提交与执行
2.5.1集群远程作业提交和执行过程
2.5.2查看作业执行结果和集群状态
第3章大数据存储--分布式文件系统HDFS
3.1HDFS的基本特征与构架
3.1.1HDFS的基本特征
3.1.2HDFS的基本框架与工作过程
3.2HDFS可靠性设计
3.2.1HDFS数据块多副本存储设计
3.2.2HDFS可靠性的设计实现
3.3HDFS文件存储组织与读写
3.3.1文件数据的存储组织
3.3.2数据的读写过程
3.4HDFS文件系统操作命令
3.4.1HDFS启动与关闭
3.4.2HDFS文件操作命令格式与注意事项
3.4.3HDFS文件操作命令
3.4.4高级操作命令和工具
3.5HDFS基本编程接口与示例
3.5.1HDFS编程基础知识
3.5.2HDFS基本文件操作API
3.5.3HDFS基本编程实例
第4章HadoopMapReduce并行编程框架
4.1MapReduce基本编程模型和框架
4.1.1MapReduce并行编程抽象模型
4.1.2MapReduce的完整编程模型和框架
4.2HadoopMapReduce基本构架与工作过程
4.2.1Hadoop系统构架和MapReduce程序执行过程
4.2.2HadoopMapReduce执行框架和作业执行流程
4.2.3HadoopMapReduce作业调度过程和调度方法
4.2.4MapReduce执行框架的组件和执行流程
4.3HadoopMapReduce主要组件与编程接口
4.3.1数据输入格式InputFormat
4.3.2输入数据分块InputSplit
4.3.3数据记录读入RecordReader
4.3.4Mapper类
4.3.5Combiner
4.3.6Partitioner
4.3.7Sort
4.3.8Reducer类
4.3.9数据输出格式OutputFormat
4.3.10数据记录输出RecordWriter
第5章分布式数据库HBase
5.1HBase简介
5.1.1为什么需要NoSQL数据库
5.1.2HBase的作用和功能特点
5.2HBase的数据模型
5.2.1HBase的基本数据模型
5.2.2HBase的查询模式
5.2.3HBase表设计
5.3HBase的基本构架与数据存储管理方法
5.3.1HBase在Hadoop生态中的位置和关系
5.3.2HBase的基本组成结构
5.3.3HBaseRegion
5.3.4RegionServer
5.3.5HBase的总体组成结构
5.3.6HBase的寻址和定位
5.3.7HBase节点的上下线管理
5.4HBase安装与操作
5.4.1安装一个单机版的HBase
5.4.2HBaseShell操作命令
5.4.3基于集群的HBase安装和配置
5.5HBase的编程接口和编程示例
5.5.1表创建编程接口与示例
5.5.2表数据更新编程接口与示例
5.5.3数据读取编程接口与示例
5.5.4HBaseMapReduce支持和编程示例
5.6HBase的读写操作和特性
5.6.1HBase的数据写入
5.6.2HBase的数据读取
5.7其他HBase功能
5.7.1Coprocessor
5.7.2批量数据导入BulkLoad
第6章分布式数据仓库Hive
6.1Hive的作用与结构组成
6.2Hive的数据模型
6.2.1Hive的数据存储模型
6.2.2Hive的元数据存储管理
6.2.3Hive的数据类型
6.3Hive的安装
6.3.1下载Hive安装包
6.3.2配置环境变量
6.3.3创建Hive数据文件目录
6.3.4修改Hive配置文件
6.4Hive查询语言--HiveQL
6.4.1DDL语句
6.4.2DML语句
6.4.3SELECT查询语句
6.4.4数据表操作语句示例
6.4.5分区的使用
6.4.6桶的使用
6.4.7子查询
6.4.8Hive的优化和高级功能
6.5HiveJDBC编程接口与程序设计
第7章IntelHadoop系统优化与功能增强
7.1IntelHadoop系统简介
7.1.1IntelHadoop系统的主要优化和增强功能
7.1.2IntelHadoop的系统构成与组件
7.2IntelHadoop系统的安装和管理
7.3IntelHadoopHDFS的优化和功能扩展
7.3.1HDFS的高可用性
7.3.2IntelHadoop系统高可用性配置服务
7.3.3IntelHadoop系统高可用性配置服务操作
7.3.4自适应数据块副本调整策略
7.4IntelHadoopHBase的功能扩展和编程示例
7.4.1HBase大对象存储（LOB）
7.4.2加盐表
7.4.3HBase跨数据中心大表
7.5IntelHadoopHive的功能扩展和编程示例
7.5.1开源Hive的不足
7.5.2IntelHadoop"HiveoverHBase"优化设计
7.5.3HiveoverHBase的架构
第二部分MapReduce的编程和算法设计
第8章MapReduce基础算法程序设计
8.1WordCount
8.1.1WordCount算法编程实现
8.2矩阵乘法
8.2.1矩阵乘法原理和实现思路
8.2.2矩阵乘法的MapReduce程序实现
8.3关系代数运算
8.3.1选择操作
8.3.2投影操作
8.3.3交运算
8.3.4差运算
8.3.5自然连接
8.4单词共现算法
8.4.1单词共现算法的基本设计
8.4.2单词共现算法的实现
8.4.3单词共现算法实现中的细节问题
8.5文档倒排索引
8.5.1简单的文档倒排索引
8.5.2带词频等属性的文档倒排索引
8.6PageRank网页排名算法
8.6.1PageRank的简化模型
8.6.2PageRank的随机浏览模型
8.6.3PageRank的MapReduce实现
8.7专利文献分析算法
8.7.1构建专利被引用列表
8.7.2专利被引用次数统计
8.7.3专利被引用次数直方图统计
8.7.4按照年份或国家统计专利数
第9章MapReduce高级程序设计技术
9.1简介
9.2复合键值对的使用
9.2.1把小的键值对合并成大的键值对
9.2.2巧用复合键让系统完成排序
9.3用户定制数据类型
9.3.1Hadoop内置的数据类型
9.3.2用户自定义数据类型的实现
9.4用户定制数据输入输出格式
9.4.1Hadoop内置的数据输入格式与RecordReader
9.4.2用户定制数据输入格式与RecordReader
9.4.3Hadoop内置的数据输出格式与RecordWriter
9.4.4用户定制数据输出格式与RecordWriter
9.4.5通过定制数据输出格式实现多集合文件输出
9.5用户定制Partitioner和Combiner
9.5.1用户定制Partitioner
9.5.2用户定制Combiner
9.6组合式MapReduce计算作业
9.6.1迭代MapReduce计算任务
9.6.2顺序组合式MapReduce作业的执行
9.6.3具有复杂依赖关系的组合式MapReduce作业的执行
9.6.4MapReduce前处理和后处理步骤的链式执行
9.7多数据源的连接
9.7.1基本问题数据示例
9.7.2用DataJoin类实现Reduce端连接
9.7.3用全局文件复制方法实现Map端连接
9.7.4带Map端过滤的Reduce端连接
9.7.5多数据源连接解决方法的限制
9.8全局参数/数据文件的传递与使用
9.8.1全局作业参数的传递
9.8.2查询全局的MapReduce作业属性
9.8.3全局数据文件的传递
9.9关系数据库的连接与访问
9.9.1从数据库中输入数据
9.9.2向数据库中输出计算结果
第10章MapReduce数据挖掘基础算法
10.1K-Means聚类算法
10.1.1K-Means聚类算法简介
10.1.2基于MapReduce的K-Means算法的设计实现
10.2KNN最近邻分类算法
10.2.1KNN最近邻分类算法简介
10.2.2基于MapReduce的KNN算法的设计实现
10.3朴素贝叶斯分类算法
10.3.1朴素贝叶斯分类算法简介
10.3.2朴素贝叶斯分类并行化算法的设计
10.3.3朴素贝叶斯分类并行化算法的实现
10.4决策树分类算法
10.4.1决策树分类算法简介
10.4.2决策树并行化算法的设计
10.4.3决策树并行化算法的实现
10.5频繁项集挖掘算法
10.5.1频繁项集挖掘问题描述
10.5.2Apriori频繁项集挖掘算法简介
10.5.3Apriori频繁项集挖掘并行化算法的设计
10.5.4Apriori频繁项集挖掘并行化算法的实现
10.5.5基于子集求取的频繁项集挖掘算法的设计
10.5.6基于子集求取的频繁项集挖掘并行化算法的实现
10.6隐马尔科夫模型和最大期望算法
10.6.1隐马尔科夫模型的基本描述
10.6.2隐马尔科夫模型问题的解决方法
10.6.3最大期望算法概述
10.6.4并行化隐马尔科夫算法设计
10.6.5隐马尔科夫算法的并行化实现
第11章大数据处理算法设计与应用编程案例
11.1基于MapReduce的搜索引擎算法
11.1.1搜索引擎工作原理简介
11.1.2基于MapReduce的文档预处理
11.1.3基于MapReduce的文档倒排索引构建
11.1.4建立Web信息查询服务
11.2基于MapReduce的大规模短文本多分类算法
11.2.1短文本多分类算法工作原理简介
11.2.2并行化分类训练算法设计实现
11.2.3并行化分类预测算法设计实现
11.3基于MapReduce的大规模基因序列比对算法
11.3.1基因序列比对算法简介
11.3.2并行化BLAST算法的设计与实现
11.4基于MapReduce的大规模城市路径规划算法
11.4.1问题背景和要求
11.4.2数据输入
11.4.3程序设计要求
11.4.4算法设计总体框架和处理过程
11.4.5并行化算法的设计与实现
11.5基于MapReduce的大规模重复文档检测算法
11.5.1重复文档检测问题描述
11.5.2重复文档检测方法和算法设计
11.5.3重复文档检测并行化算法设计实现
11.6基于内容的并行化图像检索算法与引擎
11.6.1基于内容的图像检索问题概述
11.6.2图像检索方法和算法设计思路
11.6.3并行化图像检索算法实现
11.7基于MapReduce的大规模微博传播分析
11.7.1微博分析问题背景与并行化处理过程
11.7.2并行化微博数据获取算法的设计实现
11.7.3并行化微博数据分析算法的设计实现
11.8基于关联规则挖掘的图书推荐算法
11.8.1图书推荐和关联规则挖掘简介
11.8.2图书频繁项集挖掘算法设计与数据获取
11.8.3图书关联规则挖掘并行化算法实现
11.9基于Hadoop的城市智能交通综合应用案例
11.9.1应用案例概述
11.9.2案例一：交通事件检测
11.9.3案例二：交通流统计分析功能
11.9.4案例三：道路旅行时间分析
11.9.5案例四：HBase实时查询
11.9.6案例五：HBaseEndpoint快速统计
11.9.7案例六：利用Hive高速统计
附录
附录AOpenMP并行程序设计简介
附录BMPI并行程序设计简介
附录C英特尔ApacheHadoop*系统安装手册
参考文献
媒体评论
我很高兴地看到，该书已纳入了教育部计算机类专业教学指导委员会制定的计算机类专业系统能力培养计划。大数据处理是一门综合性、最能体现计算机系统能力培养的课程。把大数据处理纳入计算机类专业系统能力培养课程体系中第三层次的核心课程，作为一门起到一定“收官”作用的综合性课程，这是在计算机系统能力培养方面的一个很好的尝试。
——中国工程院院士 李国杰
作为国内最早从事大数据技术研究和教学的团队之一，南京大学黄宜华教授和他的大数据实验室同仁们在大数据技术领域已经进行了多年系统深入的研究工作，取得了卓有成效的研究成果。英特尔作为一家全球领先的计算技术公司，长期以来始终以计算技术的创新为己任。在大数据处理技术方面，我们也竭尽全力发挥出我们在软硬件平台的组合优势引领大数据技术的全面发展和推广。
这本《深入理解大数据》的力作正是我们双方在大数据领域共同努力的结晶，是以学术界和业界完美结合的方式，在融合了学术界系统化的研究教学工作和业界深度的系统和应用研发工作基础上，成功打造出的一本大数据技术佳作。相信这是一本适合软件技术人员和 IT 行业管理人员理解和掌握大数据技术的不可多得的技术书籍，也是一本适合于在校大学生和研究生学习和掌握大数据处理和编程技术的好教材。
——英特尔亚太研发有限公总经理 何京翔
大数据广泛的应用前景代表了 IT 行业的未来。近年来，大数据的巨大应用需求推动了大数据处理技术取得了长足的进步和发展。但是，大数据的 4V 特性决定了大数据处理仍然面临着巨大的技术困难和挑战，因此，我们还需要大力推动大数据技术的研发和应用。这就需要培养更多熟练掌握大数据处理技术的专业人才。这正是我们编写这本 Hadoop大数据处理技术书籍的主要动机和目的。本书希望通过对目前最为主流、最广为业界接受使用的 Hadoop 大数据处理和编程技术的深入介绍，对 IT 专业技术人员与学生学习和掌握大数据技术起到较大的帮助作用！
——英特尔中国大数据首席技术官 苗凯翔
本书主要特点：第一个特点是，对 MapReduce的基本工作原理和编程模型等基础理论原理有较为系统深入的阐述，让读者对 MapReduce 技术有一个理论上的深入理解，为后期学习和合理运用算法设计方法打下一个较为坚实的理论基础；第二个特点是，对于那些看懂了基本原理和接口、却苦于难以下手去具体设计和编程实现实际大处理处理算法问题的读者来说，本书会重点给他们讲解 MapReduce 并行程序和算法设计思路和方法，重点介绍和展示如何根据大数据问题本身的特点和 MapReduce 并行程序设计特点，将一个大数据问题或算法转化为 MapReduce 并行化算法设计思路和实现方法，然后再辅以详细的程序实现代码加以分析介绍；第三个特点是，对于那些有较好基础、希望了解更深入技术的读者来说，本书引入了开源技术书籍资料中所没有的来自业界产品的增强功能和深度技术内容。
——南京大学计算机科学与技术系 黄宜华
免费在线读
第一部分
Hadoop系统
第1章 大数据处理技术简介
第2章 ?Hadoop系统的安装与操作管理
第3章 大数据存储——分布式文件系统HDFS
第4章 ?Hadoop MapReduce并行编程框架
第5章 分布式数据库HBase
第6章 分布式数据仓库Hive
第7章 Intel Hadoop系统优化与功能增强
第1章
大数据处理技术简介
近年来，大数据技术在全世界迅猛发展，引起了全世界的广泛关注，掀起了一个全球性的发展浪潮。大数据技术发展的主要推动力来自并行计算硬件和软件技术的发展，以及近年来行业大数据处理需求的迅猛增长。其中，大数据处理技术最直接的推动因素，当数Google公司发明的MapReduce大规模数据分布存储和并行计算技术，以及Apache社区推出的开源Hadoop MapReduce并行计算系统的普及使用。为此，本书将重点介绍目前成为大数据处理主流技术和平台Hadoop MapReduce并行处理和编程技术。
本章将简要介绍大数据处理相关的基本概念、技术及发展状况。大数据处理的核心技术是分布存储和并行计算，因此，本章首先简要介绍并行计算的基本概念和技术；在此基础上，将简要介绍MapReduce的基本概念、功能和技术特点；最后本章将进一步简要介绍开源Hadoop系统的基本功能特点和组成。
1.1 并行计算技术简介
1.1.1 并行计算的基本概念
随着信息技术的快速发展，人们对计算系统的计算能力和数据处理能力的要求日益提高。随着计算问题规模和数据量的不断增大，人们发现，以传统的串行计算方式越来越难以满足实际应用问题对计算能力和计算速度的需求，为此出现了并行计算技术。
并行计算（Parallel Computing）是指同时对多条指令、多个任务或多个数据进行处理的一种计算技术。实现这种计算方式的计算系统称为并行计算系统，它由一组处理单元组成，这组处理单元通过相互之间的通信与协作，以并行化的方式共同完成复杂的计算任务。实现并行计算的主要目的是，以并行化的计算方法，实现计算速度和计算能力的大幅提升，以解决传统的串行计算所难以完成的计算任务。
现代计算机的发展历程可分为两个明显不同的发展时代：串行计算时代和并行计算时代。并行计算技术是在单处理器计算能力面临发展瓶颈、无法继续取得突破后，才开始走上了快速发展的通道。并行计算时代的到来，使得计算技术获得了突破性的发展，大大提升了计算能力和计算规模。
1.?单处理器计算性能提升达到极限
纵观计算机的发展历史，日益提升计算性能是计算技术不断追求的目标和计算技术发展的主要特征之一。自计算机出现以来，提升单处理器计算机系统计算速度的常用技术手段有以下几个方面。
图1-1 摩尔定律
1）提升计算机处理器字长。随着计算机技术的发展，单处理器字长也在不断提升，从最初的4位发展到如今的64位。处理器字长提升的每个发展阶段均有代表性的处理器产品，如20世纪70年代出现的最早的4位Intel微处理器4004，到同时代以Intel 8008为代表的8位处理器，以及20世纪80年代Intel推出的16位字长80286处理器，以及后期发展出的Intel 80386/486/Pentium系列为主的32位处理器等。2000年以后发展至今，出现了64位字长的处理器。目前，32位和64位处理器是市场上主流的处理器。计算机处理器字长的发展大幅提升了处理器性能，推动了单处理器计算机的发展。
2）提高处理器芯片集成度。1965年，戈登·摩尔（Gordon Moore）发现了这样一条规律：半导体厂商能够集成在芯片中的晶体管数量大约每18～24个月翻一番，其计算性能也随着翻一番，这就是众所周知的摩尔定律。在计算技术发展的几十年中，摩尔定律一直引导着计算机产业的发展。
3）提升处理器的主频。计算机的主频越高，指令执行的时间则越短，计算性能自然会相应提高。因此，在2004年以前，处理器设计者一直追求不断提升处理器的主频。计算机主频从Pentium开始的60MHz，曾经最高可达到4GHz～5GHz。
4）改进处理器微架构。计算机微处理器架构的改进对于计算性能的提升具有重大的作用。例如，为了使处理器资源得到最充分利用，计算机体系结构设计师引入了指令集并行技术（Instruction-level Parallelism，ILP），这是单处理器并行计算的杰出设计思想之一。实现指令级并行最主要的体系结构技术就是流水线技术（Pipeline）。
在2004年以前，以上这些技术极大地提高了微处理器的计算性能，但此后处理器的性能不再像人们预期的那样能够继续提高。人们发现，随着集成度的不断提高以及处理器频率的不断提升，单核处理器的性能提升开始接近极限。首先，芯片的集成度会受到半导体器件制造工艺的限制。目前集成电路已经达到十多个纳米的极小尺度，因此，芯片集成度不可能无限制提高。与此同时，根据芯片的功耗公式P=CV2f（其中，P是功耗；C是时钟跳变时门电路电容，与集成度成正比；V是电压，f是主频），芯片的功耗与集成度和主频成正比，芯片集成度和主频的大幅提高导致了功耗的快速增大，进一步导致了难以克服的处理器散热问题。而流水线体系结构技术也已经发展到了极致，2001年推出的Pentium4（CISC结构）已采用了20级复杂流水线技术，因此，流水线为主的微体系结构技术也难以有更大提升的空间。
由图1-2可以看出，从2004年以后，微处理器的主频和计算性能变化逐步趋于平缓，不再随着集成度的提高而提高。如图1-3a所示，在2005年以前，人们预期可以一直提升处理器主频。但2004年5月Intel处理器Tejas和Jayhawk（4GHz）因无法解决散热问题最终放弃，标志着升频技术时代的终结。因此，随后人们修改了2005年后微处理器主频提升路线图，基本上以较小的幅度提升处理器主频，而代之以多核实现性能提升，如图1-3b所示。
2.?多核计算技术成为必然发展趋势
2005年，Intel公司宣布了微处理器技术的重大战略调整，即从2005年开始，放弃过去不断追求单处理器计算性能提升的战略，转向以多核微处理器架构实现计算性能提升。自此Intel推出了多核/众核构架，微处理器全面转入了多核计算技术时代。多校计算技术的基本思路是：简化单处理器的复杂设计，代之以在单个芯片上设计多个简化的处理器核，以多核/众核并行计算提升计算性能。
……
深入理解大数据：大数据处理与编程实践（理论与实战的完美结合，从原理剖析到系统化算法设计与编程实践，多年来系统性教学实践和成果总结） pdf下载声明
本pdf资料下载仅供个人学习和研究使用，不能用于商业用途，请在下载后24小时内删除。如果喜欢，请购买正版
pdf下载地址
版权归出版社和作者所有，下载链接已删除。如果喜欢，请购买正版！
链接地址：深入理解大数据：大数据处理与编程实践（理论与实战的完美结合，从原理剖析到系统化算法设计与编程实践，多年来系统性教学实践和成果总结）
