颠覆大数据分析：基于Storm、Spark等Hadoop替代技术的实时应用 PDF下载

编辑推荐

《颠覆大数据分析:基于Storm、Spark等Hadoop替代技术的实时应用》中，VijayAgneeswaran博士介绍了这些技术，以及它们的应用案例，并从架构到代码的不同层面对应用它们做了演示。

；

内容简介

　　《颠覆大数据分析：基于Storm、Spark等Hadoop替代技术的实时应用》每章一个主题，介绍了各种大数据分析技术与机器学习算法。本书能够让读者掌握大数据分析和机器学习的相关技术的大致脉络，为之后的进阶学习提供参考与指导。本书适合大数据技术入门者、希望对大数据技术有所了解，以及想要学习大数据技术但是不知道应该从何处入手的读者阅读。

作者简介

　　Vijay Srinivas Agneeswaran 博士，1998 年于SVCE 的马德拉斯分校获得计算机科学与工程专业的学士学位，2001 年获取了印度理工学院马德拉斯分校的硕士学位（研究性质），2008年又获取了该校的博士学位。他曾在瑞士洛桑的联邦理工学院的分布式信息系统实验室（LSIR）担任过一年的博士后研究员。之前7 年先后就职于Oracle、Cognizant 及Impetus，对大数据及云领域的工程研发贡献颇多。目前担任Impetus 的大数据实验室的执行总监。他的研发团队在专利、论文、受邀的会议发言以及下一代产品创新方面都处于领导地位。他主要研究的领域包括大数据管理、批处理及实时分析，以及大数据的机器学习算法的实现范式。最近8 年来，他一直是计算机协会（ACM）以及电气和电子工程师协会（IEEE）的专家成员，并于2012年12 月被推选为IEEE 的资深成员。他在美国、欧洲以及印度的专利局都申请过专利（并持有美国的两项专利）。他在前沿的期刊及会议，包括IEEE transaction 上都发表过论文。他还是国内外多个会议的特邀发言人，譬如O’Reilly 的Strata 大数据系列会议。最近一次公开发表论文是在Liebertpub 的大数据期刊上。他与妻子及儿女一起居住在班加罗尔，对印度、埃及、巴比伦以及希腊古代的文化与哲学的研究非常感兴趣。

颠覆大数据分析：基于Storm、Spark等Hadoop替代技术的实时应用 PDF下载

前言
致谢
关于作者
1 引言：为什么要超越 Hadoop Map-Reduce
 Hadoop的适用范围
 大数据分析之机器学习实现的革命
 第一代机器学习工具/范式
 第二代机器学习工具/范式
 第三代机器学习工具/范式
 小结
 参考文献
2 何为伯克利数据分析栈（BDAS）
 实现 BDAS的动机
 Spark：动机前言<；br />；
致谢<；br />；
关于作者<；br />；
1 引言：为什么要超越 Hadoop Map-Reduce<；br />；
 Hadoop的适用范围<；br />；
 大数据分析之机器学习实现的革命<；br />；
 第一代机器学习工具/范式<；br />；
 第二代机器学习工具/范式<；br />；
 第三代机器学习工具/范式<；br />；
 小结<；br />；
 参考文献<；br />；
2 何为伯克利数据分析栈（BDAS）<；br />；
 实现 BDAS的动机<；br />；
 Spark：动机<；br />；
 Shark：动机<；br />；
 Mesos：动机<；br />；
 BDAS的设计及架构<；br />；
 Spark：高效的集群数据处理的范式<；br />；
 Spark的弹性分布式数据集<；br />；
 Spark的实现<；br />；
 Spark VS分布式共享内存系统<；br />；
 RDD的表达性<；br />；
 类似 Spark的系统<；br />；
 Shark：分布式系统上的 SQL接口<；br />；
 Spark为 Shark提供的扩展<；br />；
 列内存存储<；br />；
 分布式数据加载<；br />；
 完全分区智能连接<；br />；
 分区修剪<；br />；
 机器学习的支持<；br />；
 Mesos：集群调度及管理系统<；br />；
 Mesos组件<；br />；
 资源分配<；br />；
 隔离<；br />；
 容错性<；br />；
 小结<；br />；
 参考文献<；br />；
3 使用 Spark实现机器学习算法<；br />；
 机器学习基础知识<；br />；
 机器学习：随机森林示例<；br />；
 逻辑回归：概述<；br />；
 二元形式的逻辑回归<；br />；
 逻辑回归估计<；br />；
 多元逻辑回归<；br />；
 Spark中的逻辑回归算法<；br />；
 支持向量机<；br />；
 复杂决策面<；br />；
 支持向量机背后的数学原理<；br />；
 Spark中的支持向量机<；br />；
 Spark对 PMML的支持<br />
 PMML结构<br />
 PMML的生产者及消费者<br />
 Spark对朴素贝叶斯的 PMML支持<br />
 Spark对线性回归的PMML支持<br />
 在Spark中使用MLbase进行机器学习<br />
 参考文献<br />
4 实现实时的机器学习算法<br />
 Storm简介<br />
 数据流<br />
 拓扑<br />
 Storm集群<br />
 简单的实时计算例子<br />
 数据流组<br />
 Storm的消息处理担保<br />
 基于Storm的设计模式<br />
 分布式远程过程调用<br />
 Trident：基于Storm的实时聚合<br />
 实现基于Storm的逻辑回归算法<br />
 实现基于Storm的支持向量机算法<br />
 Storm对朴素贝叶斯PMML的支持<br />
 实时分析的应用<br />
 工业日志分类<br />
 互联网流量过滤器<br />
 Storm的替代品<br />
 Spark流<br />
 D-Streams的动机<br />
 参考文献<br />
5 图处理范式<br />
 Pregel：基于BSP的图处理框架<br />
 类似的做法<br />
 开源的Pregel实现<br />
 Giraph<br />
 GoldenORB<br />
 Phoebus<br />
 Apache Hama<br />
 Stanford GPS<br />
 GraphLab<br />
 GraphLab：多核版本<br />
 分布式的GraphLab<br />
 PowerGraph<br />
 通过 GraphLab实现网页排名算法<br />
 顶点程序<br />
 基于GraphLab实现随机梯度下降算法<br />
 参考文献<br />
6 结论：超越Hadoop Map-Reduce的大数据分析<br />
 Hadoop YARN概览<br />
 Hadoop YARN的动机<br />
 作为资源调度器的 YARN<br />
 YARN上的其他框架<br />
 大数据分析的未来是怎样的<br />
 参考文献<br />
附录 A代码笔记
<p>
	
</p>

前沿

译者序
　　2014年的时候，因为要查找技术资料，我知道了并发编程网，（后来又加入了它的技术交流群。当时我刚好在学习Storm，由于相关资料太少，不得己买了一本英文版的GettingStartedWithStorm，很痛苦地研读。那时我想，既然不得不把英文书读一遍，为什么不把它翻译成中文呢，刚好并发网在招募翻译，要引进国外优秀的技术文章，我主动询问能不能把我翻译的内容发到并发网上。从此之后，便开始了我的技术文章翻译之路，利用业余时间完成了GettingStartedWithStorm的翻译工作。后来，方腾飞又提供了这一本BigDataAnalyticsBeyondHadoop：Real-TimeApplicationswithStorm,Spark,andMoreHadoopAlternatives，与支付宝公司的黄经业合作完成了这本书的翻译工作。
　　本书概述了各种大数据技术在不同领域的应用，可以为想要了解大数据技术的朋友提供必要的指引和概览。在读完本书之后再决定要继续深入学习哪些内容将会事半功倍。
　　本书的翻译也是互联网上本来互不相识的几人共同促成与努力的结果，又因为本书使我们几人相识。本书译本绝对是互联网精神的绝佳诠释。
　　感谢方腾飞和郭蕾提供了并发网这样一个技术交流平台。感谢黄经业与我一起完成本书的翻译工作。感谢刘舫对本书的审阅与指正。谢谢大家！　　译者序 　　2014年的时候，因为要查找技术资料，我知道了并发编程网，（后来又加入了它的技术交流群。当时我刚好在学习Storm，由于相关资料太少，不得己买了一本英文版的GettingStartedWithStorm，很痛苦地研读。那时我想，既然不得不把英文书读一遍，为什么不把它翻译成中文呢，刚好并发网在招募翻译，要引进国外优秀的技术文章，我主动询问能不能把我翻译的内容发到并发网上。从此之后，便开始了我的技术文章翻译之路，利用业余时间完成了GettingStartedWithStorm的翻译工作。后来，方腾飞又提供了这一本BigDataAnalyticsBeyondHadoop：Real-TimeApplicationswithStorm,Spark,andMoreHadoopAlternatives，与支付宝公司的黄经业合作完成了这本书的翻译工作。 　　本书概述了各种大数据技术在不同领域的应用，可以为想要了解大数据技术的朋友提供必要的指引和概览。在读完本书之后再决定要继续深入学习哪些内容将会事半功倍。 　　本书的翻译也是互联网上本来互不相识的几人共同促成与努力的结果，又因为本书使我们几人相识。本书译本绝对是互联网精神的绝佳诠释。 　　感谢方腾飞和郭蕾提供了并发网这样一个技术交流平台。感谢黄经业与我一起完成本书的翻译工作。感谢刘舫对本书的审阅与指正。谢谢大家！ 　　虽然这是本人的第二本译作，但经验与水平实在有限，书中很多专业术语和数学概念对于本人来说实在晦涩艰深，译文不妥之处还请读者海涵，并予以斧正。昀后希望本书能为需要了解与学习大数据技术的朋友提供帮助。 　　吴京润于2015.1.14零点 　　前言 　　我试图给人们学习大数据留下一点深刻的印象：尽管ApacheHadoop很有用，而且是一项非常成功的技术，但是这一观点的前提已经有些过时了。考虑这样一条时间线：由谷歌实现的Map-Reduce投入使用的时间可追溯到2002年，发布于2004年。Yahoo!于2006年发起Hadoop项目。MR是基于十年前的数据中心的经济上的考虑。从那时起，已经有太多的东西发生了变化：多核处理器、大内存地址空间、10G网络带宽、SSD等，至今，这已经产生了足够的成本效益。这些极大地改变了在构建可容错分布式商用系统规模方面的取舍。 　　此外，我们对于可处理数据规模的观念也发生了变化。成功的公司，诸如亚马逊、eBay、谷歌，他们想要更上一层楼，也促使随后的商业领袖重新思考：数据可以用来做什么？举个例子，十年前是否有为大型图书出版商优化业务的大规模图论用例？不见得有。出版社高层不可能有耐心听取这样一个古怪的工程建议。这本书本身的营销将基于大规模数据、开源、图论引擎，这些也将在本书后续章节讲到。同样的，广告科技和社交网络应用驱动着开发技术，对于如今工业化的因特网，采用Hadoop将显得捉襟见肘，也就是所谓的“物联网”——在某些情况下，会有几个数量级的差距。 　　自从MR的商用硬件规模首次制定以来，底层系统的模型已发生了巨大变化。我们的商业需求与期望模型也发生了显著的变化。此外，应用数学的数据规模与十年前的构想也有巨大的差异。如今主流编程语言也能为并行处理的软件工程实践提供更好的支持。 　　Agneeswaran博士认为，这些视图以及对它们的更多关注和系统方法，呈现了如今大数据环境的全景视图，甚至还有超越。本书引领我们看到了过去十年是如何通过Map-Reduce做批处理数据分析的。这些章节介绍了理解它们的关键历史背景，并为应用这些技术提供了清晰的商业用例的至关重要的方面。这些论据为每个用例提供了分析，并指出为什么Hadoop不是很适合应用于此——通过对例证的彻底研究、对可用开源技术的出色调查，以及对非开源项目的出版文献的回顾。 　　本书研究了在如今的商业需求中除Hadoop以外的昀佳实践以及数据访问方式的可用技术：迭代、流式处理、图论，以及其他技术。比如，一些企业的收入损失计算可精确到毫秒级，以至于“批处理窗口”这样的概念变得毫无意义。实时分析是唯一可以想到的可行方案。开源框架，诸如ApacheSpark、Storm、Titan、GraphLab，还有ApacheMesos，可以满足这些需求。Agneeswaran博士引导读者们了解这些框架的架构和计算模型、研究通用设计模式。他在书中提到了业务范围的影响以及实现细节，还有代码样例。 　　伴随着这些框架，本书也为开放标准预测模型标记语言提出了一个引人入胜的例子，使得预测模型可以在不同平台与环境之间迁移。本书还提到YARN以及下一代超越Map-Reduce的模型。 　　这正是当今业界的焦点——Hadoop基于2002年以来的IT经济，然而更新的框架与当代业界的用例更为密切。本书为你进入大数据分析领域提供了专家指导，并热烈欢迎来到大数据分析的世界。 　　PacoNathan 　　EnterpriseDataWorkflowswithCascading一书的作者Zettacap的顾问，Amplify的合作伙伴 　　致谢 　　首先，我要衷心感谢Impetus的助理副总裁兼创新实验室的主管VineetTyagi。Vineet对我的帮助很大，并让我得以写作此书。这六七个月以来，他每天给我的工作时间里留出3个小时来进行写作，这是本书得以完稿的关键。任何学术活动都要专注与坚持——如果我只能在工作之余写作的话，想必是难上加难。Vineet使得写作本书成为我工作的一部分。 　　同时，我也想感谢Impetus的CTO及高级副总裁PankajMittal，感谢他对研发的全力支持，让我能够全职参与研发工作。Impetus能够有这样一支没有赢利压力的研发团队，Pankaj功不可没。这极大地减轻了我的负担并使我得以专注于研发工作。在IT行业，工作之余进行写作是一项艰巨的任务。感谢Pankaj让这一切成为了可能。 　　PraveenKankariya是Impetus的CEO，他一直激励并引导着我。感谢Praveen的大力支持！ 　　我还要感谢Impetus的助理副总裁，数据科学实践小组的主管NitinAgarwal博士。我的一些思想的成形离不开他的帮助，尤其是在我们讨论完机器学习算法的实现之后。他是我非常敬佩的人，也激励着我在生活中不断地追求卓越。Nitin之前还担任过印度管理学院（IIM）印多尔分院的教授，我一向对学者都非常敬重，从这也可见一斑。 　　本书的完成也离不开PranayTonpay的帮助，他是Impetus的资深架构师，在我的研发团队里负责实时分析流。他一直在帮助实现本书中的一些想法，包括在Spark和Storm上的一些机器学习算法。他是我的得力助手，这里要特别感谢他。 　　JayatiTiwari是Impetus的资深软件工程师，Spark及Storm上的部分机器学习算法便是她完成的。她对Storm了如指掌——事实上，她被公认是公司里面的Storm专家。同时她对机器学习和Spark也产生了浓厚的兴趣。很高兴能与她一起共事。谢谢你，Jayati！ 　　SaiSagar是Impetus的软件工程师，他帮助实现了GraphLab上的一些机器学习算法。感谢Sagar，很高兴团队中有你存在！ 　　AnkitSharma，Impetus的前数据科学家，现担任Snapdeal的研究工程师，“逻辑回归”部分中的一节出自他的笔下，就是本书第3章中介绍逻辑回归基础的那部分。我们也曾多次就机器学习进行切磋探讨，这里一并感谢，Ankit！ 　　我还要感谢编辑JeanneLevine、LoriLyons以及Pearson出版社的其他工作人员，他们一直以来的努力让这本书从昀初交付的草稿到现在昀终的定稿。同时还要感谢Pearson出版社，是他让这本书得以面世。 　　我要感谢我们的技术作家GurvinderArora，是他对本书的各个章节进行了审阅。 　　我还想借此机会感谢我在印度理工学院（IIT）马德拉斯分校的博士导师，D.Janakiram教授，在我成长的岁月里，是他鼓励我走上了研究的道路。他对我帮助良多——我的技术性思维、价值观都受他启发，在我的职业生涯中他也一直激励和鼓舞着我。其实，这本书的写作昀初是受他昀近在TataMcGraw-Hill出版的新书BuildingLargeScaleSoftwareSystems的影响。不仅是DJ教授，我还要感谢从Sankara高中一直到在SriVenkateshwara工程学院（SVCE）以及印度理工学院马德拉斯分校的所有老师及教授——是他们培养出了今天的我。 　　我还要感谢Impetus的前资深数据科学家，目前担任MacAfee资深科学家的JoydebMukherjee。他对本书的第一章进行了审阅，我们一起工作的时候，经常会在想法上产生共鸣。这更加坚定了我的超越Hadoop的思想体系。同时他也指出了这一领域中的一些优秀的成果，其中就包括Langford等人的杰作。 　　我还要感谢EddDumbill博士，他曾就职于O’Reilly，现担任硅谷数据科学（SiliconValleyDataScience）的副总裁—— 　　他是大数据期刊的编辑，我曾经在上面发表过文章。他一直在帮忙审阅本书。2013年2月，他在加州组织Strata会议时，我做了一次有关超越Hadoop的概念的演讲。这次演讲奠定了本书的基调。我还要借此机会感谢Strata大会的组织者采纳了我发表的一些提议。 　　我还要感谢PacoNathan博士对本书的审阅，并为本书撰写了序言。他的评价对我的鼓舞很大，正如他的职业生涯也一直激励着我

免费在线读

　　2014 年的时候，因为要查找技术资料，我知道了并发编程网，后来又加入了它的技术交流群。当时我刚好在学习Storm，由于相关资料太少，不得己买了一本英文版的Getting Started With Storm，很痛苦地研读。那时我想，既然不得不把英文书读一遍，为什么不把它翻译成中文呢，刚好并发网在招募翻译，要引进国外优秀的技术文章，我主动询问能不能把我翻译的内容发到并发网上。从此之后，便开始了我的技术文章翻译之路，利用业余时间完成了Getting Started With Storm 的翻译工作。后来，方腾飞又提供了这一本Big Data Analytics Beyond Hadoop ： Real-Time Applications with Storm, Spark, and More Hadoop Alternatives，与支付宝公司的黄经业合作完成了这本书的翻译工作。

　　本书概述了各种大数据技术在不同领域的应用，可以为想要了解大数据技术的朋友提供必要的指引和概览。在读完本书之后再决定要继续深入学习哪些内容将会事半功倍。

　　本书的翻译也是互联网上本来互不相识的几人共同促成与努力的结果，又因为本书使我们几人相识。本书译本绝对是互联网精神的绝佳诠释。

　　感谢方腾飞和郭蕾提供了并发网这样一个技术交流平台。感谢黄经业与我一起完成本书的翻译工作。感谢刘舫对本书的审阅与指正。谢谢大家！

　　虽然这是本人的第二本译作，但经验与水平实在有限，书中很多专业术语和数学概念对于本人来说实在晦涩艰深，译文不妥之处还请读者海涵，并予以斧正。最后希望本书能为需要了解与学习大数据技术的朋友提供帮助。

　　吴京润

　　于2015.1.14 零点

　　作者简介

　　Vijay Srinivas Agneeswaran 博士，1998 年于SVCE 的马德拉斯分校获得计算机科学与工程专业的学士学位，2001 年获取了印度理工学院马德拉斯分校的硕士学位（研究性质），2008年又获取了该校的博士学位。他曾在瑞士洛桑的联邦理工学院的分布式信息系统实验室（LSIR）担任过一年的博士后研究员。之前7 年先后就职于Oracle、Cognizant 及Impetus，对大数据及云领域的工程研发贡献颇多。目前担任Impetus 的大数据实验室的执行总监。他的研发团队在专利、论文、受邀的会议发言以及下一代产品创新方面都处于领导地位。他主要研究的领域包括大数据管理、批处理及实时分析，以及大数据的机器学习算法的实现范式。最近8 年来，他一直是计算机协会（ACM）以及电气和电子工程师协会（IEEE）的专家成员，并于2012年12 月被推选为IEEE 的资深成员。他在美国、欧洲以及印度的专利局都申请过专利（并持有美国的两项专利）。他在前沿的期刊及会议，包括IEEE transaction 上都发表过论文。他还是国内外多个会议的特邀发言人，譬如O’Reilly 的Strata 大数据系列会议。最近一次公开发表论文是在Liebertpub 的大数据期刊上。他与妻子及儿女一起居住在班加罗尔，对印度、埃及、巴比伦以及希腊古代的文化与哲学的研究非常感兴趣。