云计算：从基础架构到最佳实践 PDF下载

编辑推荐

　　源自云数据中心一线架构与运维专家的倾情力作。

　　揭秘企业级云数据中心（IaaS）基础架构、经典案例、**实践。

　　虚拟化、云存储、无阻塞网络、大数据处理相关技术一书网尽。

　　理论联系实际，实用价值高。

；

内容简介

　　《云计算：从基础架构到*实践》定位于企业级私有云数据中心的规划、实施与运维服务体系建设，并配合实践用例系统地介绍国内外云计算进展和数据中心向云计算的演变趋势，以及实现云计算特征的关键技术。本书分为4篇，第1篇系统介绍云计算背景、原理、数据中心发展趋势、主流架构等；第2篇介绍服务器虚拟化技术；第3篇介绍云计算架构，重点内容有私有云资源平台架构、服务交付架构、运维流程架构、IaaS*实践等；第4篇介绍Hadoop平台，主要内容有分布式文件系统(HDFS)、分布式计算框架(MapReduce)、分布式非关系型数据库(HBase)3个平台的搭建、部署、原理、使用、编程等。
　　《云计算：从基础架构到*实践》既注重原理与架构的讲解，又注重实践操作，力求使读者能够理论联系实际。本书采用的均是当前业界主流的技术与产品，既有商用平台，也有开源平台，并围绕这些平台提供了丰富的应用示例，这些例子均来自于云数据中心一线架构与运维，具有较高的实用价值。作者基于多年的技术积累和经验编写本节，相信能帮助读者快速获得相关知识。
本书非常适合从事传统IT模式云计算、虚拟化、Hadoop工作的初中级运维工作者，从事云计算技术研究的企事业单位开发人员学习和参考，同时也适合高校计算机相关专业的专科、本科和研究生学习使用。

作者简介

暂无

云计算：从基础架构到最佳实践 PDF下载

第1篇 概述
第1章 云计算概述
1.1 从案例看云计算
1.2 从服务产品看云计算
1.2.1 Amazon云计算服务简介
1.2.2 Google云计算服务简介
1.2.3 Salesforce云计算服务简介
1.2.4 云计算服务
1.3 计算模式的演变
1.4 “云端”计算
1.5 并行计算
1.5.1 MPI函数
1.5.2 MapReduce算法
1.5.3 MPI的遗留问题
1.6 Hadoop
1.6.1 Hadoop的构造
1.6.2 HDFS文件系统
1.6.3 MapReduce计算架构
1.6.4 Hadoop的局限
1.7 互联网云计算
1.8 传统IT云计算
1.9 虚拟化
1.9.1 资源池化
1.9.2 动态资源调度
1.10 有关云计算的参考资料
1.11 小结
第2篇 虚拟化
第2章 拥抱虚拟化
2.1 为什么选择虚拟化
2.1.1 当前困境
2.1.2 虚拟化带来的价值
2.1.3 可选的虚拟化架构
2.2 虚拟化技术
2.2.1 虚拟化概述
2.2.2 虚拟化特性
2.2.3 服务器虚拟化分类
2.3 VMware与虚拟化功能介绍
2.3.1 VMware介绍
2.3.2 vSphere组件
2.3.3 物理拓扑
2.3.4 虚拟数据中心
2.3.5 计算与内存资源
2.3.6 网络资源
2.3.7 存储资源
2.3.8 资源管理
2.3.9 分布式服务
2.4 其他虚拟化平台
2.4.1 Hyper-V平台
2.4.2 KVM平台
2.4.3 XEN介绍
2.4.4 VirtuaIBox介绍
2.4.5 0penVZ介绍
2.4.6 非主流虚拟化平台
2.5 小结

免费在线读

1.1 ；从案例看云计算

先从几个真实的案例认识一下什么是云计算。

案例一：

2008年3月19日，美国国家档案馆公开了希拉里·克林顿在1993—2001年作为第一夫人期间的白宫日程档案。这些档案具有极高的社会关注度与新闻时效性，华盛顿邮报希望在第一时间上传互联网，以便公众查询。但这些档案都是不可检索的PDF文件，若想将其转换为可以检索并便于浏览的文件格式，需要进行再处理。而以华盛顿邮报当时所拥有的计算能力，需要超过一年的时间才能完成全部档案的格式转换工作。显然，这样的效率不能满足新闻的时效性和公众对于信息的期盼。因此，华盛顿邮报将这个档案的转换工程交给AmazonEC2(Elastic Compute Cloud )。AmazonEC2同时使用200个虚拟服务器实例，在9个小时内将所有的档案转换完毕，以最快的速度将这些第一手资料呈现给读者。华盛顿邮报在9个小时内使用了1407小时的虚拟服务器机时，仅需要向Amazon公司支付144.62美元的费用。

案例二：

Giftag是一款Web2.0应用，其以插件的形式安装在Firefox和IE浏览器上。互联网用户在浏览网页时，可以利用这个插件将心仪的商品加入到由Giftag维护的商品清单中。这个应用一经推出，便广泛流行起来，注册用户数量激增，每天Giftag的服务器都要响应数以百万计的请求，并存储用户提交的海量信息，服务器很快就不堪重负。为此，Giftag将应用迁移到GoogleApp Engine(GAE)平台，基于GAE开放的API，Giftag可以利用Google具有可伸缩性的计算处理性能响应高峰期的用户请求，利用Google的分布式数据库存储用户数据。Giftag从一个初创的Web2.0应用平稳过渡到一个稳定的、持续增长的网络服务。在这一过程中，Giftag公司避开了高昂的基础设施投入风险和Web应用复杂的软件配置。在GAE平台上，Giftag可以将自己的精力集中于应用本身，而将诸如服务器动态扩展、数据库访问、负载均衡等各个层次的问题交给GAE平台来解决。正是由于GAE将Web应用所需的基础功能作为服务提供给了Giftag，才使得其可以专注于应用的开发和优化。

案例三：

哈根达斯是著名的冰激凌供应商，其加盟店遍布世界各地。公司需要一个CRM(客户关系管理)系统对所有的加盟店进行管理。当时哈根达斯用Excel表单来管理和跟踪主要的加盟店，用Access数据库来存储协议加盟店的数据，通过虚拟专用网(VPN)来访问数据库。因此，公司急需一个能够让分布在各地的员工沟通协作的解决方案，并且该方案应该能够根据不同的需求进行灵活配置。哈根达斯公司选择了SalesforceCRM企业版，应用系统在不到6个月的时间就上线了。哈根达斯公司用更少的成本获得了超预期的效果。如果哈根达斯公司要搭建自己的CRM平台，传统的做法是先聘请一支专业的顾问团队研究公司的业务流程，建模分析并提出咨询报告。然后再雇用一家IT外包公司，进驻自己的公司对平台进行开发。同时，还需要购买服务器、交换机、防火墙、各种各样的软件，以及租用带宽等。哈根达斯公司采用如同在超市选购商品一样选择自己需要的功能模块，让Salesforce.com进行定制集成一个属于自己的CRM系统，系统的上线和维护也将由Salesforce.com的专业团队负责。

上述案例如果说是典型的云计算应用，我们就可以从用户的视角归纳出一些云计算的关键特征。

l 网络是实现云计算的基础。云计算是伴随互联网的进步而发展的。当互联网用户的网络传输速度普遍在14.4kbps拨号接入等低速网络带宽时，没有人会考虑采用云计算。云计算时代的用户将严重依赖网络。只有网络通畅才能按需向用户提供服务。

l 云计算提供按需分配和使用计算资源、存储资源和应用软件资源的能力。用户根据实际需求向服务商动态购买计算资源、存储资源和应用软件资源，而不是直接采购软硬件系统。

以网络为基础，按需分配和使用计算资源、存储资源和应用软件资源，这是一个再朴素不过的逻辑。因此，云计算的出现是自然的，更是必然的。云计算并不是突然出现的，可以找出其发源和演变的历史轨迹。

l 电厂模式。从其他行业取经对IT行业本身发展是不可或缺的一步。在IT界，“电厂模式”的概念有着深远的影响，许许多多的IT人在不断地实践着这个理念。电厂模式的意思是利用电厂的规模效应来降低电力的价格，并让用户使用起来更方便，且无需维护和购买任何发电设备。

l 效用计算。在20世纪60年代，计算设备的价格非常昂贵，很多人就产生了共享计算资源的想法。人工智能之父麦肯锡1961年在一次会议上提出了“效用计算”(utilitycomputing)的概念，其目标是整合分散在各地的服务器、存储系统以及应用程序，将其共享给多个用户，让用户能够像把灯泡插入灯座一样来使用计算机资源，并且根据其使用量来付费。但由于当时互联网等很多强大的技术还未诞生，尽管这个想法一直都为人称道，但难以将其变为现实。

l 网格计算。网格计算中的网格含义是“grid”，其英文原意就是来源于电力的格。网格计算主要研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多相对低性能的计算机来处理，最后把这些计算结果综合起来。网格计算没能在工程界和商业界取得预期的成功，普遍认为是由于其过于技术化，忽略了普通用户的现实需求。

今天的云计算与前面的电厂模式、效用计算、网格计算何其类似，都是希望IT技术能像使用电力那样方便，并且成本低廉。但与效用计算和网格计算不同的是，今天许多关键性的支撑技术日渐成熟，用户的需求也渐成规模。

让我们借助尼古拉斯·卡尔在《大转变》中有关电力发展史的描述再讲述一下“电厂模式”：“开始因为直流电传输距离短，所以发电机成为很多需要使用电力的企业和个人的选择，但是由于长距离传输交流电技术的不断成熟，英特尔的关于电厂的想法成为了现实；之后由于电厂规模不断增大，电力的价格也随之降低，而且使用起来更方便；最后，电厂模式成为了主流。”回过头来再审视一下IT技术的发展，会与电力技术的发展相似吗？发电机好比现在的机房及基础设施，交流电技术好比现在的互联网，而电厂和云计算数据中心更是何其相似。

“电厂模式”的愿景是美好的，只要接入网络，企业和个人就能按需使用计算资源、存储资源和应用软件资源，同时卸去了维护系统的重担，而且价格低廉。但现实是：要真正实现“电厂模式”，绝不是一朝一夕的事情。

1.2 从服务产品看云计算

上述云计算用户案例涉及的AmazonEC2、GoogleApp Engine(GAE)、Salesforce.com也可以说是当前比较典型的云计算服务产品了。现在我们认识一下这些云计算服务产品。

1.2.1 Amazon云计算服务简介

在开展云计算服务之前，亚马逊(Amazon.com)是美国最大的基于B2C的电子商务公司。为了满足旺季的销售需要，Amazon不得不购买很多服务器以应对超常的客户访问量。但是旺季过去之后，这些服务器就处于闲置状态而得不到充分的利用。为了让这些服务器能够得到充分的利用，Amazon开始尝试将这些物理服务器虚拟成虚拟服务器，并以在线交易的形式租给愿意花钱购买虚拟服务器的客户，这就是今天Amazon云计算服务的雏形。

1. AmazonEC2

Amazon Elastic ComputingCloud(EC2，亚马逊弹性计算云)是Amazon向公共用户出租虚拟机的商业化服务。任何用户只需要创建一个账号，并绑定有效的信用卡，即可获得一台完全属于自己的虚拟服务器。

用户登录服务界面，选择希望虚拟服务运行的“Region”和“zone”后(相当于选择运行虚拟服务的数据中心)，就可以创建自己的虚拟服务器了。

虚拟服务器的创建过程很简单，只需按照EC2的提示一步一步进行即可。EC2提示用户选CPU个数、内存容量、硬盘容量等配置参数；然后，EC2会询问用户需要安装的操作系统，如Windows或Linux；更进一步，用户可以根据EC2提供的工具创建一个个性化的操作系统，这个个性化的操作系统可能是修改过内核模块的Linux操作系统，或者预装了一些软件的Windows操作系统等。另外，用户可以通过一个简单的防火墙界面，设置虚拟服务器的网络安全策略。

上述创建过程完成后，用户只需单击Launch按钮，EC2就开始进行虚拟服务器的部署了。几分钟之内，用户就可以对其进行访问了。在使用过程中，用户还可以结合监控服务，对虚拟机的资源使用状况(例如CPU、网络等)进行实时的观察。除此以外，用户还可以为某项性能指标设定阈值，一旦某项指标超过了阈值，EC2会自动为用户再分配一台虚拟机。因此，通过监控和联动操作，用户能够获得可弹性伸缩的能力。

EC2提供的虚拟服务器在用户看来是一台完全独立的服务器，用户甚至感觉不出这是一台虚拟的服务器。通过EC2所提供的服务，用户不仅可以非常方便地申请所需要的计算资源，而且可以灵活地定制所拥有的资源，如用户拥有虚拟的所有权限，可以根据需要定制操作系统，安装所需的软件。最后，用户可以根据业务的需求自由地申请或者终止资源使用，而只需为实际使用的资源数量付费。

EC2的虚拟服务器与拥有一台传统意义上的服务器还是存在一些值得注意的差别。

EC2由AmazonMachine Image (AMI)、EC2虚拟机实例和AMI运行环境组成。AMI是一个用户可定制的虚拟机镜像，是包含了用户的所有软件和配置的虚拟环境，是EC2部署的基本单位。AMI被部署到EC2的运行环境后就产生了一个EC2虚拟机实例，由同一个AMI创建的所有实例都拥有相同的配置。需要注意的是，EC2虚拟机实例内部并不保存系统的状态信息，存储在实例中的动态信息将随着它的终止而丢失。用户需要借助Amazon的数据持久化服务保存用户数据，这些服务包括AmazonSimple Storage Service(S3，亚马逊简单存储服务)、AmazonSimpleDB(亚马逊简单数据库)、AmazonSimple Queue Service(SQS，亚马逊简单队列服务)。

2. AmazonS3

Amazon Simple Storage Service(S3)是云计算平台提供的可靠的网络存储服务。通过S3，个人用户可以将自己的数据放到存储云上，通过互联网进行访问和管理。同时，Amazon公司的其他服务也可以直接访问S3。

作为云平台上的存储服务，S3具有与本地存储不同的特点。S3采用的按需付费方式节省了用户使用数据服务的成本。S3既可以单独使用，也可以同Amazon公司的其他服务结合使用。云平台上的应用程序可以通过REST或者SOAP接口访问S3中的数据。以REST接口为例，S3中的所有资源都有唯一的URI标识符，通过向指定的URI发出HTTP请求，就可以完成数据的上传、下载、更新或者删除等操作。

为了保证数据服务的可靠性，S3采用了冗余备份的存储机制，存放在S3中的所有数据都会在其他位置备份，保证部分数据失效不会导致应用失效。在后台，S3保证不同备份之间的一致性，将更新的数据同步到该数据的所有备份上。

3. AmazonSimpleDB

AmazonSimpleDB是一种支持结构化数据存储和查询操作的轻量级数据库服务。与传统的关系数据库不同，SimpleDB不需要预先设计和定义任何数据库Schema，只需定义属性和项，即可用简单的服务接口对数据进行创建、查询、更新或删除操作。

SimpleDB是一种简单易用的、可靠的结构化数据管理服务，它能满足应用不断增长的需求，用户不需要购买、管理和维护自己的存储系统，是一种经济有效的数据库服务。SimpleDB提供两种服务访问方式：REST接口和SOAP接口。这两种方式都支持通过HTTP协议发出的POST或者GET请求访问SimpleDB中的数据。

需要注意的是，SimpleDB毕竟是一种轻量级的数据库，与技术成熟、功能强大的关系数据库相比有些不足，SimpleDB不能保证所有的更新都按照用户提交的顺序执行，只能保证每个更新最终成功，因此应用通过SimpleDB获得的数据有可能不是最新的。此外，SimpleDB的存储模型是以域、项、属性为层次的树状存储结构，与关系数据库的表的二维平面结构不同，因此在一些情况下并不能将关系数据库中的应用迁移到SimpleDB上。

4. AmazonSQS

Amazon Simple QueueService(SQS)是一种用于分布式应用的组件之间数据传递的消息队列服务，这些组件可能分布在不同的计算机上。利用SQS能够将分布式应用的各个组件以松耦合的方式结合起来，从而创建可靠的Web规模的分布式系统。松耦合的组件之间独立性强，系统中任何一个组件的失效都不会影响整个系统的运行。

消息和队列是SQS实现的核心。消息是可以存储到SQS队列中的文本数据，可以由应用通过SQS的公共访问接口执行添加、读取、删除操作。队列是消息的容器。SQS是一种支持并发访问的消息队列服务，它支持多个组件并发的操作队列，如向同一个队列发送或者读取消息。消息一旦被某个组件处理，则该消息将被锁定，并且被隐藏，其他组件不能访问和操作此消息，此时队列中的其他消息仍然可以被各个组件访问。

SQS采用分布式构架实现，每一条消息都可能保存在不同的机器中，甚至保存在不同的数据中心里。这种分布式存储策略保证了系统的可靠性，但并不严格保证消息的顺序。另外，消息的传递可能有延迟，不能期望发出的消息马上被其他组件看到。

1.2.2 Google云计算服务简介

Google公司拥有目前全球最大规模的互联网搜索引擎，并在海量数据处理方面拥有先进的技术，如分布式文件系统GFS、分布式存储服务Datastore及分布式计算框架MapReduce等。2008年Google公司推出了GoogleAppEngine (GAE) Web运行平台，使用户的业务系统能够运行在Google分布式基础设施上。GAE平台具有易用性、可伸缩性、低成本的特点。另外，Google公司还提供了丰富的云端应用，如Gmail、GoogleDocs等。

GAE不能让用户执行后台服务或分割自己的系统。它建立在既有的框架之上，并允许用户快捷地部署Web应用。与EC2不同，要使用GAE，必须使用Google的框架，不能直接访问底层的虚拟机系统。因此，GAE并不会在待机时间向你征收费用，只有在CPU实际处理时才会计费。

GAE平台支持Python和Java两种编程语言。不论使用哪种语言平台，都需要使用GAE平台提供的一组类库。同时，GAE平台还会赋予用户将数据存入一个独特数据库的能力，这个数据库类似于SimpleDB，但是它允许用户自定义索引。GAE同时还直接与许多Google的服务相集成。例如，用户可以用Google身份验证来取代自己的身份验证机制(或者与其他第三方的服务相集成)，以此向用户提供一个简单的单点登录系统。用户还可以直接集成GoogleMail来向他人发送电子邮件，甚至可以使用Google的即时消息(XMPP)系统实时地与他人直接沟通。Google还提供了一个独特的任务队列(TaskQueue)系统，能让用户创建类似Cron作业那样的以一定时间间隔执行的任务。

GAE不同于EC2，EC2的目标是为了提供一个分布式的、可伸缩的、高可靠的虚拟机环境。GAE更专注于提供一个开发简单、部署方便、伸缩快捷的Web应用运行和管理平台。GAE的服务涵盖了Web应用整个生命周期的管理，包括开发、测试、部署、运行、版本管理、监控及卸载。GAE使应用开发者只需要专注核心业务逻辑的实现，而不需要关心物理资源的分配、应用请求的路由、负载均衡、资源及应用的监控和动态伸缩。

整个GAE平台主要由5个模块组成。

l 应用服务器。主要用于接收来自外部的