数据中心的网络互联结构和流量协同传输管理 PDF下载

编辑推荐

大规模在线应用、企业级基础服务、以及各种新型应用促使诞生了十万级甚至百万级服务器的大型数据中心。云计算、物联网、大数据等新型计算和应用推动了现代数据中心的快速发展，并使其成为国家和IT企业的核心信息基础设施。数据中心网络不仅是连接大规模服务器的桥梁，而且是承载网络化存储和网络化计算的基础，其网络互连结构的设计是影响网络性能的首要因素。现代数据中心的内部流量已从传统的“南北流量”为主演变为“东西流量”为主，导致数据中心的网络性能成为瓶颈，传统的树型互连结构已经不能满足新的需求。近年来，研究人员从不同角度提出了很多新型数据中心网络互连结构，力求满足高带宽、高容错、高可扩展性和低成本的需求。虽然新型互联结构的研究不断提高数据中心的网络传输能力，但是对数据中心现有传输能力的高效利用同样重要。本专著将将围绕数据中心的这两大重要研究领域，将作者本人的研究成果和其他代表性工作融合贯通，揭示数据中心网络架构设计理念的发展和变化，梳理数据中心内庞大的“东西向流量”管理方法。；

内容简介

本书对数据中心及其网络互联结构的现状和发展趋势进行了深度剖析，深入介绍了一些新型网络互连结构的设计与优化方法，力求满足数据中心网络的高带宽、高容错、高可扩展性等方面的需求，并通过引入数据中心内关联性流量的协同传输机制，实现对数据中心现有传输能力的高效利用。本书可用作高等学校计算机专业、软件工程专业、信息系统工程专业以及其他相近专业的教材或教学参考书，也可供这些专业的研究人员和工程技术人员阅读。

作者简介

暂无

数据中心的网络互联结构和流量协同传输管理 PDF下载

第1部分基础知识
第1章数据中心简介
1.1起源与发展
1.1.1数据中心的概念及分类
1.1.2云计算对数据中心的需求
1.1.3大数据对数据中心的需求
1.1.4新一代数据中心的发展
1.2数据中心的应用领域
1.2.1基于数据中心的网络化存储
1.2.2基于数据中心的网络化计算
1.2.3基于数据中心的大数据应用
1.3数据中心网络面临的挑战
1.3.1功能可灵活定制的数据中心网络
1.3.2横向可扩展的数据中心网络
1.3.3数据中心网络资源的高效复用
1.3.4数据中心的网络虚拟化
1.3.5关联性流量的协同传输问题
1.3.6数据中心网络能耗的协同控制
参考文献
第2章数据中心网络互联结构的研究现状
2.1引言
2.2以交换机为核心的网络互联结构
2.2.1树型互联结构
2.2.2扁平化互联结构
2.2.3光交换互联结构
2.3以服务器为核心的网络互联结构
2.3.1基于复合图的互联结构
2.3.2基于非复合图的互联结构
2.4模块化数据中心的互联结构
2.4.1模块内的互联结构
2.4.2模块间的互联结构
2.5随机型数据中心的网络互联结构
2.5.1基于小世界模型的数据中心互联结构
2.5.2基于随机正则图的数据中心互联结构
2.5.3基于无标度网络的数据中心互联结构
2.6无线数据中心的网络互联结构
2.6.1基于60GHz通信技术的混合互联结构
2.6.2基于60GHz通信技术的全无线互联结构
2.6.3基于自由空间通信技术的互联结构
2.6.4基于可见光通信的互联结构
2.7互联结构设计方法的演进和趋势
2.7.1数据中心互联结构设计方法的演进
2.7.2数据中心网络互联结构的发展趋势
参考文献第2部分数据中心的新型网络互联结构第3章以服务器为核心的数据中心互联结构HCN
3.1引言
3.2HCN互联结构
3.2.1复合图的基本理论
3.2.2HCN互联结构的构建方法
3.3BCN互联结构
3.3.1BCN互联结构的描述
3.3.2BCN互联结构的构建方法
3.4BCN互联结构的路由机制
3.4.1单播通信的单路径路由
3.4.2单播通信的多路径路由
3.4.3容错路由模式
3.5性能评估
3.5.1网络规模
3.5.2网络直径和节点度
3.5.3连通性和路由路径多样性
3.5.4路径长度
3.6相关讨论
3.6.1扩展至多端口服务器
3.6.2位置关联的任务部署
3.6.3服务器路由的影响
参考文献
第4章模块化数据中心互联结构DCube
4.1引言
4.2DCube互联结构
4.2.1DCube互联结构的设计思想
4.2.2HDCube互联结构
4.2.3MDCube互联结构
4.3DCube的单播单径路由
4.3.1HDCube的单路径路由方法
4.3.2MDCube的单路径路由方法
4.4DCube的单播多径路由及组播传输
4.4.1HDCube的多路径路由方法
4.4.2MDCube的多路径路由方法
4.4.3组播传输的速率提升
4.5性能评估
4.5.1单播和组播的传输加速能力
4.5.2聚合瓶颈吞吐量
4.5.3成本与布线复杂度的量化比较
4.5.4评估小结
4.6相关问题讨论
4.6.1任务的局部性部署
4.6.2服务器配备更多的NIC端口
4.6.3服务器参与路由决策的影响
参考文献
第5章数据中心的混合互联结构R3
5.1引言
5.2混合互联结构的设计方法
5.2.1混合互联结构概述
5.2.2R3： 基于复合图的互联结构
5.2.3混合互联结构数据中心的部署策略
5.3R3的路由方法
5.3.1基于边着色的标识符分配方法
5.3.2基于标识符的路由方法
5.4R3的拓扑优化
5.4.1R3结构设计的影响因素
5.4.2R3拓扑优化策略
5.5R3的规模渐进扩展问题
5.5.1现有单元簇中添加节点
5.5.2额外添加新的单元簇
5.6性能评估
5.6.1路由方法的时间开销
5.6.2布线成本比较
5.6.3网络性能比较
5.6.4相关问题讨论
参考文献
第6章基于可见光通信的数据中心无线互联结构
6.1问题背景
6.1.1研究动机
6.1.2相关工作
6.2无线互联结构VLCcube的设计
6.2.1数据中心内引入VLC链路的可行性
6.2.2VLC信号的干扰问题
6.2.3VLCcube互联结构设计
6.3VLCcube的路由设计和流调度策略
6.3.1VLCcube中的混合路由算法
6.3.2数据流调度问题的建模
6.3.3数据流的批量调度方法
6.3.4数据流的在线调度方法
6.4VLCcube的性能评估
6.4.1实验设置与实验方法
6.4.2VLCcube的拓扑性质
6.4.3Trace流量下的网络性能
6.4.4Stride2k流量下的网络性能
6.4.5随机流量下的网络性能
6.4.6拥塞感知的流调度算法评估
6.5相关问题讨论
参考文献第3部分数据中心的流量协同传输管理第7章关联性流量Incast的协同传输管理
7.1引言
7.2Incast传输的网内数据聚合
7.2.1Incast数据流间网内聚合的可行性分析
7.2.2Incast最小代价树的建模
7.2.3基于Incast树的流间数据聚合实现
7.3高效Incast聚合树的构建
7.3.1Incast树的构建方法
7.3.2Incast最小代价树的构造方法
7.3.3发送端动态行为的处理方法
7.3.4接收端动态行为的处理方法
7.4相关问题讨论
7.4.1通用Incast传输模式
7.4.2其他数据中心结构下的Incast传输模式
7.4.3作业特征对Incast网内聚合性质的影响
7.5性能评估
7.5.1原型实现
7.5.2数据中心规模对聚合增益的影响
7.5.3Incast传输规模对聚合增益的影响
7.5.4聚合率对聚合增益的影响
7.5.5Incast成员分布对聚合增益的影响
参考文献
第8章关联性流量Shuffle的协同传输管理
8.1引言
8.2Shuffle传输网内聚合
8.2.1问题建模
8.2.2Incast聚合树的构造方法
8.2.3Shuffle聚合子图的构造方法
8.2.4Shffule聚合子图的容错性能
8.3支持数据流网内聚合的可扩展转发策略
8.3.1通用的转发模式
8.3.2基于交换机内Bloom滤波的转发模式
8.3.3基于数据包内Bloom滤波的转发模式
8.4性能评估
8.4.1原型实现
8.4.2数据中心规模对聚合增益的影响
8.4.3Shuffle传输规模对聚合增益的影响
8.4.4聚合率对聚合增益的影响
8.4.5数据包中Bloom滤波的大小
参考文献
第9章不确定关联性Incast的协同传输管理
9.1引言
9.2不确定性Incast传输的网内聚合问题
9.2.1不确定性Incast传输问题
9.2.2确定性Incast传输中的数据流网内聚合
9.2.3不确定性Incast传输中的数据流网内聚合
9.3不确定性Incast传输的聚合树构造方法
9.3.1网内聚合增益的多样性
9.3.2不确定性Incast传输中发送端的初始化问题
9.3.3不确定性Incast的聚合树构造方法
9.4性能评估
9.4.1评估方法和实验设置
9.4.2Incast传输规模对聚合增益的影响
9.4.3数据中心规模对聚合增益的影响
9.4.4聚合率对聚合增益的影响
9.4.5Incast成员的分布对聚合增益的影响
9.4.6接收端不确定产生的影响
参考文献
第10章关联性流量Multicast的协同传输管理
10.1引言
10.2相关工作
10.3不确定性多播问题
10.3.1多播传输的观测结果
10.3.2不确定多播问题的定义
10.3.3混合整数线性规划建模
10.4MCF的高效构建方法
10.4.1近似构造算法PMCF
10.4.2近似构造算法MMCF
10.5性能评估
10.5.1SDN环境下不确定多播的实现
10.5.2基于小规模实验的性能评价
10.5.3基于大规模仿真的性能评价
参考文献

媒体评论

前沿

1. 背景数据中心的出现源于人们对海量数据的高效存储和处理需求。互联网的蓬勃发展和社会的数字化变革，导致网络上的数据呈爆炸式增长，出现了越来越多需要进行大规模数据存储和处理的应用需求。数据中心的规模和应用领域不断扩展，已经渗透到经济、科技、军事以及人们日常生活等各个方面。总体而言，数据中心旨在依据特定网络结构互联大规模服务器和网络设施等硬件资源，形成计算、存储、网络等资源的规模效应和整体优势，进而面向各类上层应用提供网络化存储、网络化计算等弹性服务。现代社会信息量的爆炸式增长、资源复用技术的成熟和宽带网络的普及，共同促进了云计算的诞生和发展。数据中心可为云计算提供大规模可扩展的基础物理资源，并在云平台的辅助下为用户提供多种类型的云服务。云计算模式的出现拓展了数据中心的使用方式，而数据中心的建设和发展也为云计算的推广和应用奠定了坚实的基础。另外，随着大数据时代的来临，如何从类型多样、规模巨大的大数据中快速提取有价值的信息成为关键。数据中心可为大数据应用提供基础平台，并在解决大数据的存储、大规模分析处理等难题方面具有天然的优势。云计算和大数据等新技术和应用推动了现代数据中心的快速发展，并使其成为国家和IT企业的核心信息基础设施。数据中心具有巨大的商业价值和社会效益，其应用领域非常广泛，涉及信息社会的诸多行业和领域。数据中心的网络化存储和网络化计算为很多大规模数据处理模式提供基础服务，而这类数据处理模式在大数据领域、物联网、科学应用等领域也得到了广泛的重视和应用。同时，数据中心也面临着不断的变革，新一代数据中心由数以万计的服务器组成，并通过特定的网络结构互联为一个整体，共同形成一个分布式的计算和存储网络。新一代数据中心因为内在的高可扩展性、高容错性等优势得到了业界的高度关注，并向着虚拟化、软件定义、模块化、绿色节能以及自动化运行维护等方向迈进。数据中心的网络互联结构和流量协同传输管理前言数据中心研究的一个重要理论基础是数据中心网络，其作为基本要素在新一代数据中心中具有至关重要的地位。数据中心网络所考虑的不仅是设备之间的通信协议，更主要的是把交换机和服务器作为一个整体进行拓扑互联、性能优化、资源管理和能耗控制，形成数据中心基础设施在网络化计算能力、网络化存储能力和网络通信能力等方面的综合优势。换句话说，数据中心网络不仅是连接大规模服务器的桥梁，而且是承载网络化存储和网络化计算的基础。数据中心支持的业务往往伴随着服务器之间密集的数据交互，网络资源已成为影响数据中心服务质量的瓶颈，且直接关系到各类用户对数据中心的使用体验。因此，迫切需要开展数据中心网络方面的基础理论研究，从而推动数据中心及相关应用领域的发展。另外，数据中心网络是互联网的重要组成部分，该领域的研究进展也会对下一代互联网的发展产生一定的推动作用。与互联网相比，数据中心具有集中管控等鲜明特点，这有利于开展网络创新技术的探索。数据中心运营商为了提高服务性能和收益，会根据应用需求定制网络架构和协议，并进行创新网络技术的部署。当前，数据中心的可持续发展面临着一系列关键基础性问题，而数据中心网络是其中一个重要的研究方向。数据中心网络的研究面临很多基础理论和关键技术方面的挑战，例如网络功能的灵活定制、横向可扩展的互联结构、网络资源的高效复用、网络虚拟化、关联性流量的协同传输以及网络能耗的协同控制等。（1）网络功能的灵活定制。传统网络设备的控制平面和数据平面紧密耦合，不具有动态性和灵活性，致使传统的数据中心网络只能提供有限且已知的网络功能和服务。如今，数据中心的网络应用需求变得日益丰富和灵活多样，为了提高数据中心的服务质量，需要针对不同的应用需求对网络功能进行灵活配置。而数据中心网络流量难以预测、网络设备可靠性低等环境特征，也对网络的可动态灵活配置功能提出了新的需求，致使数据中心的传统网络架构面临着严峻的挑战。（2）横向可扩展的网络互联结构。数据中心必须具备计算、存储、网络资源按需扩展的能力。有效互联上万台甚至更大规模的服务器，是数据中心提供网络化计算和网络化存储的前提。依靠扩充交换机端口数量或提升端口速率的纵向扩展方法已经远远不能满足数据中心的规模扩展需求。因此，迫切需要对数据中心的规模扩展方式进行改进，探索各种横向扩展模式，进而连接更多的交换机和服务器以实现计算性能和存储容量的按需扩展。（3）数据中心网络资源的高效复用。数据中心所采用的网络协议基本源自广域网环境，致使数据中心网络资源的利用率很低。在软件定义的可定制网络框架下，如何设计新型路由和传输协议，以提高数据中心网络的资源利用率并进而提升上层应用的性能，是非常具有挑战性的问题。此外，软件定义的数据中心网络架构，为网络资源、计算资源和存储资源的联合优化提供了新的发展机会。（4）数据中心的网络虚拟化。在大量用户竞争使用网络资源的数据中心环境下，需要实现网络资源的有效共享和安全隔离。虚拟化是保障数据中心安全和实现资源复用的重要技术，每个用户租用的多个虚拟机之间形成了虚拟数据中心网络。不同用户的虚拟网络之间竞争使用实际的物理网络，而且从安全考虑需要被有效隔离。当前，数据中心普遍采用“尽力而为”的方式共享网络资源，不能很好地支持虚拟数据中心网络的流量隔离和带宽保障需求。（5）关联性流量的协同传输问题。数据中心中密集的数据交互行为产生了庞大的“东西向流量”。Multicast、Incast以及shuffle传输是 “东西向流量”的主要组成部分。此外，在组成一个multicast、shuffle、incast的众多数据流之间存在很大的数据关联性，进而存在非常大的数据流聚合增益。通过和上层应用的联合设计优化，可在不影响应用效果的前提下大幅降低关联性流量造成的网络传输开销，进而降低对数据中心稀缺网络带宽的消耗。（6）数据中心网络能耗的协同控制。对数据中心进行高效的能耗管理具有重要的经济效益和社会影响。为此，需要从底层硬件节点、上层协议运行、外围供能系统等环节进行能耗控制的联合优化。其中，数据中心网络层面的能耗控制必不可少，且其能耗控制策略也直接影响到计算设备层面的能耗控制策略。为了实现多维度的协同能耗控制，数据中心网络需要研究如何实时感知网络能耗、如何在不影响网络性能和可靠性的前提下实现节能流量工程，并尽可能地使用清洁能源。我们在数据中心的横向可扩展的网络互联结构和关联性流量的协同传输领域进行了一系列深入而系统的研究工作。本书以数据中心的可扩展网络互联结构为基础，深入探讨了一些新型网络互联结构的设计与优化方法，力求满足数据中心网络的高带宽、高容错、高可扩展性等方面的需求，并通过引入数据中心内关联性流量的协同传输机制，实现对数据中心现有传输能力的高效利用。本书绝大部分内容取材于我们近期在国内外重要学术期刊和会议上发表的论文，全面系统地展示了相关领域的很多新的研究成果和进展。2. 内容安排本书共10章，从结构上可分为3个部分。第1部分是对数据中心及数据中心网络互联结构发展现状的介绍，包括第1章和第2章。第1章首先介绍了数据中心的起源和发展、云计算和大数据对数据中心的内在需求以及新一代数据中心的发展趋势。在此基础上，从应用角度详述了数据中心在网络化存储、网络化计算以及数据分析处理等领域的应用现状。最后，从网络功能的灵活定制、横向可扩展的互联结构、网络资源的高效复用、网络虚拟化、关联性流量的协同传输、网络能耗的协同控制等角度探讨了数据中心网络发展所面临的重要挑战。第2章对当前数据中心网络的最新互联结构进行了综述，从构建规则、路由算法、网络性能等方面进行了对比分析。同时，将当前数据中心的网络互联结构按照5种类型进行归类，以揭示数据中心网络互联结构设计理念的发展和变化，分别是交换机为核心的互联结构、服务器为核心的互联结构、模块化数据中心的互联结构、随机型数据中心的互联结构以及无线数据中心的互联结构。最后，对未来数据中心网络互联结构的发展趋势提出了一些观点。第2部分介绍数据中心的新型网络互联结构，包括第3~6章。第3章介绍以服务器为核心的数据中心互联结构HCN和BCN。在服务器网络端口数目固定不变的情况下，设计了由这类同构服务器互联而成的数据中心网络互联结构。首先采用复合图（compound graph）理论设计以服务器为核心的网络互联结构HCN，为只具有两个网络端口的普通服务器和多端口的低成本网络交换机提供高效互联，使其兼具无损可扩展和持续可扩展能力。DCell和BCube等同类数据中心的网络互联结构中每台服务器的网卡和连线会依据网络规模的扩大而增长，其最大规模被每台服务器的网卡数目所限定，不具备持续可扩展能力。在此基础上，在相同的服务器网卡配置和网络直径前提下，构造出规模尽可能大的数据中心网络互联结构BCN。随后介绍了这两种网络互联结构的高效及容错路由机制，并通过数学分析和综合仿真模拟结果验证了HCN和BCN的良好拓扑特征。第4章介绍模块化数据中心互联结构DCube。构建大规模数据中心有两种截然不同的趋势：第1种趋势是通过类似DCell、BCube、HCN等扩展性网络互联结构，构造出单体的大规模数据中心；第2种趋势是在大量单体数据中心的基础上，通过模块化的互联结构构造大规模数据中心。本章介绍为模块化数据中心设计的一组模块内网络互联结构DCube，包括HDCube和MDCube，每个DCube互联大量配备双网卡的服务器和低成本交换机。大量DCube互联结构的数据中心模块进一步互联可形成全新的模块化数据中心。DCube(n,k)由k个互联的子网络构成，每个子网络都由许多基本构建模块和标准超级立方体结构（或其变种结构1mbius）按照复合图理论构成。在此基础上，分析了HDCube和MDCube的路由机制，并与BCube和FatTree进行了性能分析比较。如果采用诸如Twisted cube、Flip MCube和Fastcube等标准超级立方体结构的其他变种结构，本章提出的设计方法仍然适用。第5章介绍一种数据中心网络的混合互联结构设计方法，并讨论了一种具体的混合互联结构R3。如第2章所分析，当前的数据中心网络互联结构普遍采用两种设计思路，分别是完全规则的互联结构设计和完全随机的互联结构设计。虽然这两种类型的网络互联结构具有特定的优势，但是也存在内在的缺点和不足。本章论述了一种基于复合图理论的混合互联结构设计方法，可兼容当前的规则互联结构和随机互联结构。进一步地，还提出了一种混合互联结构R3。该结构采用随机正则图作为基本单元，并采用通用超级立方体这种规则结构将这些基本单元进行互联。该混合结构兼具随机正则图和通用超级立方体的拓扑优势，并可有效避免二者的拓扑缺陷。第6章介绍在数据中心中额外引入可见光通信（visible light communication，VLC）链路后，设计无线链路和有线链路混合的网络互联结构VLCcube，从而提升数据中心的网络性能。具体而言，在FatTree这一具有代表性的数据中心网络结构基础之上，在每个机架顶部安装4个VLC收发装置，即可提供4条10Gbps左右的无线链路，全体机架上的无线链路组网成为无线Torus结构。本章重点介绍了混合拓扑的构建规则、路由策略、批处理流量和在线流量的拥塞感知调度策略，并开展了相关实验验证工作。因为FatTree中很多原本4跳的数据流可切换到无线Torus结构进行短距离传播，VLCcube取得了比FatTree更好的网络性能，而且设计的拥塞感知调度策略可使VLCcube的性能进一步得到提升。VLCcube仅是数据中心中利用VLC链路的一种可选方案，未来供应商可基于不同的有线网络互联结构设计完全不同的混合网络互联结构。VLC 链路的引入不仅能和已有的数据中心网络良好地兼容，而且可有效提升数据中心的网络性能和网络设计的灵活性。第3部分是数据中心内关联性流量的协同传输管理。虽然新型互联结构的研究不断提高数据中心的网络传输能力，但是对数据中心现有传输能力的高效利用同样重要。数据中心支持多种分布式计算框架，这些计算框架普遍采用流式计算模型，相邻处理阶段间的大量数据交互产生了严重的东西向流量，其中multicast、incast、shuffle等关联性流量占相当大的比重，进而严重影响到上层应用的性能。优化和管理这些关联性流量对高效使用数据中心的网络资源和提升处理作业的性能至关重要。这部分内容包括第7~10章。第7章介绍关联性流量incast的协同传输管理问题，包括网内聚合和协同传输两个环节。当前很多上层应用决定了incast的全体数据流之间存在数据相关性，并在相同的接收端被执行聚合操作。这就促使我们考虑在这些关联性流量的网内传输阶段应尽可能早地而不是仅在流量的接收端进行数据聚合。本章首先以新型数据中心网络结构为背景讨论关联性流量之间数据聚合的可行性和增益，随后探讨实现该网内聚合所必须的基于incast树的协同传输方法。为最大化网内聚合的增益，我们为incast传输建立最小代价树模型，并设计了两种近似的incast树构造方法，其能够仅基于incast成员的位置和数据中心拓扑结构生成一棵有效的incast树。本章进一步介绍了incast树面临的多种动态和容错问题，最后通过实验发现我们所提出的网内聚合方法能大幅度降低incast流量造成的传输开销，从而节约了数据中心的网络资源。本章虽然选用BCube这种以服务器为核心的数据中心网络互联结构为研究背景，但是提出的关联性流量网内聚合理念也适用于其他类型的数据中心网络互联结构。本章工作是第8章和第9章的前提。第8章介绍关联性流量shuffle的协同传输管理问题，包括网内聚合和协同传输两个环节。受关联性流量incast网内聚合的启发，本章介绍了如何将关联性流量shuffle原本在诸多接收端执行的流量聚合操作推送到网络传输环节中执行，通过降低网络内的流量传输从而高效地利用网络资源。首先，针对新型数据中心结构BCube中的shuffle流量进行网内聚合问题的建模，并提出两种近似方法来高效地构建shuffle聚合子图，依据该结构进行流量的协同传输可有效实现预期的网内聚合。本章还介绍了基于布鲁姆滤波器（Bloom filters）的可扩展流量转发模式，从而为大量并存的shuffle传输实现各自预期的网内聚合效果。尽管本章选用以BCube为依托的网络互联结构，但是提出的关联性流量shuffle的网内聚合理念也适用于其他类型的数据中心网络互联结构。第9章介绍不确定关联性流量incast的协同传输管理。当上层应用在数据中心内产生关联性incast流量时，其内部诸多数据流的发送端和接收端已经确定。第7章针对这类关联性流量介绍了如何实施网内聚合和协同传输。但是，很多数据中心应用面临计算节点和存储节点选择的多样性，不同的选择方案会导致对应的incast表现出不同的发送端和接收端。这类关联性流量被定义为不确定性incast，与确定性incast流量相比，其具有更多机会来获取更大的数据流网内聚合增益。本章首先深入剖析了不确定incast流量的网内聚合问题，并设计了对应的协同传输方法以获取尽可能大的数据流网内聚合增益，包括为incast的各个数据流初始化发送端和构造incast聚合树两个环节。数据流发送端初始化的目标是令初始化后的全体发送端形成最少数目的群组，每个群组输出的数据流在传输的下一跳网络设备上即可被全部聚合为一个新数据流。为了充分利用初始化环节产生的这种优势，本章提出了两种incast聚合树的构建算法。实验结果表明，从减少网络流量和节省网络资源的角度来看，不确定性incast传输要优于确定性incast传输。第10章介绍关联性流量multicast的协同传输管理。多播协议的出发点是从一个发送端将相同的内容传输给一组接收端，进而有效节约网络带宽并降低发送端的负载。数据中心的分布式文件系统为每个数据块提供多个副本，此时传统的multicast面临发送端的多样性问题，不再依赖于某个唯一选定的发送端，每个接收端只需从其中一个发送端获得发送内容。本章关注如何使这种发送端不确定的多播造成的网络传输代价尽可能地小，提出了对应的链路代价最小多播森林（minumum cost forest，MCF）模型。针对确定性multicast的方法不适用于MCF这个NP难问题，为此本章提出了两种高效的MCF近似算法，即PMCF和EMCF。本章在3种类型的数据中心互联结构（随机网络、随机正则网络以及无标度网络）下对MCF问题进行了评估。结果显示： 3种网络互联结构下不确定性multicast的MCF都比确定性multicast的最小斯坦纳树占用更少的网络链路资源。我们的研究工作得到了国家自然科学基金优秀青年科学基金项目（No.61422214）、国家重点基础研究发展计划（“973”计划）青年科学家项目（No.2014CB347800）、湖南省自然科学杰出青年基金项目（No.2016JJ1002）、教育部新世纪优秀人才计划项目以及国防科学技术大学杰出青年基金项目（No.JQ140502）的资助。国防科学技术大学的研究生赵亚威参与了本书1.1节和1.2节内容的撰写工作，研究生胡智尧、任棒棒、史良等同学参与了本书的排版、图表绘制、整理等工作，在此一并表示感谢。由于作者水平所限，加之数据中心网络的互联结构和内部流量管理的研究仍处于快速发展和变化之中，书中错误和不足之处在所难免，恳请专家、读者予以指正。
郭得科〖〗2016年2月于长沙

免费在线读

第1部分基础知识

第1章数据中心简介第1章数据中心简介数据中心的网络互联结构和流量协同传输管理本第1章数据中心简介章分别从数据中心的起源和发展的角度详述了云计算、物联网、大数据等新技术领域的发展对数据中心的推动作用；从应用领域的角度详述了数据中心在网络化存储、网络化计算以及数据分析处理等领域的主要应用现状；从功能可定制、互联结构横向可扩展、网络资源的高效复用、网络虚拟化、关联性流量的协同传输、网络能耗的协同控制等方面详述了数据中心网络技术面临的重大挑战。1.1起源与发展〖*4/5〗1.1.1数据中心的概念及分类维基百科中关于数据中心(data center)给出了如下定义：；“一整套复杂的设施。它不仅仅包括计算机系统和其他与之配套的设备（例如通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置等”[1]。数据中心旨在依据特定网络结构，将大规模服务器和网络设施等硬件资源进行互联，形成计算、存储、网络等资源的规模效应和整体优势，进而面向各类上层应用提供网络化存储、网络化计算等弹性服务。云计算、物联网、大数据等新型计算和应用进一步推动了现代数据中心的快速发展，并使其成为国家和IT企业的核心信息基础设施。数据中心的规模和应用不断发展，已经渗透到经济、科技、军事以及人们日常生活等各个方面。按照规模，数据中心可划分为：部门级数据中心、企业级数据中心、互联网数据中心以及主机托管数据中心等。通过这些规模从小到大的数据中心，企业可以运行各种应用。数据中心的出现源于人们对海量数据的高效组织和管理需求。早期，银行和金融业等行业的用户记录不断增多，因而对高效的数据存储和管理技术需求越来越迫切。Internet的蓬勃发展和社会的数字化变革，导致网络上的数据呈爆炸式增长，出现了越来越多需要进行大规模数据存储和处理的应用需求。为了应对这种激增的数据存储和分析处理需求，业界提出了多种支持海量数据存储和管理的网络化存储架构，典型的架构包括：直接附加存储（direct access storage, DAS）、网络附加存储（network attached storage, NAS）和存储区域网络（storage area network, SAN）。DAS是指将磁盘阵列等存储设备通过SCSI线缆或光纤通道直接连接到一台服务器。其中，使用SCSI线缆时，一台服务器最多挂载16台存储设备，而使用光纤时可以挂载126台存储设备。通过直接附加存储的方式可以实现单机存储到网络化存储系统的转变，但是这样的存储体系结构存在扩展性差、资源利用率低，管理复杂的缺点。首先，因为每台服务器挂载的存储单元是为了满足该服务器自身的存储需求，因此其存储设备无法被其他服务器共享和利用。如果应用需求的变化需要更换新的服务器，则需要在新的服务器上挂载新的存储设备。而原服务器上挂载的存储设备并不能被高效地利用，因此造成了大量的存储资源的浪费。这种浪费除了因为挂载在某台服务器上的存储单元不能被其他服务器使用外，还可能因为运行在服务器上的应用不同导致每台服务器的存储资源利用不均。DAS是以服务器为中心的存储体系结构，适合于存储容量需求不高、服务器的数量不大的中小型局域网。DAS难以满足现代存储应用大容量、高可靠、高可用、高性能、动态可扩展、易维护和开放性等多方面的需求。解决这一问题的关键是将访问模式从以服务器为中心转化为以数据和网络为中心，实现容量扩展、性能增加和距离延伸，尤其是实现多个主机数据的共享，这导致了存储与计算的分离，即网络存储的发展。NAS是将存储设备通过标准的网络拓扑结构（例如以太网）连接到一个计算机网络，其包括硬盘阵列等存储器件和专用服务器。专用服务器上运行有特定的操作系统，通常是经过专门优化过的Unix/Linux操作系统。专用服务器充当远程文件服务器，利用NFS、SMB/CIFS、FTP等协议对外提供文件级的访问。网络附加存储是针对文件级别的存储架构，网络中的其他应用服务器通过网络存储和访问存储设备上的文件系统。经过专门优化过的文件系统，支持多种文件格式，因此在网络附加存储的架构中，应用服务器可以使用不同的操作系统，相互之间通过存储设备上的文件系统实现文件共享。与存储区域网络相比，网络附加存储具有文件操作和管理系统，可使不同的应用服务器之间共享资源。因为网络附加存储是文件级别的存储，相对于存储区域网络采用数据块存储的方式来说，存储的速率相对较低。NAS主要面向高效的文件共享服务，适用于较小网络规模下大容量文件数据的传输场合。SAN将存储设备和服务器进行高速可靠互联，并在存储端将多个存储设备构成一个专用于数据存储的区域网络。前端的服务器可以通过网络的方式访问后端的存储设备。每个存储设备不隶属于任何一台服务器，所有存储设备面向全体服务器进行资源共享。目前常用的SAN架构根据协议和连接设备的差异，可以分为光纤通信接口和普通网络通信接口。SAN架构有很多优点。首先，服务器通过网络访问存储设备，因此多台服务器可以同时向不同的存储设备存储数据。这种访问存储设备的方式，使得存储设备与服务器之间解耦合，存储设备和服务器设备可以独立建设和更新。同时，存储设备可被多项应用高效地共享利用，避免了因为应用需求不同导致存储设备利用率不高的问题。SAN经过十多年的发展，已经相当成熟，成为业界的事实标准。但是，对于PB级大规模数据存储需求而言，SAN的体系结构在容量和性能的扩展上仍然存在瓶颈。如今，物联网相关技术的不断发展使得人类对物理世界进行细粒度和持续的观测变得可能，各类传感器设备可持续不断地收集类型多样、规模庞大的观测数据，这些数据需要极大的存储空间、高效的数据管理和分析处理技术。物联网应用、大规模在线网络应用、企业级基础服务等新型应用促使十万级甚至百万级服务器的大型数据中心的诞生。虽然大型数据中心可提供庞大的计算和存储资源，但缺乏有效机制解决大规模分布式系统带来的一系列问题，如面向大规模用户的资源复用问题、分布式资源的有效管理问题、系统容错问题等。为此，Google公司设计了新型的数据中心架构，采用通用服务器、存储设备以及网络设备替代传统的专用设备。其中，将磁盘附着于服务器内部之后，在整个数据中心层面实现了大规模分布式文件管理系统GFS[2]，为外部提供一个共享的分布式文件系统空间。大型数据中心大量采用可靠性较低的通用设备，因而内部发生设备故障的情况不可避免。为此，GFS采用数据副本机制实现文件系统级别的冗余,以提高分布式文件系统的可靠性。这种网络化存储架构突破了SAN的性能瓶颈，而且可以实现性能与容量的线性扩展，将会逐渐成为数据中心存储架构的发展趋势。此外，Google公司还为其大型数据中心设计实现了大规模计算框架MapReduce[3]和大规模分布式数据库BigTable[4]。MapReduce将计算作业分为Map和Reduce两个阶段完成，每个阶段都会启用数据中心中大量的服务器节点参与运算。根据“数据处理的局部性”设计原则，将计算任务加载到待处理数据所在的节点上，尽量减少数据在网络中的传输。BigTable可以快速而高效地处理PB级别的数据，有效地解决了海量数据的存储和管理问题。Google公司采用大量廉价的服务器建设高效协同、按需调度和资源共享的数据中心，其数据中心的构建和管理方法往往被认为是新一代数据中心的标志。新一代数据中心使用数以万计的服务器组成，不同服务器之间采用特定的网络结构互联为一个整体，共同组成一个分布式的计算和存储网络。自从Google公司披露了其新一代数据中心的技术细节后，新一代数据中心因为内在的高可扩展性、高容错性等优势迅速取得了互联网企业和世界研究团体的高度关注。同时，亚马逊、微软、Facebook等其他大型互联网企业也纷纷在世界各地建设能容纳数万台甚至数十万台服务器的大型数据中心，并在网络架构、节能示范等方面进行了大胆革新。新一代数据中心得到了广泛的推广和应用，相关技术也在不断提高和完善。以数据中心网络技术研究为例，国际互联网标准化组织IETF成立了以数据中心网络为主要应用场景的工作组“软件定义网络（software defined networking, SDN）”，IEEE也成立了针对数据中心网络的任务组“数据中心桥（data center bridge, DCB）”。思科、瞻博网络、华为等设备厂商先后推出了数据中心交换机产品。1.1.2云计算对数据中心的需求现代社会信息量的爆炸式增长、资源复用技术的成熟和宽带网络的普及，共同促进了云计算的诞生和发展。以亚马逊公司的EC2、Google公司的AppEngine和微软公司的Windows Azure等为代表的云计算服务已经得到初步商用，使得云计算逐渐成为人们按需使用软/硬件资源和进行数据深度挖掘处理的新型计算模式。据工业和信息化部电信研究院2015年4月发布的《云计算白皮书》报告显示，2014年全球云计算服务市场规模达到1528亿美元，增长17%。虽然这些缘自互联网和移动互联网的高速发展，但为了迎合市场需求，传统IT企业加速向云计算转型，大力布局云计算业务。随着大数据时代的来临，作为大数据处理的重要技术手段，云计算的发展空间将更加广阔。2009年《中国计算机科学技术发展报告》对云计算给出定义“云计算是一种商业计算模型。通过虚拟化的数据中心为互联网用户或企业内部用户提供方便灵活、按需配置、成本低廉的包括计算、存储、应用等在内的多种类型网络服务”[5]。该定义进一步明确了数据中心作为云计算的核心基础设施地位和作用。Google公司早在2006年底就在全世界建造了能容纳超过46万台服务器的分布式数据中心。Facebook公司于2011年4月对外展示了其建造在俄勒冈的数据中心，拥有数以万计的服务器，并在节能减排方面进行了示范。当前我国一些地方政府积极建造数据中心以促成云计算产业落地，如呼和浩特云计算产业基地、南京软件开发云平台、无锡“云谷”等。中国电信、中国移动、中国联通等电信运营商，也都在积极利用其互联网数据中心打造云计算战略。以百度、阿里巴巴、腾讯等为代表的互联网企业，也在大力发展云数据中心，提供更好的云计算服务。云平台是云计算服务的基础，其管理数据中心提供的巨大物理资源，负责各类资源的统一分配和调度，使多样化的云服务能够稳定地运行在复杂的云环境上。云平台大多利用虚拟化技术整合数据中心的各种资源，以一种透明的方式向用户提供基础设施即服务（infrastructure as a service, IaaS）、平台即服务（platformasaservice, PaaS）以及软件即服务（softwareasaservice, SaaS）等类型的服务。IaaS旨在依托数据中心基础设施，向用户提供虚拟化的计算资源、存储资源和网络资源，并根据用户需求进行动态分配与调整。其核心思想在于通过底层硬件的虚拟化技术，形成池化的硬件资源，通过统一的管理平台向用户提供底层硬件资源的服务。亚马逊公司的EC2[6]提供了虚拟机的租用服务，为中小企业创建IT基础架构。EC2代表了一种典型的基础设施即服务的云计算应用模式，其提供基于虚拟机的计算环境，并通过虚拟机管理系统来管理大量的虚拟机实例。EC2平台是当前商业化较成熟的系统之一，而开源云计算项目Nimbus[7]和Eucalyptus[8]以及Opennebula[9]等提供了与EC2类似的服务。PaaS旨在向软件开发人员提供类似中间件的服务。这些中间件的服务包括数据库、数据处理和软件开发环境等，使得开发人员可以运用这些环境在云平台上进行定制化的软件开发。Google公司推出的Google App Engine(GAE)[10]是平台即服务应用模式的一种典型代表。它为用户提供了云平台下基于Java和Python的开发运行环境，用户从而可以不需要购买硬件和软件就可享受相应服务。除此之外，Google公司还提供了一些开发工具，方便编程人员进行Web程序的开发。与GAE类似的还有微软公司的Windows Azure Platform(WAP)[11]云平台。WAP部署虚拟机作为运行环境并提供数据存储服务，方便用户开发和部署应用程序。SaaS旨在向最终用户提供定制的软件服务，使得用户利用互联网就可以在云端使用软件，而无须本地安装。相对于IaaS和PaaS而言，SaaS更加适用于普通用户。很多SaaS服务是基于IaaS和PaaS平台提供的，当前使用比较广泛的SaaS包括Google Apps和Salesforce。Google Apps提供类似于桌面软件的网页应用程序，用户无须下载软件，仅仅通过互联网就可以访问。相对于Google公司提供的面向大众的免费SaaS平台，Salesforce公司更专注于商业的IaaS平台，更倾向于提供可定制的应用程序。Salesforce公司通过隔离用户使用的数据，允许不同的用户共享使用同一个版本的应用程序。总体而言，大规模可扩展的硬件资源是提供弹性云计算服务的基础。数据中心的建设旨在提供大量物理资源，在其之上部署专用的云平台后可为用户提供不同类型的云计算服务。公有云数据中心一般首先提供IaaS和PaaS的租赁服务，并进一步为SaaS的开发和部署提供基本环境。私有云数据中心运行公司或部门内部所特有的网络业务，而混合云数据中心运行的业务类型更加灵活多样。比如，Google公司的云数据中心既提供前端面向用户的搜索服务，又运行后端的海量网页数据分析和挖掘任务。云计算模式的出现拓展了数据中心的使用方式，同时，数据中心的建设和发展也为云计算的推广和应用奠定了坚实的基础。1.1.3大数据对数据中心的需求2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远的影响。同时，中国、欧盟、加拿大、韩国、新加坡等国家和地区也发起各自的大数据发展战略。目前，大数据尚无确切统一的定义，维基百科给出的定义是：大数据是指无法在可承受的时间内用常规软件工具进行抓取、管理和处理的数据集合。国际数据公司（international data corporation, IDC）从4个特征来定义大数据，即海量的数据规模（volume）、多样的数据类型（variety）、巨大的数据价值（value）、快速的数据流转（velocity）。物联网被定义为“一个基于互联网、传统电信网等信息承载体，让所有能够被独立寻址的普通物理对象实现互联互通的网络”。物联网的技术架构涵盖4个层次，分别是感知识别层、网络构建层、管理服务层和综合应用层[12]。位于感知识别层的大量感知单元是物联网的触手，源源不断地产生观测数据，成为大数据的重要来源之一。当感知识别层生成物联网大数据经过网络层传输汇聚到管理服务后，需要解决数据如何存储、分析和处理等问题。随着物联网应用的不断拓展和扩大，接入到互联网的各种感知设备的数量愈加庞大，这些设备所产生的数据导致计算和存储的需求呈指数增加。位于管理服务层的数据中心为物联网应用提供了高效的基础平台。运行在数据中心之上的存储服务为物联网应用提供了存储仓库，而相关的分析和处理服务则为物联网应用提供了分析引擎。IDC公司在2015年的一份报告中预测，在今后4年内物联网将需要数据中心服务提供商提供7.5倍的设施能力。物联网将成为IT扩建大型数据中心的重要驱动力量之一。大数据的诞生是信息技术发展的必然结果，其来源渠道多样。除物联网大数据外，还包括互联网大数据、社交网络大数据、社会公共领域的大数据、专业机构产生的大数据等。大数据成为物质与能量之外的第三大社会资源，如何充分利用数据资源、如何更快捷地从海量异构的复杂数据中快速提取有价值的信息成为关键。大数据涉及的行业和领域众多，面临如下多个方面的共性难题： ①大数据的采集与预处理； ②大数据的存储与管理； ③大数据分析，具体包括典型行业的大数据分析方法与工具； ④大数据系统体系架构，包括体系架构与平台以及研发环境。数据中心作为信息基础设施，为丰富的大数据应用提供基础平台，并在应对大数据应用面临的上述挑战性问题方面具有天然的优势。1.1.4新一代数据中心的发展传统数据中心存在资源利用率低下、新业务上线周期长等问题，难以承载云计算、移动互联网、物联网、大数据等新型应用。日新月异的新技术和新应用要求传统数据中心走向云化。跨互联网的云数据中心是新一代数据中心的主要发展趋势之一，其不断整合传统数据中心，使得大型和规模化数据中心成为主导。另外，数据中心的业务模式从传统的资源租赁托管向提供云服务进行转变。具有集中化、高密度、高响应速度、高弹性、高可用、高性能等特征。目前，IT公司、设备厂商、运营商纷纷转型提供云数据中心服务，云数据中心成为新产业链的主导。新一代数据中心的发展趋势会向着虚拟化、软件定义、模块化、绿色节能以及自动化运维等方向迈进。（1）虚拟化的数据中心虚拟化具有分配灵活、变更快捷、资源利用率高等优点，这是传统系统架构所无法实现的。研究报告显示：目前数据中心的资源平均利用率仅在20%~30%，大部分空闲情况下的功耗仍然达到峰值时的60%左右。虚拟数据中心（virtual data center, VDC）是将云计算概念运用于数据中心的一种新型的数据中心形态。VDC可以通过虚拟化技术将物理资源抽象整合，将数据中心中的服务器由原先各种规格转变为相对统一的单一方式，动态地进行资源分配和调度，以提升资源利用率，有效降低数据中心的能耗，并降低数据中心的运营成本。虚拟化在数据中心中的地位日益重要，不仅局限于传统的计算虚拟化和存储虚拟化，还包括网络虚拟化、I/O虚拟化等。（2）软件定义的数据中心通过资源的抽象和池化，解决资源的硬件无关性、动态分配以及弹性扩展问题。通过基础资源的全面虚拟化（如软件定义的计算、软件定义的存储、软件定义的网络），使得各类基础资源以服务的方式对外提供。通过软件实现数据中心运营管理的完全自动化。（3）模块化的数据中心模块化数据中心带来了全新的可管理性和效率，通过自然合理的模块化设计，可灵活、扩展地满足数据中心的定制需求，已经逐渐成为满足不断增长的业务需求的解决方案之一。具体涉及按需灵活定制数据中心模块、数据中心模块装配的流程化和标准化、模块化数据中心的高效快速交付、按需的高密度模块化扩展和更换等关键环节。模块化数据中心具有便于建设、运营和维护，便于动态部署和扩展等天然优势。如果未来模块化数据中心的服务价格能够进一步下降，则其将成为很多中小企业很重要的选择之一。（4）绿色节能的数据中心绿色节能是云数据中心未来重点的发展方向，旨在引进先进技术，提高能效价值，实现绿色节能目标。首先要在机房环境、动力设施、制冷系统、IT设施方面采取节能优化措施，在保障机房设备稳定运营的同时，实现基础设施层面的节能减耗。例如，集中水冷制冷技术、高密度配电技术、高密度机柜的高压直流供电技术、机房气流控制技术、智能环境监控技术等。此外，云数据中心还应在机房规划与设计，部署、运营、维护和管理等方面采取绿色节能措施。（5）自动化运维的数据中心随着近些年数据中心的巨大变化，数据中心承载的各种应用越来越多，数据中心的运维工作变得异常繁重和复杂。在大型数据中心内，传统运维方法已经无法解决效率低下、人力成本高、易出错等挑战性问题。数据中心的自动化运维旨在为预备管理、配置管理和监控等环节引入完整的自动化管控方案，提升数据中心的运维水平，逐渐代替运维人员的日常手工工作。运维人员通过自动化运维，将规范、常规的操作固定化，减少重复的手工操作，避免误操作。新一代数据中心作为信息基础设施，在全球信息化进程中占据不可替代的