欢迎光临
免费的PDF电子书下载网站

物联网之云:云平台搭建与大数据处理 PDF下载

编辑推荐

《物联网之云:云平台搭建与大数据处理》特色:

  1. 百度外卖首席架构师、神州数码云计总监力荐;
  2. 国内物联网工程学科的奠基性作品;
  3. 一线物联网工程师和高校教学人员参与创作,阵容强大;
  4. 实用性强,注重教学的同时,非常注重物联网工程实践;
  5. 国内较早的与雾计算技术相关的图书。

“物联网工程实战丛书”是由山东大学信息科学与工程学院高级工程师曾凡太策划,并组织国内物联网领域的一线研发工程师和高校教研人员编写的系列作品。丛书系统地介绍了物联网的各种开发工具、设计语言、研发平台和工程案例等内容,勾勒出了物联网工程的学科结构及其专业必修课的范畴,充分体现了工程专业“理论扎实,操作见长”的学科特色,可为相关院校的物联网工程课程设置提供参考,并对工业、农业、商贸、物流、交通和医疗等行业的物联网工程应用指明方向。

丛书全面、系统地阐述了物联网理论基础、电路设计、专用芯片设计、物联网协议、物联网操作系统、云服务平台构建、智能硬件设计、物联网工程实践和智慧城市建设等内容,勾勒出了物联网工程的学科结构及其专业必修课的范畴,可以为相关院校的物联网工程课程设置提供参考。

丛书从硬件电路、芯片设计、软件开发、协议转换,到智能硬件研发(小项目)和智慧城市建设(大工程)等内容,都用了大量篇幅进行阐述。丛书系统地介绍了各种开发工具、设计语言、研发平台和工程案列等内容。充分体现了工程专业“理论扎实,操作见长”的学科特色,并对工业、农业、商贸、物流、交通和医疗等行业的物联网工程应用指明了方向。

丛书推出以下6卷:

《物联网之源:信息物理与信息感知基础》

《物联网之芯:传感器件与通信芯片设计》

《物联网之魂:物联网协议与物联网操作系统》

《物联网之云:云平台搭建与大数据处理》

《物联网之雾:基于雾计算的智能硬件快速反应与安全控制》

《物联网之智:智能硬件开发与智慧城市建设》

 ;

内容简介

《物联网之云:云平台搭建与大数据处理》为“物联网工程实战丛书”第4卷。《物联网之云:云平台搭建与大数据处理》阐述了云计算的基本概念、工作原理和信息处理流程,详细讲述了云计算的数学基础及大数据处理方法,并给出了云计算和雾计算的项目研发流程,展望了云计算的发展前景。

《物联网之云:云平台搭建与大数据处理》共10章。第1章介绍了物联网数据分析中的一些数学基础、概率论和数理统计方法,以及分布式计算、网格计算和云计算方法,及其在物联网中的应用;第2章给出了云计算的概念和原理,并针对云计算的一些技术和体系架构做了详细介绍;第3、4章阐述了云计算平台的建设,重点阐述了PaaS平台的搭建流程及其针对智慧城市和垂直行业的云平台搭建实战;第5、6章阐述了大数据概念及大数据处理的常见数学方法;第7章阐述了物联网云计算安全问题;第8章阐述了应对物联网安全而产生的私有云平台搭建方法;第9章阐述了应对云计算信息延迟和网络堵塞而产生的雾计算方法和产业发展展望;第10章总结了物联网云计算发展的现状,展望了云计算的发展趋势。

《物联网之云:云平台搭建与大数据处理》适合作为高等院校相关物联网工程、通信工程、网络工程和计算机等专业的本科生和研究生的教材,也适合从事物联网云计算和雾计算的研发工程师及物联网技术研究人员阅读,而且还适合作为智慧城市建设等政府管理部门相关人员的参考读物。

作者简介

王见,毕业于山东大学。物联网项目经理、资深研发工程师。曾就职于华为技术公司,有9年的底层软件开发经验和系统架构经验,并在项目经理岗位上积累了丰富的团队建设经验。现就职于浪潮电子信息产业股份有限公司。

赵帅,毕业于沈阳航空航天大学。资深网络设备研发工程师,从事Android平板电脑系统嵌入式驱动层和应用层的开发工作。曾经在语音网关研发中改进了DSP中的语音编解码及回声抵消算法。现就职于浪潮电子信息产业股份有限公司。

曾鸣,毕业于山东大学信息学院,获硕士学位。资深网络软件开发工程师,精通多种网络编程语言。曾就职于山东大学微电子学院,从事教学科研管理工作。目前在山东大学微电子学院攻读博士学位,研究方向为电路与系统。

孙昊,毕业于山东大学控制工程学院,获工学硕士学位。网络设备资深研发工程师。曾就职于华为技术公司,负责操作系统软件的架构设计,并担任C语言和Lua语言讲师。申请多项ISSU技术专利。现就职于浪潮电子信息产业股份有限公司,负责软件架构设计工作。

曾凡太,山东大学信息科学与工程学院高级工程师。已经出版“EDA工程丛书”(共五卷,清华大学出版社出版)、《现代电子设计教程》(高等教育出版社出版)、《PCI总线与多媒体计算机》(电子工业出版社出版)等书,发表论文数十篇,申请发明专利4项。

物联网之云:云平台搭建与大数据处理 PDF下载

目录


 
丛书序
序言一
序言二
第1章  ;云计算数学基础 1
1.1  ;概率论 1
1.1.1  ;概率论的发展简史 1
1.1.2  ;随机事件 2
1.1.3  ;随机事件的概率 3
1.2  ;数理统计基础 6
1.2.1  ;随机变量及其分布函数 6
1.2.2  ;随机变量的数字特征 9
1.2.3  ;随机变量的基本定理 11
1.3  ;分布式计算介绍 12
1.3.1  ;分布式计算概念 12
1.3.2  ;分布式计算的发展历史 12
1.3.3  ;分布式计算结构 13
1.3.4  ;主要分布式技术 13
1.4  ;网格计算介绍 14
1.4.1  ;网格的产生 15
1.4.2  ;网格技术的特征 15
1.4.3  ;网格协议体系结构 16
1.5  ;云计算介绍 16
1.5.1  ;云计算的概念 16
1.5.2  ;云计算服务的形式 18
1.5.3  ;云计算的产品 19
1.6  ;本章小结 20
1.7  ;习题 20
第2章  ;云计算方法 21
2.1  ;云计算的发展历程 21
2.2  ;计算资源使用模式 22
2.3  ;云计算原理 23
2.3.1  ;网络体系结构 23
2.3.2  ;网络协议模型 25
2.3.3  ;数据中心 28
2.3.4  ;虚拟化技术 32
2.3.5  ;Web技术 35
2.3.6  ;多租户技术 37
2.4  ;云计算技术与云服务模式 38
2.4.1  ;云计算基本技术 39
2.4.2  ;云计算服务模式 39
2.5  ;本章小结 41
2.6  ;习题 41
第3章  ;PaaS云平台基础 42
3.1  ;云平台的概念及模型 42
3.1.1  ;云平台的概念 42
3.1.2  ;PaaS模型 43
3.1.3  ;PaaS基础技术层 44
3.1.4  ;PaaS平台服务层 44
3.1.5  ;PaaS关键技术 45
3.1.6  ;PaaS的发展 47
3.2  ;弹性计算平台 47
3.2.1  ;弹性计算平台的概念 47
3.2.2  ;弹性计算平台的实现方式 48
3.2.3  ;弹性计算平台举例 50
3.3  ;智能监控运维平台 52
3.3.1  ;背景及概念 52
3.3.2  ;实现方法 52
3.3.3  ;未来发展 54
3.4  ;物联网智能硬件开发平台 54
3.4.1  ;物联网智能硬件开发平台简介 54
3.4.2  ;物联网云平台服务案例——机智云 55
3.5  ;本章小结 57
3.6  ;习题 57
第4章  ;云平台搭建实战 58
4.1  ;云平台的基础建设 58
4.1.1  ;云服务器介绍 58
4.1.2  ;云存储介绍 59
4.1.3  ;云存储结构 59
4.1.4  ;云存储的优、缺点 60
4.1.5  ;云存储的应用 61
4.1.6  ;高速光纤网络 62
4.1.7  ;云数据中心建设 62
4.2  ;智慧校园云平台搭建 63
4.2.1  ;智慧校园云概念 64
4.2.2  ;智慧校园云框架 64
4.2.3  ;智慧校园云的建设内容 65
4.2.4  ;智慧校园云的发展 69
4.3  ;智慧城市云平台搭建 69
4.3.1  ;智慧城市云概念 69
4.3.2  ;智慧城市云框架 70
4.3.3  ;智慧城市云的建设内容 71
4.3.4  ;智慧城市云的发展 73
4.4  ;智慧医疗云平台搭建 73
4.4.1  ;智慧医疗云概念 73
4.4.2  ;智慧医疗云框架 74
4.4.3  ;智慧医疗云的建设内容 75
4.4.4  ;智慧医疗云的发展 78
4.5  ;智能交通云平台搭建 79
4.5.1  ;智能交通云背景 79
4.5.2  ;智能交通云框架 79
4.5.3  ;智能交通云的建设内容 80
4.5.4  ;智能交通云的发展 82
4.6  ;本章小结 83
4.7  ;习题 83
第5章  ;大数据基础 84
5.1  ;数据仓库 84
5.1.1  ;从数据库到数据仓库 84
5.1.2  ;数据仓库的定义 86
5.1.3  ;数据仓库的组成 87
5.2  ;数据挖掘 88
5.2.1  ;什么是数据挖掘 88
5.2.2  ;数据挖掘要解决的问题 89
5.2.3  数据挖掘的任务和方法 90
5.3  社交媒体指挥中心 93
5.4  产品知识中心 94
5.5  基础设施和业务研究 96
5.6  基于位置的服务 96
5.7  市场细分 97
5.8  在线广告 98
5.9  改进风险管理 100
5.10  本章小结 101
5.11  习题 101
第6章  大数据处理方法 102
6.1  布隆过滤器(Bloom Filter) 102
6.1.1  基本思路 102
6.1.2  适用范围 103
6.1.3  实例 103
6.2  散列法(Hashing) 106
6.2.1  基本思路 107
6.2.2  适用范围 107
6.3  位图(BitMap) 109
6.3.1  基本思路 110
6.3.2  Map映射 110
6.3.3  适用范围 112
6.4  堆排序(Heapsort) 112
6.4.1  基本思路 112
6.4.2  适用范围和实例 113
6.5  双层桶划分 115
6.5.1  基本思路 115
6.5.2  适用范围和实例 115
6.6  数据库索引 116
6.6.1  基本思路 117
6.6.2  适用范围 117
6.7  倒排索引(Inverted index) 118
6.7.1  基本思路 118
6.7.2  适用范围 119
6.8  外排序 119
6.8.1  基本思路 120
6.8.2  适用范围 121
6.9  Trie树 121
6.9.1  Trie树的基本性质 122
6.9.2  Trie树的基本实现 122
6.9.3  Trie树的应用 122
6.9.4  Trie树复杂度分析 123
6.10  分布式处理(Map Reduce) 123
6.10.1  MapReduce详解 126
6.10.2  Map Reduce工作流程 127
6.10.3  适用范围 129
6.11  本章小结 130
6.12  习题 130
第7章  物联网安全 131
7.1  信息安全基础 131
7.2  物联网信息安全体系 133
7.2.1  物联网的安全需求及体系结构 133
7.2.2  物联网感知层安全 135
7.2.3  物联网网络传输层安全 135
7.2.4  物联网应用层安全 136
7.2.5  与物联网安全相关的法规与政策 136
7.3  物联网信息安全对策 137
7.3.1  隐私保护 137
7.3.2  认证 138
7.3.3  访问控制管理 138
7.3.4  数据保护 138
7.3.5  物理安全 138
7.3.6  设备保护和资产管理 139
7.3.7  攻击检测和防御 139
7.3.8  态势感知 140
7.3.9  通信保护 142
7.3.10  日志和审计 142
7.4  物联网信息安全技术 142
7.4.1  已有技术在物联网环境中的应用 143
7.4.2  新技术的探索 145
7.4.3  物联网相关设备、平台、系统的漏洞挖掘和安全设计 146
7.5  云计算安全 148
7.6  本章小结 148
7.7  习题 149
第8章  私有云服务 150
8.1  私有云 150
8.2  私有云解决方案 152
8.3  开源私有云解决方案之一——OpenStack 154
8.3.1  OpenStack概述 155
8.3.2  OpenStack架构 157
8.4  开源私有云解决方案之二——CloudStack 158
8.4.1  CloudStack系统架构 158
8.4.2  CloudStack设备层次 162
8.4.3  CloudStack管理平台 165
8.4.4  CloudStack工作流程 167
8.5  私有云服务规划与选型 169
8.5.1  企业私有云的设计与规划流程 169
8.5.2  家庭私有云的建立 170
8.6  私有云是物联网的存在形态之一 171
8.7  本章小结 172
8.8  习题 172
第9章  雾计算 173
9.1  雾计算起源 173
9.1.1  从物联网说起 173
9.1.2  终端的计算资源、存储资源的不足 173
9.1.3  云计算的通信资源不足 174
9.2  雾计算介绍 175
9.2.1  雾计算的概念 175
9.2.2  雾计算与云计算的区别 176
9.2.3  雾计算的实施 177
9.2.4  雾计算与物联网 177
9.3  雾计算架构 178
9.3.1  OpenFog架构的产生 178
9.3.2  云和雾的角色范畴 179
9.3.3  OpenFog架构特征 179
9.3.4  OpenFog参考架构技术支撑 182
9.3.5  雾计算架构模型实例 183
9.3.6  物联网计算边界的划分 184
9.4  雾计算特点 185
9.4.1  雾计算的主要特点 186
9.4.2  雾节点的位置 186
9.4.3  雾计算的优点 187
9.4.4  雾计算的缺点 188
9.4.5  云、雾联合计算 190
9.5  物联网计算模式 191
9.5.1  云计算 192
9.5.2  雾计算 192
9.5.3  边缘计算 193
9.5.4  霾计算 194
9.5.5  流计算 194
9.6  雾计算产业 195
9.6.1  产业布局 195
9.6.2  雾计算参与物联网布局势在必行 195
9.6.3  雾计算的商业价值 197
9.6.4  智慧城市对雾计算、边缘计算的需求 198
9.7  雾计算装备 200
9.7.1  雾计算服务器 200
9.7.2  雾计算路由器 200
9.7.3  雾计算网关 204
9.7.4  雾计算传感器 204
9.8  雾计算应用 206
9.8.1  智慧交通 206
9.8.2  无人机快递 207
9.8.3  雾计算推动物联网发展 209
9.9  本章小结 211
9.10  习题 211
第10章  云计算发展趋势展望 212
10.1  云计算关键技术研究进展 212
10.1.1  虚拟化技术 212
10.1.2  数据存储管理技术 213
10.1.3  节能技术 214
10.1.4  云计算技术新形态 215
10.2  云计算安全技术研究进展 216
10.3  云计算标准规范研究进展 218
10.4  云计算硬件基础建设进展 218
10.5  云计算服务个性化研究进展 219
10.5.1  资源调度服务 219
10.5.2  混合云服务 220
10.6  云计算商务模式创新研究 221
10.6.1  云计算商业模式创新 221
10.6.2  云计算改变产业布局 222
10.6.3  云计算产业发展趋势 223
10.7  云计算生态圈建设 225
10.8  云计算发展趋势展望 226
10.9  本章小结 228
10.10  习题 229
序言一

媒体评论

“物联网工程实战丛书”给出了物联网工程的学科架构和理论体系。这对于开设物联网专业的高校来说,无论是进行学科建设,还是做课程设置,都具有很高的参考价值。丛书适合作为各院校物联网专业相关课程的教材,也适合作为物联网研发工程师的项目研发读物。

——山东力明科技职业学院信息工程与管理学院院长  陶翠霞

“物联网工程实战丛书”系统地阐述了物联网的理论基础、工程实践和行业应用。丛书是多位一线物联网研发人员和教学人员的经验总结,是一套优秀的物联网专业教材,也是物联网研发工程师产品研发和项目规划的实践指南。丛书对于普及物联网知识和推动物联网技术进步有很大价值,对于青年学生和工程技术人员的物联网技术学习大有助益。

——山东大学教授  赵世民

本书是一本具有高应用价值的物联网基础读物,作者结合物联网行业的特点,介绍了从云计算的理论基础和基础环境搭建,到大数据的处理方法,再到物联网安全等相关技术。通过阅读本书,读者可以对云计算、大数据和信息安全在物联网中的应用有一个全新的认识,从而更加全面地了解物联网。

——百度外卖首席架构师  梁福坤

2017年可以看做是人工智能元年,其有四个关键要素:计算能力、算法、数据和应用场景。而未来数据获取的一个非常重要途径将是IoT(物联网)。本书介绍了计算能力(云计算)和大数据处理两个方面,论述深入浅出,读者很容易入门。此外,本书对云的趋势进行了深入解读,对物联网在原子世界和比特世界作为“虫洞”的角色也进行了深入分析,这些内容对拓展读者视野和企业决策也有助益。

——神州数码云计算有限公司技术总监  戴剑 

《物联网之云》是“物联网工程实战丛书”的重要组成部分。书中给出了云计算的应用范畴、信息安全策略、大数据存储技术和信息检索基础知识等,并对数据中心建设和云资源租赁给出了很好的解释,是云服务提供商和云服务消费者的重要参考读物,也是一本很好的高校教学用书。

——山东建筑大学教授  崔元明

前沿

序言一

伴随着互联网的快速发展,人们很自然地将用户端延伸和扩展到任何物与物间的互联,物联网因此而浮出了水面。物联网被认为是信息产业的又一次浪潮。

单纯的物联网还不足以带来体验的大变革,只有结合了方便的应用才能发挥出更大的作用,所以云计算应运而生。云计算的出现,犹如给物联网的发展插上了翅膀,使物联网拥有了更好的应用体验。所以大家普遍的一种看法是,云计算是物联网发展的基石,物联网和云计算的融合发展将会深刻地改变我们的未来。

首先,云计算技术能够轻而易举地把计算能力送到众人手中。面对物联网的海量数据,云计算的强大计算能力势必要被应用在物联网上。于是,基于并行分布式计算的云计算能力逐渐被应用在需要数据挖掘和数据分析的物联网领域。渐渐地,人们认识到,云计算可以成为物联网应用的计算机大脑。

其次,物联网应用“烟囱”式发展的局面,造成了应用间数据共享能力的不足,同一用户数据无法在多个应用间实现漫游,造成了行业和部门间的沟壑。想要打破这一局面,云计算起码在目前来看是一种很好的解决方案。越来越多的物联网服务运营商意识到,基于云计算技术构建统一的业务管理平台,来管理和运营不同的物联网应用,既可以解决上述问题,又可以使得应用开发更加统一和简单。因此,云计算已经逐渐成为了物联网应用的管理和运营平台。

《物联网之云:云平台搭建与大数据处理》是“物联网工程实战丛书”的第4卷——《物联网之云:云平台搭建与大数据处理》。《物联网之云:云平台搭建与大数据处理》主要讲解云计算平台的搭建和大数据处理的相关知识及实践应用。

对于云计算技术的讲解,我们从数学基础讲起,进而通过云计算的发展历史,很自然地引出云计算的概念、原理和常见的服务模式;通过PaaS模式引出当前常见的云平台搭建实战案例;基于云平台提供的多种应用,给出了针对大数据在分布式云计算中的一些常见处理方法。随着信息安全越来越被提及和重视,物联网的信息安全也成为其发展过程中一个很重要的关注点。面对日新月异的信息技术,雾技术和未来云计算的发展趋势也成为了非常重要的考量点。《物联网之云:云平台搭建与大数据处理》主要基于以上技术方向进行深入浅出的讲解,更加易于读者掌握。我们相信“授之以鱼,不如授之以渔”。

在《物联网之云:云平台搭建与大数据处理》的编写过程中,得到了很多朋友的支持和帮助,在此深表感谢和敬意!特别感谢和我一起从事《物联网之云:云平台搭建与大数据处理》编写工作的各位作者所付出的辛勤劳动。

 

王见,于山东济南

 

序言二

云雾之间

物联网上“雾起云涌”

各位读者好,经过几个月的奋力编写,“物联网工程实战丛书”的第4卷——《物联网之云:云平台搭建与大数据处理》终于要和大家见面了。《物联网之云:云平台搭建与大数据处理》的主题是云平台搭建和大数据处理。有感于这个主题,便有了下面的这段小文:

远在天边的云,美不胜收!

那是IT 巨头的盛装表演,是王者的饕餮盛宴。

私有云巅峰已过,混合云正在崛起,公有云大战正酣。

公有云服务提供商实力与谋略火花四溅。

开源云软件之间“争风吃醋”与拥抱并存。

没有想象中的大众狂欢,只有整个IT业的呜咽。

除了公有云三巨头,其他的云计算公司和IT企业却并没想象中的光鲜。

中小企业、IT 创客、传统IT企业,都只是云的用户。

它们没有能力和IT巨头竞争,肉不容易吃到,只能啃点骨头,喝点肉汤,但还得天天做贡献。

那就用这《物联网之云:云平台搭建与大数据处理》来安慰一下IT创客们受伤的心灵,拯救那些还挣扎于“水深火热”中的传统IT企业吧!何谓云?哪是雾?物联网上为什么“雾起云涌”?且看笔者慢慢分解。

云计算模式

云计算是一种商业模式,是一种服务模式,是一种计算服务模式,更是一种远程计算服务模式。云计算的关键词:虚拟化、数据中心、面向服务和按需付费。

云计算是一种商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使用户能够按需获取计算能力、存储空间和信息服务。用户可以动态申请部分资源,支持各种应用程序的运转,而无须再为烦琐的细节烦恼,让用户能够更加专注于自己的业务,从而有利于提高效率,降低成本,提升技术创新能力。

这可是一种革命性的举措。打个比方,这就好比是从古老的单台发电机模式转向了电厂集中供电模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水和电一样,取用方便,而且费用低廉。和普通流通品最大的不同在于,云平台上资源的流通是通过互联网进行传输的。

云计算的核心理念是资源池,它将计算和存储资源虚拟成一个可以任意组合和分配的集合。池的规模可以动态扩展,分配给用户的处理能力可以动态回收重用。这种模式能够大大提高资源的利用率,也能大大提升平台的服务质量。

这种资源池称为“云”。云是一些可以自我维护和管理的虚拟计算资源。通常它是一些大型服务器集群,包括计算服务器、存储服务器和宽带资源等。这些计算资源只有大型企业具备优势。

1.云计算服务的三种类型

?    软件即服务(SaaS):提供服务运营商运行在云计算基础设施上的应用程序,如浏览器。

?    平台即服务(PaaS):提供基于云计算的应用解决方案,比如虚拟服务器和操作系统。

?    基础设施即服务(IaaS):提供服务器、存储器、网络服务和租赁服务。

2.云计算的特点

?    超大规模:Google拥有100多万台服务器,Amazon、IBM、微软和Yahoo等公司的云均拥有几十万台服务器。

?    虚拟化:云计算支持用户在任意位置使用各种终端获取服务。所请求的资源来自于云,而不是固定的有形实体。用户只需要一台笔记本电脑或一个PDA,就可以获取各种服务。

?    高可靠性:云使用了数据多副本容错及计算节点同构可互换等措施来保障服务的高可靠性,这使得用云计算比使用本地计算机更加可靠。

?    通用性:云计算不针对特定的应用,在云的支撑下可以构造出千变万化的应用,同一片云可以同时支撑不同的应用运行。

?    高可伸缩性:云的规模可以动态伸缩,满足应用和用户规模增长的需要。

?    按需服务:云是一个庞大的资源池,用户按需购买,像自来水、电和煤气那样计费。

?    极其廉价:采用极其廉价的节点来构成云;云的自动化管理使数据中心管理成本大幅降低;云的公用性和通用性使资源的利用率大幅提升。

3.云计算的市场覆盖与垄断

云计算已经成为IT领域的标配模式。它易操作,存储量惊人,对用户来说几乎无处不在。它不仅成就了世界上最大的公司,同时也给小公司提供支持。

云改变了服务供给双方的经济模式,同时也带来了更多新的机遇。

移动互联网本身大量依托于云技术。云已经成为移动平台的有力推动者。在移动时代,本质上真的打开了一扇通往云的门,因为大部分移动端的处理,都发生在云上。

云服务提供各种应用和服务,把信息的存储也从PC端转移到云端,而使用者可以是任何人。人们不再需要保存或者维护什么资料,只需要确保计算机联网即可。同时,人们只需要为服务付费即可,而不再需要雇佣IT员工、购买基础设施、保持硬件(服务器)更新等。对于大多数人而言,SaaS和移动数据分享App便是经常接触到的公有云。

毫无疑问,第一家开发公有云的公司尝到了规模经济的甜头。亚马逊为自己的业务需求建立了大规模的数据中心来管理交易和库存。它们创建了各种各样的工具来管理庞大的网络请求、存储需求和计算需求。谷歌同样需要管理庞大的搜索数据,它的系统架构足以管理数十亿请求。

正是因为像谷歌和亚马逊这样的巨头在前,新的云服务商很难再取得较大成功。

物联网概念

全世界物品连接起来,实现信息采集、信息传输、设备智能控制,从而构建智慧校园、智慧医院和智慧城市。

物品联网,必须具有信息感知、信息处理、信息传输的功能,这样的物品,我们称之为智能硬件。利用智能硬件建设的信息化校园,称为智慧校园。智能汽车、智能公路、智能交通调度组成了智慧交通系统。物联网正在改变着人们的生活方式,但所有这些额外的便利与效率都是有代价的。

物联网可以收集到前所未有的范围内的大量数据,进而会对网络结构和存储空间产生巨大的压力,所以云计算不可避免地遇到了如下几大难题。

?    网络拥塞:如果大量的物联网和人工智能应用部署在云中,将会有海量的原始数据不间断地涌入核心网络,造成核心网络拥塞。

?    高延迟:终端设备与云数据中心的较远距离将导致较高的网络延迟,而对实时性要求高的应用则难以满足需求。

?    可靠性无法保证:对可靠性和安全性要求较高的应用,由于从终端到云平台的距离远,通信通路长,因而风险大,云中备份的成本也高。

?    安全性:数据中心因为拥有客户的数据,因此黑客和其他恶意使用者都对之虎视眈眈。例如,2013年斯诺登“棱镜门”事件爆发后,人们对云端数据的信任度明显下降。

雾计算方法

雾计算方法也被称为边缘计算。它为计算设备提供了收集并管理数据的方法。雾计算不是在云端或遥远的数据中心进行,而是在较近的地区。在这种模式下,传感器及其他连接性设备将数据发送至一个附近的边缘计算设备上,可能会是一个微型服务器、交换机、路由器这样的网间连接装置来处理并分析数据,不必再远程传送到云端。

预测到2020年,将有58亿个物联网设备使用雾计算。许多物联网设备并不具有强大的计算能力,所以比起云计算来说,雾计算能提供给物联网设备更好的计算服务。云计算在广域范围提供计算服务,雾计算在局部范围为物(联网设备)提供计算服务。诚然,它们的边界并没有这么分明。

雾计算的主要特点有如下几点。

?    极低时延:这对于物联网十分重要,网上游戏、视频传输和增强现实等都需要极低的时延。

?    辽阔的地理分布:这正好与集中在某个地点的云计算(数据中心)形成强烈的对比。

?    传感器网络:雾计算需要具备有大量网络节点的大规模传感器网络,用来监控环境。

?    支持高移动性:对于雾计算来说,手机和其他移动设备相互之间可以直接通信,信号不必到云端甚至基站去绕一圈,因此可以支持很高的移动性。  

物联网上腾云驾雾

物联网、云计算和雾计算将会改变人们的数据采集、数据存储和数据传输的方法。物联网也将会更深远地影响人们日常生活中的其他领域。

云的核心就是安装了大量服务器和存储器的“数据中心”。全球数据中心的用电功率相当于30个核电站的供电功率,其中90%的耗电量都被浪费。目前用大量电能来维持的数据中心,暂时还能给广大用户提供云服务。但是当物联网数据呈指数级增长后,云中心可能会无法再维持下去。

随着物联网的到来,工业设备和家用电器都会装配大量的传感器,包括嵌入在可穿戴设备和其他设备中的大量传感器都会联网,从而产生极其庞大的数据。大量数据的发送和接收,可能会造成数据中心和终端之间的拥塞,从而导致传输速率大大降低,甚至造成很大的时延。

解决之道就是雾计算。雾计算在各行各业的垂直细分市场所带来的便捷令人欢欣鼓舞。地铁进站时使用手机直接刷卡进站,而不再上云。手机与闸机直接对话,2秒完成,通过率大大提高。

云计算和雾计算为人们完成日常任务提供了极大的便利,效率大大提升,两者之间也相得益彰。物联网收集了大量数据,雾计算提供了实时处理和实时控制;云计算为这些数据提供了分析和存储,并提供了智慧判断和决策。

数以万亿计的物联网设备需要联网,雾计算服务器、路由器、交换机需要大量的工程师去开发和维护。这不是某个IT巨头所能垄断的,而是物联网给IT创客和中小企业提供的新机会和新舞台。

物联网上,“雾”起“云”涌。各路IT高手同台竞技,腾“云”驾“雾”会有时,柳暗花明又一村。

仅以此文致敬那些辛勤工作在“云雾”之中的工程师们!

曾凡太,于山东大学

免费在线读

1.5  云计算介绍
云计算是一种计算服务形式,不是数学意义上的计算方法。本节将介绍云计算服务的概念和云计算服务产品。
1.5.1  云计算的概念
云计算概念从提出至今,将近10年了。这10年间,云计算得到了飞速的发展,产生了翻天覆地的变化。纵观计算机的发展史,从1946年制作出第一台计算机,到20世纪80年代的个人计算机,计算机越来越小,计算能力越来越强,但是随着半导体技术的进步放缓,摩尔定律正在逐渐“失效”。英特尔公司的制程工艺从45纳米变为32纳米用了大约27个月,从32纳米到22纳米用了28个月,从22纳米到目前的14纳米则用了30个月。从2014年9月开始,英特尔公司在制程工艺方面就再无进展。
下面通过几段情景对话来引出云计算的概念。
情景1
老师:“我们先思考一个问题:如果想让计算机的功能变强,应该怎么办?”
学生:“那还不简单,加CPU,加内存,加硬盘即可。”
老师:“但是卡槽是有限的,现在已经插满了,以后该怎么办呢?” 
学生:“简单,换更高级的CPU,换新的DDR内存,换新的SSD硬盘!” 
老师:“但是摩尔定律已经失效了,硬件更新越来越慢了,因此更换硬件的方法越来越行不通了。”
显而易见,还有一种办法,就是利用更多的计算机,但是需要解决一个问题,那就是不同的计算机之间如何协同工作。就像一个小项目,原来由一个人来做,只要加加班,也能快速完成。现在这个项目扩大了,光靠一个人加班不能解决问题,需要1 000个人一起做,那么怎么知道谁在工作,谁在偷懒呢?这样就必须引入项目管理,计算机引入并行计算。
并行计算也很好理解,好比项目管理里,把一个任务拆成1 000份,由1 000个人同时开始干,每人干1份,如果以前1个人需要干1 000小时,那么现在1 000个人干1个小时就可以完成了。并行计算很简单,其实就是云计算的基础。”
学生:“真聪明,原来做项目这么简单,我加人就好了!”
情景2
经理:“老板有一个很大很大的项目,我申请加10 000人。” 
老板:“10 000人来了,坐哪里?” 
经理:“杭州一个办公室,北京一个办公室,杭州5 000人,北京5 000人。” 
老板:“人坐在一起,做事好商量,但两地的进展怎么同步?” 
经理:“这还真是个问题,需要解决的问题还真多!” 
情景3
员工甲:“老板,XX员工前不久生病了,他的任务一直没人做,现在我们整个项目受影响了,项目不能按时交付。” 
老板:“你怎么不安排一个人代替?” 
员工甲:“别人已经有工作了啊!” 
老板:“你不能把这个工作再切分成999份,每人做一份?”
员工乙:“老板,他能力比较强,为啥我分的跟他一样多啊!” 
老板:“你不能按照能力来分配任务吗?” 
员工甲抚额,心里默念:这还让人活吗?
员工丙:“老板,我们现在没活了,人不能闲在这里。” 
老板:“你不会考虑一下让这些人给别人开发项目去?” 
员工丙:“但是,别人只要半个人的工时,或者几个小时的工作量,我们人太多了。”
老板:“你不会把一个人当成几个虚拟的人,或者按工时算呀。”
通过以上几段情景对话可以看出,想要管理这么多台计算机,管理这么多人,做这么多事情,还真不简单,要有人管理协调分工(并行计算),有人管理谁多谁少(负载均衡),需要允许有人生病、辞职(热备冗余),还需要解决“卖半个人,甚至十分之一个人”的问题(虚拟化)。
云计算(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算的发展结果,或者说是这些计算机科学概念的商业实现。
云计算的基本原理是把计算任务分配在大量的分布式计算机上,而非本地计算机或远程服务器中。企业数据中心的运行与互联网相似,这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。
这是一种革命性的举措,就好比从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉,而与它们的主要区别在于,它是通过互联网进行传输的。
云计算的蓝图已经呼之欲出:在未来,只需要一台笔记本电脑或一部手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。从这个角度而言,最终用户才是云计算的真正拥有者。
云计算的应用思想是:把力量联合起来,给其中的每一个成员使用。
1.5.2  云计算服务的形式
云计算的服务分为SaaS、PaaS和IaaS这3种基本服务形式。
1.SaaS(软件即服务)
软件即服务(SaaS)是通过Internet交付软件应用程序的方法,通常以订阅为基础按需提供。使用SaaS时,云提供商管理软件应用程序和基础结构,负责软件升级和安全修补等维护工作,用户(通常使用手机、平板电脑或计算机上的Web浏览器)通过互联网获得所需的应用程序。
这种类型的云计算通过浏览器把程序传给千万个用户。从用户角度来看,这样省去了服务器和软件授权上的开支;从供应商角度来看,这样只需要维持一个程序就够了,能够减少成本。Salesforce.com是迄今为止这类服务最有名的公司。SaaS在人力资源管理程序和ERP中比较常用。Google Apps和Zoho Office也是类似的服务。
实用计算(Utility Computing)服务最近才在Amazon.com、Sun、IBM和其他提供存储服务和虚拟服务器的公司中获得新生。这种云计算是为IT行业创造虚拟的数据中心,使得其能够把内存、I/O设备、存储和计算能力集中起来成为一个虚拟的资源池,为整个网络提供服务。
网络服务同SaaS关系密切,网络服务提供商能够提供API接口,让开发者开发出更多基于互联网的应用,而不是提供单机程序。
2.平台即服务(PaaS)
平台即服务(PaaS)是指云计算服务,它们可以按需提供开发、测试、交付和管理软件应用程序所需的环境。PaaS旨在让开发人员能够更轻松快速地创建Web或移动应用,而无须考虑对开发所必需的服务器、存储空间、网络和数据库基础结构进行设置或管理。
PaaS形式的云计算把开发环境作为一种服务对外提供开发者可以使用中间商的设备来开发自己的程序并通过互联网和其服务器传到用户手中。
3.基础设施即服务(IaaS)
基础设施即服务(IaaS)是指提供给消费者的服务是对所有设施的利用,包括处理、存储、网络和其他基本的计算资源,用户能够部署和运行任意软件,包括操作系统和应用程序。消费者不管理或控制任何云计算基础设施,但能控制操作系统的选择、储存空间、部署的应用,也有可能获得有限制的网络组件(如防火墙、负载均衡器等)的控制。
1.5.3  云计算的产品
国内云计算公司最具代表性的当属阿里巴巴的阿里云。下面我们看一下阿里云提供的产品。如图1.4是阿里云提供的虚拟主机服务,价格是每年118元。可以看到这个价格比传统的PC机要便宜得多,而且没有升级换代、废旧机器处理的麻烦,没有需要安装一堆杀毒软件、防火墙软件等烦心事,用户只需要直接使用,享受便捷的服务即可。可以想象,未来的家庭只要有一个终端,然后租用云服务公司提供的计算和存储服务,就可以实现家庭电脑一样的用途。 
图1.4  阿里云服务器配置
如图1.5所示为阿里云为企业提供的云服务器,可以看出这个企业级服务器配置相当强大,云技术不仅能够为个人服务,还能应用到企业层面。 
图1.5  企业云服务器

物联网之云:云平台搭建与大数据处理 pdf下载声明

本pdf资料下载仅供个人学习和研究使用,不能用于商业用途,请在下载后24小时内删除。如果喜欢,请购买正版

pdf下载地址

版权归出版社和作者所有,下载链接已删除。如果喜欢,请购买正版!

链接地址:物联网之云:云平台搭建与大数据处理