城市大数据——方法、技术与实践 PDF下载

编辑推荐

“十三五”国家重点图书出版规划项目，国家973计划“城市大数据三元空间协同计算理论与方法”项目组的理论成果之一。

；

内容简介

本书介绍了城市大数据的方法，技术和实践。内容涵盖城市大数据协同感知方法，城市大数据质量评估，城市大数据智能分析和处理技术，城市大数据计算平台，城市大数据安全与隐私和城市大数据实践。

作者简介

过敏意，上海交通大学教授，博士，博士生导师，1998年在日本筑波大学获计算机科学博士学位，然后任日本会津大学讲师、副教授、教授、研究生院副院长。现任上海交通大学计算机科学与工程系教授、博导、致远讲席教授。2007年获得国家杰出青年科学基金资助。2010 年既往溯及入选国家“千人计划”。2011年作为团队带头人获得教育部长江学者和创新团队发展计划资助。主要研究领域包括并行与分布式计算、计算机网络、普适计算、编译与程序优化等。已承担与本项目直接相关的项目有：国家杰出青年科学基金、国家自然科学基金重点项目、国家863目标导向类项目、上海市浦江人才计划等多项重要科研项目。获得国家发明专利授权10项，软件著作权7项。过敏意教授在国际出版社如Springer、John Wiley、Kluwer等出版了4本学术著作。已在专业期刊和国际会议上发表超过300篇学术论文，并5次获得国际学术会议最佳论文奖。在IEEE Transactions on Parallel and Distributed Systems、IEEE Transactions on Computers、ACM Transactions on Autonomo

城市大数据——方法、技术与实践 PDF下载

第1章城市大数据概论1
1.1城市发展的挑战和机遇1
1.1.1城市发展与“城市病”1
1.1.2城市精细化管理2
1.2城市大数据概念3
1.2.1城市大数据的定义4
1.2.2城市大数据的来源和规模4
1.2.3城市大数据的多源采集8
1.3城市大数据特征14
1.3.1三元空间14
1.3.2城市大数据特性15
1.4城市大数据应用领域16
1.4.1国外城市大数据应用案例18
1.4.2我国城市大数据应用案例21
1.5城市大数据亟待解决的问题26
1.6本章小结29
参考文献29
第2章群体智能30
2.1群体智能的基本概念30
2.2群体智能的主要类型31
2.2.1众包模式31
2.2.2工作流模式32
2.2.3协同求解模式33
2.2.4志愿计算34
2.2.5集群智能与集体智能35
2.3城市大数据采集与群智感知35
2.4城市大数据融合与群智认知37
2.5群智应用的控制41
2.6城市大数据运算与群智数据管理45
2.7本章小结47
参考文献47
〖1〗〖1〗〖2〗第3章城市大数据协同感知51
3.1城市大数据的多源协同感知模式51
3.1.1单一空间的数据感知51
3.1.2多维空间的数据感知53
3.2城市大数据的泛在感知54
3.2.1泛在感知数据54
3.2.2泛在感知覆盖56
3.2.3泛在感知方法60
3.3城市大数据的高效收集68
3.3.1任务驱动的数据收集68
3.3.2协作式感知数据收集71
3.3.3交互式感知数据收集73
3.4本章小结75
参考文献75
第4章城市大数据质量评估80
4.1数据质量评估方法80
4.1.1数据质量评估的重要性80
4.1.2数据质量评估的基本指标81
4.1.3数据质量评估的方法82
4.2城市感知大数据质量评估方法84
4.2.1应用驱动的数据质量评估方法85
4.2.2数据驱动的数据质量评估方法95
4.3本章小结98
参考文献99
第5章城市大数据智能分析102
5.1群体认知发现102
5.1.1用户活动轨迹挖掘102
5.1.2用户社交跨平台轨迹分析108
5.2群智认知的数据处理技术: 群组查询分析112
5.2.1什么是群组分析113
5.2.2群组查询基础113
5.2.3COHANA查询引擎116
5.3智能分析案例一: 事件的智能推荐118
5.3.1事件的智能推荐问题描述119
5.3.2事件的智能推荐算法120
5.4智能分析案例二: 电商的智能推荐122
5.4.1电商的智能推荐问题描述122
5.4.2电商的智能推荐算法124
5.5智能分析案例三: 地标的智能识别127
5.5.1地标的智能识别问题描述127
5.5.2地标的智能识别算法127
5.6智能分析案例四: 街拍照片的智能识别130
5.6.1街拍照片的智能识别问题描述131
5.6.2街拍照片的智能识别算法132
5.7本章小结136
参考文献136
第6章城市大数据处理技术141
6.1计算模型141
6.1.1Hadoop系统142
6.1.2Spark系统146
6.1.3Storm系统148
6.1.4Yita大数据处理引擎151
6.2深度计算引擎153
6.2.1分布式弹性高性能计算引擎epiC154
6.2.2分布式深度计算引擎SINGA160
6.2.3分布式P2P环境的信任框架BLOCKBENCH164
6.2.4索引技术LazyLSH167
6.3城市大数据查询技术171
6.3.1弹性聚合最近邻查询171
6.3.2最远邻查询174
6.3.3分布式城市空间大数据查询系统176
6.3.4分布式城市时态大数据查询系统179
6.4本章小结181
参考文献181
第7章城市大数据计算平台185
7.1资源管理与调度185
7.1.1任务依赖关系表达与调度策略185
7.1.2远程数据访问与位置感知的任务窃取188
7.1.3负载均衡的任务分配190
7.1.4缓存友好的任务图切分191
7.1.5三层任务窃取策略193
7.1.6精细化后台服务管理194
7.2服务质量保障195
7.2.1数据中心应用类型与资源利用率195
7.2.2基于冲突预测的方案——BubbleX196
7.2.3基于显式资源分配的方案——Heracles198
7.2.4请求级显式资源分配——Avalon199
7.2.5数据中心加速器共享与应用延迟202
7.2.6加速器资源利用率提升方案——Baymax204
7.3能效管理208
7.3.1服务器能耗调节的基本手段209
7.3.2服务器负载调度与合并211
7.3.3功率资源配给优化212
7.3.4非IT设施能耗管理213
7.3.5大数据平台负载扰动217
7.4本章小结219
参考文献219
第8章城市大数据安全与隐私保护223
8.1网络与系统安全225
8.1.1网络安全防护技术225
8.1.2云系统安全服务体系226
8.2数据安全及隐私保护228
8.2.1城市大数据安全隐患228
8.2.2数据隐私保护技术230
8.3基于大数据和人工智能的新一代安全防护技术232
8.3.1网络大数据异常智能检测技术232
8.3.2面向虚拟化云基础设施的安全防护技术235
8.3.3城市大数据完整性验证及隐私保护技术238
8.4本章小结241
参考文献242
第9章城市大数据实践243
9.1智能交通244
9.1.1地铁乘客路径选择模式分析244
9.1.2夜间公交线路设计248
9.2城市管理——城市商圈吸引力分析257
9.2.1商圈吸引力评价方法257
9.2.2商铺类型推荐260
9.3公共安全262
9.3.1公共安全大数据特征262
9.3.2公共安全大数据路线263
9.3.3公共安全大数据示例265
9.4本章小结266
参考文献267

前沿

中国的智能城市和城市大数据随着全球信息技术等新兴产业的加速发展，以“智慧城市”新概念引领城市发展，解决城市问题，促进城市的智能化、个性化、持续性发展日益成为人们的共识。2008年美国IBM公司提出智慧地球、智慧城市的概念之后，中国在此方面亦迅速跟进，快速发展。“智慧电力”“智慧供应链”“智慧银行”“智慧医疗”“智慧城市”“智慧交通”等“智慧”方案，陆续在我国许多城市展开。
回顾过去，20世纪50年代以前，信息主要都来自于人类社会，所有的信息都是由人类发出的，并记载于以纸张为主的载体中。随着计算机与网络的诞生与发展，到约30年之前，我们相继把这些信息放到了互联网。十多年前，发生了很重要的一次变化——信息物理系统（CyberPhysical Systems，CPS）概念的提出，大量的传感器等物理设备传递了很多信息。信息不再主要由人类发出，而由传感器大量发出。同时，人类开始在网络上进行工作，对传感器获取的物理世界的信息进行处理与分析。如今，我们拥有了移动互联网、超级计算、穿戴设备、物联网、云计算等。信息越来越多，越来越膨胀，我们将走向一个新的时代，这个时代主要由大数据来创建信息。这昭示着当今的社会生产力正在进行一次巨变，而这次变化的核心理念是社会已从二元空间迈入三元空间——近年来迅速壮大的信息力量，业已成长为除物理世界(P)、人类社会(H)两极之外的新一极，即信息世界(C)，这三者合称为CPH。在CPH三极组成的三元空间中，任意两极的互动，都可以对第三极的发展产生重大影响。例如CP的互动对于H，就可以是智能电网、智能制造、无人飞机等对人类社会的影响。又如，CH的互动对于P，那就可以是智能医疗、智能城规对物理世界产生的影响。
二元空间到三元空间的变化带来了新认知、新计算、新通道、新门类，其中新计算是建立在新老空间的互动CH、CP之上的新一代人工智能。当前，新一代人工智能在移动互联网、大数据、超级计算、传感网、脑科学等新理论新技术，以及经济社会发展强烈需求的共同驱动下加速发展，呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等新特征。从理论和技术来看，AI 大数据产生大数据智能，AI 互联网产生群体智能，AI 多媒体、传感器产生跨媒体智能，AI 人机交互产生人机混合增强智能，AI 机械装备产生自主智能系统。世界从二元空间进入三元空间的变化已推动AI走向新一代，也正在推动形成一种新的城市发展方式及其研究方式，即“智能城市”。智能城市最简单的定义便是综合运筹城市CPH三元空间，巧妙汇聚城市各方智慧，优化使用城市各种资源，提升发展城市的经济、建设、管理与市民生活水平。
〖1〗〖1〗〖2〗不过，此前国内外对智慧城市的相关研究大多仅关注一元或二元空间的数据感知、融合或挖掘。例如，协同感知方面的研究多是利用单一空间的数据，尽管部分工作开始将物理与信息空间纳入考量，但普遍缺乏同时感知三元空间数据的能力。对大数据处理和挖掘的研究则主要针对信息空间中的数据进行处理，并未利用人的智能参与复杂问题的求解计算过程，无法有效支持对三元空间城市大数据的分析和处理。当前的大数据计算模式，也大多未能提供人参与交互的有效接口，无法满足三元城市大数据的复杂应用需求。此外，面向城市大数据的三元空间协同感知与群智认知的研究工作也极为罕见。
本书是以上海交通大学过敏意教授为首席科学家的国家973计划“城市大数据三元空间协同计算理论与方法”项目组的理论成果之一。在综合前人经验、当代城市发展需求与大数据前沿技术的基础上，项目组探索了包括城市三元空间协同感知与群知认知在内的一系列与城市大数据紧密相关的重要问题，并将近年来的科研成果及其形成的新型解决方案集中整合于本书中。本书首先介绍了将三元空间大数据应用于现代化城市管理的整体理念，进而分别从协同感知、质量评估、智能分析、处理技术、计算平台、安全与隐私保护等六个方面阐述了当前城市大数据的发展与运用所面临的挑战，以及为了克服这些挑战，由项目组及其他科研人员开展的研究工作。此外，本书还结合国内外先进城市的管理案例，介绍了城市大数据的实践情况与成效。总体而言，本书从专业角度深入城市大数据的多个重要层面，涵盖了丰富、高效的大数据方法与技术，为读者提供了极具创新性与前瞻性的现代化城市治理方案。
智能城市的技术本征就是使城市中的三元世界巧妙互动，使当代传感器技术、互联网技术、大数据技术和各种高新技术融入城市的各个系统，形成城市建设、城市经济、城市管理和服务的升级发展，由此迎来城市发展的新时代。而我们期待着，更多的有志之士加入到建设智能城市的工作中来，不仅能将云计算、大数据、物联网等技术集成运用，还能将工业化、信息化、城镇化以及农业现代化进行融合，让更多城市又好又快地巧妙发展，从而走出一条中国特色的城市智能化发展道路。相信本书对大数据技术在城市治理中的应用，对我国智能城市的建设均有所裨益。
是为序。

中国工程院院士
于2019年3月12日相比很多传统学科，大数据正式而系统地进入科研领域的历史并不算长。2013年出版的由维克托·迈尔·舍恩伯格撰写的《大数据时代》一书开启了全球大数据系统研究的先河。作者在书中前瞻性地指出，大数据带来的信息风暴正在颠覆我们的生活、工作和思维方式，大数据开启了一次重大的时代变革。数据是与自然资源、人力资源同样重要的战略资源，掌握数据资源的能力是国家数字主权的重要体现。由此引起了世界各国竞相投入巨资推动大数据技术的研发和应用。如今，数据科学、计算机科学等学科的迅猛发展为大数据的理论研究和技术应用提供了充足的支撑，大数据的相关理论逐渐充实完善，交叉研究也层出不穷。
大数据技术的核心还在于用。伴随着世界各地“智慧城市”建设的开展，大数据技术，尤其是城市大数据在智慧城市建设中的应用越来越广泛。当前市面上有关大数据的出版物不在少数，但通常着重于其规模大、种类多、价值密度低、速度快的“4V”特点（Volume、Variety、Value、Velocity），以及大数据处理技术Hadoop和MapReduce等介绍。然而，在现代城市中，随着社会生产力的发展和信息力量的壮大，传统上由物理世界和人类社会所组成二元世界逐渐发展成为包含物理世界、人类社会和信息空间在内的三元空间。在三元空间的相互作用下，与传统的大数据相比，城市大数据除了“4V”特点外，还具有时空性(时空变化并蕴涵规律)、交织性(三元空间分布但彼此关联)、人本性(来源于人且服务于人)等特点，这也导致了当前在城市大数据的运用过程中存在“内在关联但外在隔离”“海量丰富但低质碎片”等问题。
为了解决上述问题，上海交通大学的过敏意教授、中科院深圳先进技术研究院的须成忠教授、西北工业大学的於志文教授、浙江大学的陈纯教授等各自带领其团队组成项目组，进行“城市大数据三元空间协同计算理论与方法”的研究，并得到了国家重点基础研究发展计划（973计划）的资助支持。项目组重点研究三元空间协同机理及其数据的深度融合，以此达到全面认知与理解城市大数据的前提；同时深入探索如何在数据感知与处理环节中充分发挥人的作用，将人类的群体智慧与机器的处理能力进行有机结合，以提升针对城市大数据的综合分析能力，破解城市大数据计算的关键难题。通过数年的研究工作，项目组解决了“三元空间的协同感知”和“群智认知的人机交融”两大基础性关键科学问题，以数据三元化、认知群智化、计算层次化为特征，建立起一套新型城市大数据计算理论、方法与技术体系。
本书重点讨论了三元空间城市大数据的相关技术方法和应用场景，以理论结合实践的思路，对城市大数据领域的多个重要问题进行了理论阐述和应用分析。
本书所探讨的研究成果具有三方面重要意义。第一，攻克城市大数据多源获取、知识发现与智能服务的核心理论、方法和技术，使我国在大数据科学研究方法论上达到先进水平。第二，有助于推动“科学研究第四范式”的发展，即从数据中直接分析、挖掘所需要的信息和知识，改变以数学模型为中心的传统研究方式，有助于推动其他学科科研模式的变革，促进这些学科的发展。第三，促进传统信息产业向“数据驱动”型产业转变，为我国信息产业的跨越式发展提供核心技术支持。
本书作为国家重点基础研究发展计划（973计划）项目“城市大数据三元空间协同计算理论与方法”项目的理论成果之一，由项目组各单位成员联合编写成书。第1章、第7章由上海交通大学的过敏意、李超、陈全、郑文立等编写；第2章由上海交通大学的过敏意、郑文立和浙江大学的寿黎但、江大伟、顾晓玲、封蕾等编写；第3章、第4章由西北工业大学的於志文、郭斌、王亮、陈荟慧、刘琰、弋飞、杜贺、路新江等编写；第5章由浙江大学的寿黎但、江大伟、顾晓玲、封蕾和中国科学院深圳先进技术研究院的须成忠、赵宝新、罗树添、徐国耀、刘思源、范小朋等编写；第6章由上海交通大学的姚斌、冷静文和浙江大学的伍赛、庞志飞等编写；第8章由中国科学院深圳先进技术研究院的叶可江、卢澄志、纪书鉴、赵世林等编写；第9章由中国科学院深圳先进技术研究院的赵娟娟、肖露艳、范小朋、张帆，西北工业大学的郭斌、李婧以及上海交通大学的过敏意、陈全、冷静文等编写。此外，参与联合编写的各单位作者之间的组织协调工作，以及本书的文字初审工作分别由上海交通大学的姚斌与郑文立完成，过敏意对全书进行了统稿。
本书可供对大数据技术在智慧城市中应用感兴趣的相关技术、业务、咨询规划人员阅读，同时也可为企业家、投资家和政府工作人员等提供参考。诚然，“生也有涯，而知也无涯”，城市大数据的发展日新月异，本书亦未必能全面精准地展现这一领域的前沿研究成果，敬请读者谅解并对错漏之处批评指正。

过敏意须成忠於志文伍赛
于上海
2019年3月