大数据技术体系与开源生态 PDF下载

编辑推荐

本书分为7篇，分为15章，从大数据生命周期的角度详细介绍了大数据技术体系与开源生态的相关内容。包括技术概述、获取技术、管理技术、分析与挖掘技术、可视化与交互技术、安全与治理技术。内容详实全面。编者是现任国家科学技术奖评审专家、全国专业技术标准化委员会委员，知名度高，在业内知名，已编著书籍有很好的口碑，本书的内容专业、技术领先。；

内容简介

本书从大数据生命周期的角度阐述大数据技术体系与开源生态的发展。全书分为7篇，包括大数据技术体系与开源生态概述、大数据获取技术、大数据管理技术、大数据处理技术、大数据分析与挖掘技术、大数据可视化与交互技术、大数据安全与治理技术。又分为15章，详细介绍大数据的技术概况、发展近况和技术优势、软件架构、和应用场景等内容。本书适合大数据和人工智能业内人员、各大高校相关专业的高年级本科生和研究生、以及对大数据应用中各类框架组件的爱好者阅读。

作者简介

主编，刘驰，北京理工大学教授、博士生导师、计算机学院副院长。分别于清华大学和英国帝国理工学院获得学士和博士学位，曾任美国IBM T.J. Watson研究中心和IBM中国研究院研究主管，并在德国电信研究总院（柏林）任博士后研究员。研究方向为大数据和物联网技术。主持了国家自然科学基金、国家重点研发计划课题、工信部、教育部等20余省部级研究项目，发表论文90余篇，授权国内外发明专利14项，编写书籍9本，Google Scholar索引2100余次，H index为23。现任中国电子学会物联网专委会委员、中国计算机学会物联网专委会委员、中国自动化学会大数据专委会委员等。入选国家人社部“高层次留学人才回国资助计划”，中国科协“青年人才托举工程”、陕西省第八批“百人计划（短期项目）”、中国电子学会优秀科技工作者、国家“十二五”轻工业科技创新先进个人、2017年中国物联网年度人物等，并获得省部级一等奖1项、三等奖1项。

大数据技术体系与开源生态 PDF下载

目录：

第　一篇 大数据技术体系与开源生态概述



第　1章 大数据技术体系概述　3

1.1　大数据技术的主要内容　3

1.2　大数据开源框架　4

1.2.1　大数据获取技术　4
目录：<；br />；<；br />；
第　一篇 大数据技术体系与开源生态概述<；br />；<；br />；
<；br />；<；br />；
第　1章 大数据技术体系概述　3<；br />；<；br />；
1.1　大数据技术的主要内容　3<；br />；<；br />；
1.2　大数据开源框架　4<；br />；<；br />；
1.2.1　大数据获取技术　4<；br />；<；br />；
1.2.2　大数据管理技术　5<；br />；<；br />；
1.2.3　大数据处理技术　5<；br />；<；br />；
1.2.4　大数据安全与治理技术　5<；br />；<；br />；
1.2.5　大数据分析与挖掘技术　6<；br />；<；br />；
1.2.6　大数据可视化技术　6<；br />；<；br />；
1.3　本章小结　7<；br />；<；br />；
<；br />；<；br />；
第　2章 开源生态与代码托管平台简介　8<；br />；<；br />；
2.1　开源和开源软件的简介　8<；br />；<；br />；
2.1.1　开源的简介　8<；br />；<；br />；
2.1.2　开源软件的简介　8<；br />；<；br />；
2.2　开源代码托管平台——GitHub　9<；br />；<；br />；
2.3　本章小结　10<；br />；<；br />；
<；br />；<；br />；
第3章　大数据开源生态的介绍　11<；br />；<；br />；
3.　1 Apache软件基金会　11<；br />；<；br />；
3.1.1　发展历史　11<；br />；<；br />；
3.1.2　主要参与者　12<；br />；<br />
3.1.3　开源项目　13<br /><br />
3.2　Linux 基金会　14<br /><br />
3.2.1　发展历史　15<br /><br />
3.2.2　主要参与者　15<br /><br />
3.2.3　开源项目　17<br /><br />
3.3　开源中国　18<br /><br />
3.3.1　发展历史　18<br /><br />
3.3.2　主要参与者　19<br /><br />
3.4　本章小结　19<br /><br />
<br /><br />
第4章　云计算开源生态的介绍　20<br /><br />
4.1　OpenStack 基金会　20<br /><br />
4.1.1　发展历史　21<br /><br />
4.1.2　主要参与者　21<br /><br />
4.1.3　开源项目　22<br /><br />
4.2　Cloud Native Computing Foundation　23<br /><br />
4.2.1　发展历史　23<br /><br />
4.2.2　主要参与者　23<br /><br />
4.2.3　开源项目　25<br /><br />
4.3　本章小结　25<br /><br />
<br /><br />
第二篇　大数据获取技术<br /><br />
<br /><br />
第5章　消息队列相关技术　29<br /><br />
5.1　ZeroMQ　29<br /><br />
5.1.1　技术概况　29<br /><br />
5.1.2　发展近况和技术优势　30<br /><br />
5.1.3　软件架构　31<br /><br />
5.1.4　应用场景　33<br /><br />
5.2　RabbitMQ　34<br /><br />
5.2.1　技术概况　34<br /><br />
5.2.2　发展近况和技术优势　35<br /><br />
5.2.3　软件架构　36<br /><br />
5.2.4　应用场景　38<br /><br />
5.3　Active MQ　40<br /><br />
5.3.1　技术概况　40<br /><br />
5.3.2　发展近况和技术优势　40<br /><br />
5.3.3　软件架构　42<br /><br />
5.3.4　应用场景　43<br /><br />
5.4　Apache Kafka　44<br /><br />
5.4.1　技术概况　44<br /><br />
5.4.2　发展近况和技术优势　45<br /><br />
5.4.3　软件架构　46<br /><br />
5.4.4　应用场景　47<br /><br />
5.5　本章小结　50<br /><br />
<br /><br />
第三篇　大数据管理技术<br /><br />
<br /><br />
第6章　数据库相关技术　53<br /><br />
6.1　传统关系型数据库　53<br /><br />
6.1.1　MySQL　53<br /><br />
6.1.2　PostgreSQL　60<br /><br />
6.2　文档型数据库　65<br /><br />
6.2.1　MongoDB　65<br /><br />
6.2.2　Apache CouchDB　69<br /><br />
6.3　列存储数据库　73<br /><br />
6.3.1　Vertica　73<br /><br />
6.3.2　Apache HBase　76<br /><br />
6.4　键/值对型数据库　80<br /><br />
6.4.1　Redis　80<br /><br />
6.4.2　Riak　82<br /><br />
6.5　图形数据库　85<br /><br />
6.5.1　Neo4j　85<br /><br />
6.5.2　OrientDB　90<br /><br />
6.5.3　InfiniteGraph　93<br /><br />
6.6　基于内存的分布式文件系统之Alluxio　95<br /><br />
6.6.1　技术概况　95<br /><br />
6.6.2　发展近况和技术优势　96<br /><br />
6.6.3　软件架构　97<br /><br />
6.6.4　应用场景　98<br /><br />
6.7　数据仓库系统之ApacheTajo　99<br /><br />
6.7.1　技术概况　99<br /><br />
6.7.2　发展近况和技术优势　100<br /><br />
6.7.3　软件架构　101<br /><br />
6.7.4　应用场景　103<br /><br />
6.8　本章小结　105<br /><br />
<br /><br />
第7章　大数据平台资源管理技术　106<br /><br />
7.1　Apache ZooKeeper　106<br /><br />
7.1.1　技术概况　106<br /><br />
7.1.2　发展近况和技术优势　107<br /><br />
7.1.3　软件架构　108<br /><br />
7.1.4　应用场景　110<br /><br />
7.2　Apache Hadoop YARN　111<br /><br />
7.2.1　技术概况　111<br /><br />
7.2.2　发展近况和技术优势　112<br /><br />
7.2.3　软件架构　113<br /><br />
7.2.4　应用场景　116<br /><br />
7.3　Apache Mesos　119<br /><br />
7.3.1　技术概况　119<br /><br />
7.3.2　发展近况和技术优势　120<br /><br />
7.3.3　软件架构　120<br /><br />
7.3.4　应用场景　122<br /><br />
7.4　Apache Mnemonic　123<br /><br />
7.4.1　技术概况　123<br /><br />
7.4.2　发展近况和技术优势　124<br /><br />
7.5　本章小结　125<br /><br />
<br /><br />
第四篇　大数据处理技术<br /><br />
<br /><br />
第8章　开源批处理平台　129<br /><br />
8.1　Apache Hadoop　129<br /><br />
8.1.1　技术概况　129<br /><br />
8.1.2　发展近况和技术优势　130<br /><br />
8.1.3　软件架构　131<br /><br />
8.1.4　应用场景　136<br /><br />
8.2　Apache Spark　142<br /><br />
8.2.1　技术概况　142<br /><br />
8.2.2　发展近况和技术优势　142<br /><br />
8.2.3　软件架构　144<br /><br />
8.2.4　应用场景　146<br /><br />
8.3　Apache Kylin　150<br /><br />
8.3.　1 技术概况　150<br /><br />
8.3.2　发展近况和技术优势　150<br /><br />
8.3.3　软件架构　152<br /><br />
8.3.4　应用场景　153<br /><br />
8.4　本章小结　159<br /><br />
<br /><br />
第9章　开源实时处理平台　160<br /><br />
9.1　Apache Storm　160<br /><br />
9.1.1　技术概况　160<br /><br />
9.1.2　发展近况和技术优势　161<br /><br />
9.1.3　软件架构　162<br /><br />
9.1.4　应用场景　163<br /><br />
9.2　Apache Spark Streaming　169<br /><br />
9.2.1　技术概况　169<br /><br />
9.2.2　发展近况和技术优势　170<br /><br />
9.2.3　软件架构　170<br /><br />
9.2.4　应用场景　171<br /><br />
9.3　Apache Flink　173<br /><br />
9.3.1　技术概况　173<br /><br />
9.3.2　发展近况和技术优势　174<br /><br />
9.3.3　软件架构　175<br /><br />
9.3.4　应用场景　176<br /><br />
9.4　Apache Beam　179<br /><br />
9.4.1　技术概况　179<br /><br />
9.4.2　发展近况和技术优势　180<br /><br />
9.4.3　软件架构　181<br /><br />
9.4.4　应用场景　182<br /><br />
9.5　Apache Apex　186<br /><br />
9.5.1　技术概况　186<br /><br />
9.5.2　发展近况和技术优势　187<br /><br />
9.5.3　软件架构　188<br /><br />
9.5.4　应用场景　191<br /><br />
9.6　本章小结　194<br /><br />
<br /><br />
第五篇　大数据分析与挖掘技术<br /><br />
<br /><br />
第　10章 开源数据分析平台　199<br /><br />
10.1　Apache Mahout　199<br /><br />
10.1.1　技术概况　199<br /><br />
10.1.2　发展近况和技术优势　200<br /><br />
10.1.3　应用场景　202<br /><br />
10.2　Apache Spark MLlib　204<br /><br />
10.2.1　技术概况　204<br /><br />
10.2.2　发展近况和技术优势　204<br /><br />
10.2.3　软件架构　205<br /><br />
10.2.4　应用场景　207<br /><br />
10.3　Apache Lens　208<br /><br />
10.3.1　技术概况　208<br /><br />
10.3.2　发展近况及技术优势　209<br /><br />
10.3.3　软件架构　213<br /><br />
10.3.4　应用场景　214<br /><br />
10.4　Scikit-Learn　217<br /><br />
10.4.1　技术概况　217<br /><br />
10.4.2　发展近况与技术优势　217<br /><br />
10.4.3　软件架构　218<br /><br />
10.4.4　应用场景　220<br /><br />
10.5　本章小结　223<br /><br />
<br /><br />
第　11章 开源深度学习平台　225<br /><br />
11.1　TensorFlow　225<br /><br />
11.1.1　技术概况　225<br /><br />
11.1.2　发展近况和技术优势　226<br /><br />
11.1.3　软件架构　226<br /><br />
11.1.4　应用场景　230<br /><br />
11.2　Tensorflow Lite　233<br /><br />
11.2.1　技术概况　233<br /><br />
11.2.2　发展近况和技术优势　233<br /><br />
11.2.3　软件架构　234<br /><br />
11.3　Caffe　237<br /><br />
11.3.1　技术概述　237<br /><br />
11.3.2　发展近况和技术优势　237<br /><br />
11.3.3　软件架构　239<br /><br />
11.3.4　应用场景　241<br /><br />
11.4　PyTorch　243<br /><br />
11.4.1　技术概况　243<br /><br />
11.4.2　发展近况和技术优势　243<br /><br />
11.4.3　软件架构　245<br /><br />
11.4.4　应用场景　247<br /><br />
11.5　本章小结　248<br /><br />
<br /><br />
第六篇　大数据可视化与交互技术<br /><br />
<br /><br />
第　12章 主流大数据可视化与交互工具　251<br /><br />
12.1　Tableau　251<br /><br />
12.1.1　技术概况　251<br /><br />
12.1.2　发展近况和技术优势　252<br /><br />
12.1.3　软件架构　255<br /><br />
12.1.4　应用场景　256<br /><br />
12.2　Apache Zeppelin　260<br /><br />
12.2.1　技术概况　260<br /><br />
12.2.2　发展近况和技术优势　261<br /><br />
12.2.3　软件架构　262<br /><br />
12.2.4　应用场景　263<br /><br />
12.3　本章小结　266<br /><br />
<br /><br />
第　13章 其他大数据可视化与交互工具　267<br /><br />
13.1　Jaspersoft Community　267<br /><br />
13.1.1　技术概况　267<br /><br />
13.1.2　发展近况和技术优势　268<br /><br />
13.1.3　软件架构　270<br /><br />
13.1.4　应用场景　271<br /><br />
13.2　BIRT　274<br /><br />
13.2.1　技术概况　274<br /><br />
13.2.2　发展近况和技术优势　275<br /><br />
13.2.3　软件架构　278<br /><br />
13.2.4　应用场景　280<br /><br />
13.3　KNIME　281<br /><br />
13.3.1　技术概况　281<br /><br />
13.3.2　发展近况和技术优势　281<br /><br />
13.3.3　软件架构　283<br /><br />
13.3.4　应用场景　285<br /><br />
13.4　本章小结　285<br /><br />
<br /><br />
第七篇　大数据安全与治理技术<br /><br />
<br /><br />
第　14章 大数据治理技术　289<br /><br />
14.1　Apache Falcon　289<br /><br />
14.1.1　技术概况　290<br /><br />
14.1.2　发展近况和技术优势　290<br /><br />
14.1.3　软件架构　292<br /><br />
14.1.4　应用场景　294<br /><br />
14.2　Apache Atlas　297<br /><br />
14.2.1　技术概况　298<br /><br />
14.2.2　发展近况和技术优势　301<br /><br />
14.2.3　软件架构　306<br /><br />
14.3　本章小结　314<br /><br />
<br /><br />
第　15章 大数据安全技术　316<br /><br />
15.1　Apache Ranger　316<br /><br />
15.1.1　技术概况　316<br /><br />
15.1.2　发展近况和技术优势　318<br /><br />
15.1.3　软件架构　321<br /><br />
15.1.4　应用场景　322<br /><br />
15.2　Apache Sentry　324<br /><br />
15.2.1　技术概况　324<br /><br />
15.2.2　发展近况和技术优势　326<br /><br />
15.2.3　软件架构　332<br /><br />
15.3　Apache Kerberos　334<br /><br />
15.3.1　技术概况　335<br /><br />
15.3.2　发展近况和技术优势　336<br /><br />
15.3.3　软件架构　337<br /><br />
15.4　Apache Metron　339<br /><br />
15.4.1　技术概况　339<br /><br />
15.4.2　发展近况及技术优势　340<br /><br />
15.4.3　软件架构　344<br /><br />
15.5　Hyperledger　346<br /><br />
15.5.1　技术概况　346<br /><br />
15.5.2　发展近况和技术优势　347<br /><br />
15.5.3　软件架构　348<br /><br />
15.5.4　应用场景　349<br /><br />
15.6　本章小结　351<br /><br />
<br /><br />
结束语　353<br /><br />
名词索引  355<br /><br />