Hive实战 PDF下载

编辑推荐

面对与日俱增的海量数据，能否从中提取商业价值直接关乎公司的市场竞争力。Hive是大数据生态圈必不可少的数据仓库，它为存储在Hadoop文件系统中的数据提供便捷的类SQL查询、统计和分析，从而为公司进入大数据生态圈并迈向商业智能铺平道路。本书着眼于Hive在真实环境中的应用，内容囊括Hive的方方面面，是针对大数据分析人员的实践参考指南。 - 理解Hive的架构和数据类型 - 高效执行DML操作 - 查询半结构化数据 - 巧妙提升Hive的性能 - 了解Hive的安全性及发展趋势；

内容简介

Hive“出身名门”，是*初由Facebook公司开发的数据仓库工具。它简单且容易上手，是深入学习Hadoop技术的一个很好的切入点。本书由数据库专家和大数据专家共同撰写，具体内容包括：Hive的安装和配置，其核心组件和架构，Hive数据操作语言，如何加载、查询和分析数据，Hive的性能调优以及安全性，等等。本书旨在为读者打牢基础，从而踏上专业的大数据处理之旅。

作者简介

斯科特·肖（Scott Shaw） Hortonworks公司解决方案工程师，曾为微软公司的商业智能项目担任顾问，拥有近20年的数据管理经验。作为演讲者和培训师，他致力于普及分布式计算、大数据概念、商业智能、Hive和Hadoop。安德烈亚斯·弗朗索瓦·弗穆尔恩（Andreas Fran?ois Vermeulen）集数据科学家、数据仓库架构师、博士研究员、企业顾问等角色于一身，曾获“英国数据科学技术先锋”称号，广泛涉足数据工程、商业智能、云架构、深度学习等多个领域。安库尔·古普塔（Ankur Gupta） Hortonworks公司解决方案工程师，曾在Oracle公司担任顾问，有多年从事数据架构师和Oracle数据库管理员的经验，著有Oracle GoldenGate 11g Complete Cookbook。戴维·杰鲁姆加德（David Kjerrumgaard） Streamlio公司解决方案架构主管，曾是Hortonworks公司的系统架构师和数据流实践主管，拥有Certified Developer for Apache Hadoop认证，精通Hive、Kafka、Spark、Storm等技术。

Hive实战 PDF下载

第 1章 为Hive打好基础：Hadoop 1

1.1　一只小象出生了　2

1.2　Hadoop的结构　3

1.3　数据冗余　6

1.3.1　传统的高可用性　6

1.3.2　Hadoop的高可用性　9

1.4　MapReduce处理　12
第 1章 为Hive打好基础：Hadoop  1<；br />；<；br />；
1.1　一只小象出生了　2<；br />；<；br />；
1.2　Hadoop的结构　3<；br />；<；br />；
1.3　数据冗余　6<；br />；<；br />；
1.3.1　传统的高可用性　6<；br />；<；br />；
1.3.2　Hadoop的高可用性　9<；br />；<；br />；
1.4　MapReduce处理　12<；br />；<；br />；
1.4.1　超越MapReduce　16<；br />；<；br />；
1.4.2　YARN和现代数据架构　17<；br />；<；br />；
1.4.3　Hadoop 和开源社区　19<；br />；<；br />；
1.4.4　我们身在何处　22<；br />；<；br />；
第　2 章 Hive 简介　24<；br />；<；br />；
2.1　Hadoop 发行版　25<；br />；<；br />；
2.2　集群架构　27<；br />；<；br />；
2.3　Hive 的安装　30<；br />；<；br />；
2.4　探寻你的方式　32<；br />；<；br />；
2.5　Hive CLI　35<；br />；<；br />；
第3　章 Hive架构　37<；br />；<；br />；
3.1　Hive组件　37<；br />；<；br />；
3.2　HCatalog　38<；br />；<；br />；
3.3　HiveServer2　40<；br />；<；br />；
3.4　客户端工具　42<；br />；<；br />；
3.5　执行引擎：Tez　46<；br />；<；br />；
第4　章 Hive表DDL　48<；br />；<；br />；
4.1　schema-on-read　48<；br />；<br />
4.2　Hive数据模型　49<br /><br />
4.2.1　模式/数据库　49<br /><br />
4.2.2　为什么使用多个模式/数据库　49<br /><br />
4.2.3　创建数据库　49<br /><br />
4.2.4　更改数据库　50<br /><br />
4.2.5　删除数据库　50<br /><br />
4.2.6　列出数据库　51<br /><br />
4.3　Hive中的数据类型　51<br /><br />
4.3.1　基本数据类型　51<br /><br />
4.3.2　选择数据类型　51<br /><br />
4.3.3　复杂数据类型　52<br /><br />
4.4　表　53<br /><br />
4.4.1　创建表　53<br /><br />
4.4.2　列出表　54<br /><br />
4.4.3　内部表/外部表　54<br /><br />
4.4.4　内部表/受控表　55<br /><br />
4.4.5　内部表/外部表示例　55<br /><br />
4.4.6　表的属性　59<br /><br />
4.4.7　生成已有表的CREATE TABLE命令　60<br /><br />
4.4.8　分区和分桶　61<br /><br />
4.4.9　分区注意事项　63<br /><br />
4.4.10　对日期列进行高效分区　63<br /><br />
4.4.11　分桶的注意事项　65<br /><br />
4.4.12　更改表　66<br /><br />
4.4.13　ORC文件格式　67<br /><br />
4.4.14　更改表分区　68<br /><br />
4.4.15　修改列　72<br /><br />
4.4.16　删除表/分区　72<br /><br />
4.4.17　保护表/分区　73<br /><br />
4.4.18　其他CREATE TABLE命令选项　73<br /><br />
第5　章 数据操作语言　75<br /><br />
5.1　将数据装载到表中　75<br /><br />
5.1.1　使用存储在HDFS中的文件装载数据　75<br /><br />
5.1.2　使用查询装载数据　77<br /><br />
5.1.3　将查询到的数据写入文件系统　80<br /><br />
5.1.4　直接向表插入值　81<br /><br />
5.1.5　直接更新表中数据　83<br /><br />
5.1.6　在表中直接删除数据　84<br /><br />
5.1.7　创建结构相同的表　85<br /><br />
5.2　连接　86<br /><br />
5.2.1　使用等值连接来整合表　86<br /><br />
5.2.2　使用外连接　87<br /><br />
5.2.3　使用左半连接　89<br /><br />
5.2.4　用单次MapReduce实现连接　90<br /><br />
5.2.5　最后使用最大的表　91<br /><br />
5.2.6　事务处理　92<br /><br />
5.2.7　ACID是什么，以及为什么要用到它　92<br /><br />
5.2.8　Hive配置　92<br /><br />
第6章　将数据装载到Hive　94<br /><br />
6.1　装载数据之前的设计注意事项　94<br /><br />
6.2　将数据装载到HDFS　95<br /><br />
6.2.1　Ambari 文件视图　95<br /><br />
6.2.2　Hadoop命令行　97<br /><br />
6.2.3　HDFS的NFS Gateway　97<br /><br />
6.2.4　Sqoop　98<br /><br />
6.2.5　Apache NiFi　101<br /><br />
6.3　用Hive 访问数据　105<br /><br />
6.3.1　外部表　105<br /><br />
6.3.2　LOAD DATA语句　106<br /><br />
6.4　在Hive中装载增量变更数据　107<br /><br />
6.5　Hive流处理　107<br /><br />
6.6　小结　108<br /><br />
第7章　查询半结构化数据　109<br /><br />
7.1　点击流数据　111<br /><br />
7.1.1　摄取数据　113<br /><br />
7.1.2　创建模式　116<br /><br />
7.1.3　装载数据　116<br /><br />
7.1.4　查询数据　116<br /><br />
7.2　摄取JSON数据　119<br /><br />
7.2.1　使用UDF查询JSON　121<br /><br />
7.2.2　使用SerDe访问JSON　122<br /><br />
第8章　Hive分析　125<br /><br />
8.1　构建分析模型　125<br /><br />
8.1.1　使用太阳模型获取需求　125<br /><br />
8.1.2　将太阳模型转换为星型模式　129<br /><br />
8.1.3　构建数据仓库　137<br /><br />
8.2　评估分析模型 .　140<br /><br />
8.2.1　评估太阳模型　140<br /><br />
8.2.2　评估聚合结果　142<br /><br />
8.2.3　评估数据集市　143<br /><br />
8.3　掌握数据仓库管理　144<br /><br />
8.3.1　必备条件　144<br /><br />
8.3.2　检索数据库　144<br /><br />
8.3.3　评估数据库　147<br /><br />
8.3.4　过程数据库　160<br /><br />
8.3.5　转换数据库　185<br /><br />
8.3.6　你掌握了什么　192<br /><br />
8.3.7　组织数据库　192<br /><br />
8.3.8　报表数据库　196<br /><br />
8.3.9　示例报表　197<br /><br />
8.4　高级分析　199<br /><br />
8.5　接下来学什么　199<br /><br />
第9章　Hive性能调优　200<br /><br />
9.1　Hive性能检查表　200<br /><br />
9.2　执行引擎　201<br /><br />
9.2.1　MapReduce　201<br /><br />
9.2.2　Tez　201<br /><br />
9.3　存储格式　203<br /><br />
9.3.1　ORC格式　203<br /><br />
9.3.2　Parquet格式　205<br /><br />
9.4　矢量化查询执行　206<br /><br />
9.5　查询执行计划　206<br /><br />
9.5.1　基于代价的优化　208<br /><br />
9.5.2　执行计划　210<br /><br />
9.5.3　性能检查表小结　212<br /><br />
第　10章 Hive的安全性　213<br /><br />
10.1　数据安全性的几个方面　213<br /><br />
10.1.1　身份认证　214<br /><br />
10.1.2　授权　214<br /><br />
10.1.3　管理　214<br /><br />
10.1.4　审计　214<br /><br />
10.1.5　数据保护　214<br /><br />
10.2　Hadoop的安全性　215<br /><br />
10.3　Hive的安全性　215<br /><br />
10.3.1　默认授权模式　215<br /><br />
10.3.2　基于存储的授权模式　216<br /><br />
10.3.3　基于SQL标准的授权模式　217<br /><br />
10.3.4　管理通过SQL进行的访问　218<br /><br />
10.4　使用Ranger进行Hive授权　219<br /><br />
10.4.1　访问Ranger用户界面　220<br /><br />
10.4.2　创建Ranger策略　220<br /><br />
10.4.3　使用Ranger审计　222<br /><br />
第　11章 Hive的未来　224<br /><br />
11.1　LLAP　224<br /><br />
11.2　Hive-on-Spark　225<br /><br />
11.3　Hive：ACID 和MERGE　225<br /><br />
11.4　可调隔离等级　225<br /><br />
11.5　ROLAP/基于立方体的分析　226<br /><br />
11.6　HiveServer2的发展　226<br /><br />
11.7　面向不同工作负载的多个HiveServer2实例　226<br /><br />
附录A　建立大数据团队　227<br /><br />
附录B　Hive函数　231<br /><br />