数据集成原理（数据集成技术的权威之作！作者兼具学术与工业领域，对数据集成领域都有重要贡献，本书是数据集成相关工作人员的必读书籍） PDF下载

编辑推荐

暂无

内容简介

　　当数据存储在多个数据库中，如何查询数据？特别是当这些数据库是由不同的人分别设计。这是第一个全面介绍数据集成的书，由业界三个最受人尊敬的专家撰写。这本书讲解数据集成技术的理论知识，使用大量实例来解释基本概念。数据集成是解决跨多个数据源（如数据库，网页）的问题。目前在多种环境中都涉及数据集成问题，包括企业信息集成，在网络上的查询处理，政府机构之间的协调和科学家之间的合作。在某些情况下，数据集成是某个领域取得进展的关键。本书提供了数据集成的概念和工具，可用于数据集成的具体实现。本书作者是威斯康星大学麦迪逊分校计算机科学副教授，同时在微软AdCenter实验室与雅虎研究实验室担任咨询顾问。

作者简介

　　AnHai Doan　威斯康星大学麦迪逊分校计算机科学系副教授。

　　Alon Halevy　谷歌结构化数据组负责人。

　　Zachary Ives　宾夕法尼亚大学费城分校副教授。；

数据集成原理（数据集成技术的权威之作！作者兼具学术与工业领域，对数据集成领域都有重要贡献，本书是数据集成相关工作人员的必读书籍） PDF下载

出版者的话中文版序译者序前言第1章绪论 1.1 什么是数据集成 1.2 数据集成面临的挑战 1.2.1 系统原因 1.2.2 逻辑原因 1.2.3 社会和管理原因 1.2.4 设定预期 1.3 数据集成架构 1.3.1 数据集成系统的组成部分 1.3.2 数据集成实例 1.4 全书概览参考文献注释第一部分数据集成技术基础第2章查询表达式及运算 2.1 数据库概念回顾 2.1.1 数据模型 2.1.2 完整性约束 2.1.3 查询和应答 2.1.4 合取查询 2.1.5 datalog查询 2.2 查询展开 2.3 查询包含与等价 2.3.1 形式化定义 2.3.2 合取查询的包含 2.3.3 合取查询的并集 2.3.4 带有比较谓词的合取查询 2.3.5 带有否定的合取查询 2.3.6 包语义、分组和聚集 2.4 基于视图计算查询 2.4.1 问题定义 2.4.2 视图与查询计算的相关性 2.4.3 查询重写的可能长度 2.4.4 桶算法和MiniCon算法 2.4.5 逻辑方法：逆规则算法 2.4.6 算法比较 2.4.7 基于视图的查询应答参考文献注释第3章数据源描述 3.1 概述和必要条件 3.2 模式映射语言 3.2.1 模式映射语言规则 3.2.2 全局视图 3.2.3 局部视图 3.2.4 全局-局部视图 3.2.5 元组生成依赖 3.3 访问模式限制 3.3.1 构建访问模式限制 3.3.2 生成可执行计划 3.4 中介模式上的完整性约束 3.4.1 带有完整性约束的LAV 3.4.2 带有完整性约束的GAV 3.5 结果完备性 3.5.1 局部完备性 3.5.2 结果完备性检测 3.6 数据级的异构性 3.6.1 标度差异性 3.6.2 相同实体的多重表示参考文献注释第4章字符串匹配 4.1 问题描述 4.2 相似度度量 4.2.1 基于序列的相似度度量 4.2.2 基于集合的相似度度量 4.2.3 混合相似度度量 4.2.4 语音相似度度量 4.3 可扩展的字符串匹配 …… 第5章模式匹配与模式映射第6章通用模式操作第7章数据匹配第8章查询处理第9章包装器第10章数据仓库与缓存第二部分扩展数据表示集成第11章 XML 第12章本体和知识表示第13章　不确定性数据集成第14章　数据溯源第三部分　新型集成系统第15章　Web数据集成第16章　关键字搜索：按需集成第17章　对等数据集成第18章　支持协同的集成第19章　数据集成的未来参考文献索引

媒体评论

　　这是一本数据集成技术的权威之作，书中的大部分技术都是作者提出来的。本书内容全面，很多技术细节都介绍得非常清楚，是数据集成相关工作人员的必读书籍。

　　----Philip A. Bernstein，微软杰出科学家

　　本书的三位作者对数据集成领域都有重要贡献，既有学术背景，又有工业界的经历。书中包含很多例子和相关信息，以便于读者理解理论知识。本书包含了现代数据集成技术的很多方面，包括不同的集成方式、数据和模式匹配、查询处理和包装器，还包括Web以及多种数据类型和数据格式带来的挑战。本书非常适合作为研究生数据集成课程教材。

　　----Michael Carey，加州大学欧文分校信息与计算机科学Bren教授

；

免费在线读

第 1章　绪　　论
　　Principles of Data Integration
　　互联网的发明和万维网的出现彻底改变了人们获取存储在电子设备数据的方式。现在我们能够很容易通过浏览器或者智能手机进行查询，对数百万文档集合、商业数据库进行搜索，获取推荐信息、优惠券等。同样，也可以很方便地订购一台我们想要的计算机，并且在几天内收到该计算机，即使计算机配件分布在世界各地。为了提供这种服务，系统必须能够高效、准确地处理互联网上的大量数据。但是，不同于传统的数据管理应用，如公司的工资管理系统这种新服务需要在多个应用程序和组织之间共享数据，并能将数据以灵活、高效的方式集成起来。本书涵盖了数据集成的基本原理，以及一些数据共享和数据集成技术。
　　1.1　什么是数据集成
　　我们通过两个实际的例子来说明数据集成的必要性。一个是企业应用，另一个是Web应用。例1.1　FullServe是一家提供家庭互联网接入的公司，同时也卖一些支持家庭计算的基础设施产品，如调制解调器、无线路由器、IP语音电话和咖啡机。FullServe是一家以美国为主的公司，最近决定把市场扩大到欧洲。为了扩大市场，FullServe收购了一家欧洲公司EuroCard，它是一个信用卡供应商，最近已开始利用其客户基础，进军互联网市场　这里提到的公司名字和它们之间的业务往来纯属虚构，但在当今的市场中很常见。。
　　图1-1　FullServe公司示例数据库。对每一个数据库，列举了一些表及其属性。例如，员工（Employee）数据库有一个表FullTimeEmps，该表的属性包括：ssn、empID、lastName、middleName和firstName
　　像FullServe这样的公司常常有上百个分散在不同地方的数据库，图1-1展示了FullServe数据库集合的一个简单版本。人力资源部有一个存储员工信息的数据库，全职员工和临时工分开，还有另外一个单独存放申请者简历的数据库，包括现有员工的简历。培训和发展部有一个单独的数据库用来保存每个员工接受的培训课程，包括内部和外部的培训课程。销售部门有一个保存服务和当前订购者的数据库，另一个数据库保存产品和客户信息。最后，客户服务部门维护着一个数据库，用于保存他们的客户服务热线收到的用户来电和电话内容详细信息。
　　FullServe收购EuroCard公司后，也继承了他们的数据库，如图1-2所示。EuroCard有一些和FullServe类似的数据库，但由于各自不同的地理位置和业务重点，也有一些明显的差异。　　第 1章　绪　　论<；br />； 　　Principles of Data Integration<；br />； 　　互联网的发明和万维网的出现彻底改变了人们获取存储在电子设备数据的方式。现在我们能够很容易通过浏览器或者智能手机进行查询，对数百万文档集合、商业数据库进行搜索，获取推荐信息、优惠券等。同样，也可以很方便地订购一台我们想要的计算机，并且在几天内收到该计算机，即使计算机配件分布在世界各地。为了提供这种服务，系统必须能够高效、准确地处理互联网上的大量数据。但是，不同于传统的数据管理应用，如公司的工资管理系统这种新服务需要在多个应用程序和组织之间共享数据，并能将数据以灵活、高效的方式集成起来。本书涵盖了数据集成的基本原理，以及一些数据共享和数据集成技术。<；br />； 　　1.1　什么是数据集成<；br />； 　　我们通过两个实际的例子来说明数据集成的必要性。一个是企业应用，另一个是Web应用。例1.1　FullServe是一家提供家庭互联网接入的公司，同时也卖一些支持家庭计算的基础设施产品，如调制解调器、无线路由器、IP语音电话和咖啡机。FullServe是一家以美国为主的公司，最近决定把市场扩大到欧洲。为了扩大市场，FullServe收购了一家欧洲公司EuroCard，它是一个信用卡供应商，最近已开始利用其客户基础，进军互联网市场　这里提到的公司名字和它们之间的业务往来纯属虚构，但在当今的市场中很常见。。<；br />； 　　图1-1　FullServe公司示例数据库。对每一个数据库，列举了一些表及其属性。例如，员工（Employee）数据库有一个表FullTimeEmps，该表的属性包括：ssn、empID、lastName、middleName和firstName<；br />； 　　像FullServe这样的公司常常有上百个分散在不同地方的数据库，图1-1展示了FullServe数据库集合的一个简单版本。人力资源部有一个存储员工信息的数据库，全职员工和临时工分开，还有另外一个单独存放申请者简历的数据库，包括现有员工的简历。培训和发展部有一个单独的数据库用来保存每个员工接受的培训课程，包括内部和外部的培训课程。销售部门有一个保存服务和当前订购者的数据库，另一个数据库保存产品和客户信息。最后，客户服务部门维护着一个数据库，用于保存他们的客户服务热线收到的用户来电和电话内容详细信息。<；br />； 　　FullServe收购EuroCard公司后，也继承了他们的数据库，如图1-2所示。EuroCard有一些和FullServe类似的数据库，但由于各自不同的地理位置和业务重点，也有一些明显的差异。<；br />； 　　图1-2　EuroCard的一些数据库。可以看出，EuroCard组织数据的方式和FullServe有很大不同。例如，EuroCard没有把全职员工和临时工分开存储。FullServe的员工雇用数据一部分保存在简历（Resume）数据库中，另一部分保存在员工数据库中，而EuroCard仅在员工数据库中保存雇用日期<；br />； 　　有很多原因导致一个公司的数据分散在多个不同的数据库，而不是集中存储在一个精心设计的数据库中。在FullServe和EuroCard的案例中，多个数据库是通过收购兼并得到的。公司进行内部重组时，应及时调整相应的数据库。例如，当FullServe服务部门和产品部门被合并时，可能并没有合并其数据库，因此公司有两个单独的数据库。其次，大多数数据库的产生都是因为公司中的某个组织在某段时间需要一些特定的信息。当创建数据库时，创建人并不能预见公司未来的所有信息需求以及他们今天存储的数据将来可能会有其他的用途。例如，FullServe现有的培训（Training）数据库在最开始的时候可能是由少数员工发起的一个小项目，用来记录谁参加了某些培训课程。但是，随着公司的发展以及培训和发展部门的创建，这个数据库就需要进行相应的扩展。总之，由于这样或那样的因素，大型企业通常有几十个甚至数百个不同的数据库。<；br />； 　　我们考虑FullServe的员工或经理可能会用到的几个查询，所有这些查询都需要跨多个数据库。<；br />； 　　现在FullServe是一家大公司，人力资源部需要能够查询所有员工，无论是在美国还是在欧洲。收购后，员工的数据存储在多个数据库中：美国的两个数据库（全职员工和临时工）和欧洲的一个数据库。<；br />； 　　FullServe有一个客户服务热线，客户可以打电话咨询他们从公司获得的任何服务或产品。至关重要的是，当客户代表与客户通电话时，他需要看到该客户从FullServe获得的整套服务，无论是互联网服务、信用卡或者购买的产品。特别是，当客户打电话来的时候，如果客户代表能够知道他是一个经常使用信用卡的大客户，会非常有用，即使这个客户只是打电话来抱怨他的互联网服务问题。即使是这样一个简单的场景，获得一个完整的客户视图，也至少需要从3个数据库中获得数据。<；br />； 　　FullServe要建立一个网站，作为其电话客服专线的补充。在网站上，现有的和潜在的客户应该能够看到FullServe提供的所有产品和服务，并可以选择捆绑式服务。因此，客户必须能够看到他现有的服务，以及任何其他服务的可用性和定价。这同样需要从公司的多个数据库中获取数据。<；br />； 　　更进一步，假设FullServe想与其他厂商一起提供一套品牌服务。比如，可以得到你最喜欢的运动队发行的信用卡，但实际上还是由FullServe提供服务。在这种情况下，FullServe需要为其他网站（如那些运动队的网站）提供一个Web服务，为访问这些网站的客户提供一个单点登录。该Web服务也需要访问FullServe的多个相应的数据库。1<；br />； 　　　～<；br />； 　　3<；br />； 　　政府的法律法规经常改变，这些法律法规影响着公司如何开展业务。为了避免可能的违规行为，FullServe需要主动采取一些措施。第一步，FullServe需要知道他们的员工在加入公司之前是否在其竞争对手或合作伙伴的公司里工作过。要应答这样的查询就会涉及将员工数据库和简历数据库结合起来。而简历往往是非结构化的文本，并没有很好地组织数据，这又给连接带来了困难。<；br />； 　　结合来自多个数据源的数据可以给公司带来机会，获得竞争优势，并找到需要改进的问题。比如前面提到的一个例子，把客户服务热线（HelpLine）数据库和销售（Sales）数据库中的数据结合起来，将帮助FullServe在早期发现他们的产品和服务中的问题。发现不同产品的使用趋势可以使FullServe积极主动地设定和维持库存水平。更进一步，FullServe可能会发现某一地区接到的有关他们服务故障的呼叫超乎寻常得多。再仔细看看这个数据就会发现，安装服务的代理商并没有参加应有的培训课程。要发现这样一个模式，需要从培训数据库、客户服务热线数据库和服务（Services）数据库中获取数据，这都涉及将分布在公司不同地方的数据进行合并的问题。例1.2　考虑需要数据集成的另一个不同的例子。假设你正在找工作，想利用网络上的资源。网络上有成千上万的网站和数据库保存着工作信息（参见图1-3的两个例子）。在这些网站中，通常会看到的一种形式是，让你填写一些个人信息（例如，职位、工作所在地、期望的工资水平），然后会给你列举一些相关的职位。不幸的是，每个网站要填的信息略有不同。例如图1-3的左侧，Monster网站要求填写与工作相关的关键字、工作地点、公司、行业和工作类别，而右侧CareerBuilder网站则允许你从一些选项菜单中选择几个工作地点和工作类别，并可以让你进一步指定薪水范围。<；br />； 　　因此，访问很多这样的网站是非常讨厌的，特别是每天都得这样做来跟上新发布的职位。理想情况下，只需要访问一个网站，在上面发布一个查询，让这个网站帮助你整合所有相关网站中的数据。<；br />； 　　更一般地，网络中包含数百万的数据库，其中一些数据库嵌入在网页中，其他一些可通过Web表单来访问。它们包含很多领域的数据，从普通的分类广告和产品数据，到艺术、政治和公共记录数据。要支持这个超大的数据集有几个重大的挑战。首先，我们面临的挑战是超大规模数据库集合的模式异构性：数百万的表由不同的人用上百种语言来创建。其次，提取数据相当困难。当通过表单来访问数据时（通常简称为深层网络（Deep Web）或隐式网络（Invisible Web）），我们要么使用智能爬虫从表单中爬取数据，要么在运行时构建良好的查询来获取数据。对于嵌入在网页中的数据，如何从周围的文字中提取表，并确定表结构是非常有挑战性的。当然，Web上的数据往往是错的、过时的，甚至是矛盾的。因此，从这些数据源获得答案，需要不同的方法来对数据进行组合和排序。<；br />； <；p>； 　　…… <；/p>；