数据处理与深度学习 PDF下载

编辑推荐

本书的特色在于以深度学习神经网络应用牵引深度学习神经网络理论的创新，同时以深度学习神经网络理论的创新促深度学习神经网络应用的创新，在深度学习神经网络与各行各业之间进行了大胆的交叉创新，从而使得深度学习神经网络技术更智能、更鲁棒、更普适、更精准、更强大，进而加速深度学习神经网络智能应用的发展。当然，深入后必能浅出，因此读者通过本书也能通过深度学习神经网络的新理论方法和新应用加深对现有深度学习技术的理解和应用。；

内容简介

本书是一本学术著作，本书的前面几章是深度学习神经网络与大数据智能处理的理论方法部分；接下来几章是深度学习神经网络与大数据智能处理的应用实践部分。本书原创性在于提出、研究并给出了十四种深度学习神经网络与大数据智能处理新理论新方法和新应用。本书适用于高等院校、科研院所及企事业单位的科研及教学用书。

作者简介

暂无

数据处理与深度学习 PDF下载


 
  目录
 
 
第1章组合型深度学习模型

1．1基于类别树的深度学习模型

1．1．1基于类别树的深度学习方法

1．1．2基于类别树的深度学习系统

1．2基于联合聚类深度学习模型的数据识别

1．2．1基于联合聚类深度学习模型的数据识别方法

1．2．2联合聚类深度学习模型的数据识别系统

1．3基于深度学习模型的身份识别

1．3．1基于深度学习模型的身份识别方法

1．3．2基于深度学习模型的身份识别系统

第2章智能型深度学习模型

2．1基于大数据的深度学习模型初始化

2．1．1基于大数据的深度学习模型初始化方法

2．1．2基于大数据的深度学习模型初始化系统

2．2深度学习模型进化

2．2．1深度学习模型进化方法

2．2．2深度学习模型进化系统

第3章适应型深度学习模型

3．1期望与反期望深度学习模型

3．1．1期望与反期望深度学习方法

3．1．2期望与反期望深度学习系统

3．2残缺深度学习模型

3．2．1残缺深度学习模型方法

3．2．2残缺深度学习模型系统

第4章深度学习模型的预报预测大数据应用

4．1基于大数据深度学习和分析场的气象预报

4．1．1基于大数据深度学习和分析场的气象预报方法

4．1．2基于大数据深度学习和分析场的气象预报系统

4．2基于深度学习模型的文化冲突分析预测

4．2．1基于深度学习模型的文化冲突分析预测方法

4．2．2基于深度学习模型的文化冲突分析预测系统

第5章深度学习模型的调度推荐大数据应用

5．1基于大数据和深度学习模型的云计算调度

5．1．1基于大数据和深度学习模型的云计算调度方法

5．1．2基于大数据和深度学习模型的云计算调度系统

5．2基于大数据和深度学习模型的停车引导

5．2．1基于大数据和深度学习模型的停车引导方法

5．2．2基于大数据和深度学习模型的停车引导系统

5．3基于大数据与深度学习的婚恋对象匹配推荐

5．3．1基于大数据与深度学习的婚恋对象匹配推荐方法

5．3．2基于大数据与深度学习的婚恋对象匹配推荐系统

第6章深度学习模型的检测诊断大数据应用

6．1基于深度学习模型和大数据的停车位检测

6．1．1基于深度学习模型和大数据的停车位检测方法

6．1．2基于深度学习模型和大数据的停车位检测系统

6．2基于深度学习模型面向自动诊断的医疗数据处理

6．2．1基于深度学习模型面向自动诊断的医疗数据处理系统

6．2．2基于深度学习模型面向自动诊断的医疗数据处理方法

参考文献

结束语

前沿

前言
深度学习模型因为阿尔法狗战胜了人类围棋冠军而一举成名，再加上BAT（百度、阿里巴巴、腾讯）、谷歌等国内外知名公司的推崇，使得深度学习模型的研究热浪一波高过一波。深度学习模型之所以能使得一度被打入冷宫的神经网络重新受到了大众的宠爱，主要因为深度学习模型能用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征，从而使得过去被废弃的大量非标签数据在神经网络中得到了利用；更为重要的是，使得神经网络的深度得到极大的增加，从而极大地提高了神经网络的处理能力。深度学习模型虽然是一个初生儿，但辈分极高，因为其前身是具有悠久历史的神经网络，在20年前，我上大学期间就有一门课程，称为“神经网络”。虽然辈分很高，但毕竟是初生儿，毕竟是一个新的生命，所以不论在理论上还是在应用上，都存在着很多盲点和缺陷，都需要开拓和创新，都需要完善和升级。
深度学习模型的春雨过后，无人驾驶、图像识别等人工智能相关的应用如雨后春笋层出不穷。随着应用的深度开展，其理论研究也在如火如荼地展开。很多企业和高校已经成立了深度学习研究中心或小组，专门研究深度学习模型的相关理论和应用，同时深度学习模型方面的培训和课程也在国内外掀起了热潮，但困境是深度学习模型理论和应用相关的著作仍然比较缺乏。
在深度学习模型火热之前，大数据已经热了几年，而深度学习模型的出现给大数据的智能处理提供了一个新的出路。深度学习模型只有基于大数据才能发挥其威力，才能达到很高的准确度。而大数据在应用了深度学习之后所能达到的处理效果也是传统算法所无法企及的。可以说，两者相得益彰，相互促进，互利共赢。
本书可以作为学习和研究深度学习模型的学生和学者的参考用书，其中的理论部分可以用于完善现有深度学习模型方法的不足，为理论的创新奠定基础；其中的应用部分可以为企业提供更多的深度学习模型应用思路和方案，进而使得深度学习模型在实践中产生更大的价值。
本书的所有内容都是作者原创性的研究成果。本书的原创性在于首次提出并研究给出了组合型深度学习模型、智能型深度学习模型、适应型深度学习模型；首次提出并研究给出了三种组合型深度学习模型，包括基于类别树的深度学习模型、基于联合聚类深度学习模型的数据识别、基于深度学习模型的身份识别；首次提出并研究给出了两种智能型深度学习模型，包括基于大数据的深度学习模型初始化、深度学习模型进化；首次提出并研究给出了两种适应型深度学习模型，包括期望与反期望深度学习模型、残缺深度学习模型；首次提出并研究给出了两种深度学习模型的预报预测大数据应用，包括基于大数据深度学习和分析场的气象预报、分析预测文化冲突的深度学习模型；首次提出并研究给出了三种深度学习模型的调度推荐大数据应用，包括基于大数据和深度学习模型的云计算调度、基于大数据和深度学习模型的停车引导、基于大数据与深度学习的婚恋对象匹配推荐；首次提出并研究给出了两种深度学习模型的检测诊断大数据应用，包括基于深度学习模型和大数据的停车位检测、基于深度学习模型面向自动诊断的医疗数据处理。
本书选取的是人工智能的前沿领域和热点领域深度学习模型，但与各个应用领域进行了交叉创新，并在交叉创新的过程中发现和改进了现有深度学习模型理论的不足，同时拓展了现有深度学习模型的应用范围，进而实现了现有深度学习模型技术基础上从理论到应用的创新。
本书中的研究得到了国家级新工科研究与实践项目(粤教高函【2018】17号)、国家社会科学基金重大项目(14ZDB101)、国家自然科学基金重点项目(41630635)、教育部—腾讯公司产学合作协同育人项目(201602001001)、广东高校重大科研项目(粤教科函【2018】64)、广东省新工科研究与实践项目(粤教高函【2017】118号)、广东省高等教育教学研究和改革重点项目(粤教高函【2016】236号)、广东省学位与研究生教育改革研究重点项目(粤教研函【2016】39号)、广东省联合培养研究生示范基地(粤教研函【2016】39号)的支持。
本书的特色在于以深度学习模型应用牵引深度学习模型理论的创新，同时以深度学习模型理论的创新促进深度学习模型应用的创新，在深度学习模型与各行各业之间进行了大胆的交叉创新，从而使得深度学习模型技术更智能、更普适、更精准、更强大，进而加速深度学习模型智能应用的发展。当然，深入后必能浅出，因此读者通过本书也能根据深度学习模型的新理论、新方法和新应用加深对现有深度学习技术的理解和应用。
华南师范大学

朱定局

2018年5月

免费在线读

第5章深度学习模型的调度推荐大数据应用

深度学习模型的应用很多，其中深度学习模型的调度推荐大数据应用有着非常重要的应用价值和前景。本章给出了3种深度学习模型的调度推荐大数据应用：基于大数据和深度学习模型的云计算调度，基于大数据和深度学习模型的停车引导，基于大数据与深度学习的婚恋对象推荐。
5．1基于大数据和深度学习模型的云计算调度
当前，云计算技术可谓是计算机服务领域最热门的话题之一。大到行业的领军企业，如IBM、Google，小到一些私人企业，甚至一些乐于追求新技术的技术人员，都在部署或研究云计算，希望通过云计算来巩固或提升自己在行业的地位。云计算环境中采用虚拟化技术，将服务器整体虚拟化为一个数据资源池，由于数据资源种类多、规模大，因此云计算数据资源调度成为云计算研究的热点之一。
进行云计算调度［19,20］时，最重要的是在调度之前预测一个云任务调度到某类云资源上去会占用多少云资源，以作为调度的依据。现有的云计算调度基本上都采用了预估式，通过预估某个云计算任务占用的云资源量(包括计算、内存、外存、网络等资源)和剩余云资源量进行调度。现有技术的这种预估方式一般是根据任务类型对占用的云资源量进行粗略估计的，但这种粗略估计并未结合过去对云资源的实际占用情况进行预测，因此往往是不准确的，导致基于此的调度也不一定能最大程度地利用云资源，调度效率不高。
如图51所示，本技术研究并给出了一种新的基于大数据和深度学习模型的云计算调度方法及系统，方法包括：获取需调度的云任务类型T、需调度的T类型云任务的数量M以及拟调度到的云资源候选类型；从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的调度记录；根据检索出的所有过去调度记录，采用深度学习模型预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量；根据预测的结果完成云计算调度。本技术基于过去能力大数据和深度学习模型，通过过去不同类型的云任务调度到不同云资源上时对云资源的占用情况这一客观事实来进行预测，更加准确，调度效率更高。本技术可广泛应用于云计算领域。

图51基于大数据和深度学习模型的云计算调度方法的整体流程图

5．1．1基于大数据和深度学习模型的云计算调度方法
如图52所示，本技术云计算调度方案的一种具体技术方案的实现步骤如下：

图52具体技术方案的实现流程图

(1) 步骤S1，将过去每次调度中不同类型的云任务调度到不同类型的云资源上时云任务的类型及数量、云资源的类型及占用数量存入过去能力大数据库。
其中，过去能力大数据库用于存储过去能力大数据。过去能力大数据，是指云调度的当前时间(即需进行云调度预测的时间)之前的云调度记录。云调度记录包括调度日期及时间、云任务类型、T类型云任务的数量、云资源候选类型和占用候选类型云资源的数量等。例如，过去能力大数据包括：
日期及时间1，云任务类型T11，T类型云任务的数量M11，云资源候选类型R11，候选类型云资源的数量N11；
日期及时间2，云任务类型T21，T类型云任务的数量M21，云资源候选类型R21，候选类型云资源的数量N21；
……
(2) 步骤S2，获取需调度的云任务类型T、需调度的T类型云任务的数量M及拟调度到的每一云资源候选类型。
本具体技术方案拟调度到的云资源类型至少一个，可以是一种类型或多种备选类型，云资源候选类型可用变量R表示。
(3) 步骤S3，从过去能力大数据库中检索出所有从T类型的云任务调度到候选类型的云资源上的调度记录。具体包括：
日期及时间k1，云任务类型T，T类型云任务的数量M1，云资源候选类型，候选类型云资源的数量N1；
日期及时间k2，云任务类型T，T类型云任务的数量M2，云资源候选类型，候选类型云资源的数量N2；
……
如果从T类型的云任务调度到候选类型的云资源上的所有调度记录的个数小于第一预设阈值，则检索出从与T类型匹配度大于符合第二预设条件的类型的云任务调度到与候选类型匹配度大于符合第三预设条件的类型的云资源上的所有调度记录，这样做的目的是确保有足够的数据训练预设深度学习模型。其中，与T类型匹配度大于符合第二预设条件的类型是指，如果T类型是“打开OFFICE2007”，第二预设条件为任务名称匹配，那么类型“打开OFFICE2003”属于与T类型匹配度符合第二预设条件的类型，因为二者的任务名称“打开OFFICE”是匹配的，只是任务版本号不一致。与候选类型匹配度符合第三预设条件的类型是指，如果候选类型是“Windows 2003”，第三预设条件为资源名称匹配，那么类型“Windows 2008”属于与候选类型匹配度符合第三预设条件的类型，因为二者的资源名称“Windows”是匹配的，只是资源版本号不一致。
(4) 步骤S4，根据检索出来的每个调度记录中云任务的数量及云资源的占用情况，预测调度数量M的T类型云任务到候选类型云资源时会占用候选类型云资源的数量。
步骤S41，初始化预设深度学习模型，使得该预设深度学习模型的输入节点能接受T类型云任务的数量作为输入，并使得输入节点能接受候选类型云资源的数量作为输出。
步骤S42，将检索出来的每个调度记录按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习模型进行训练。
例如，将检索出来的每个调度记录按照时间先后顺序进行排序后得到：
日期及时间k1，云任务类型T，T类型云任务的数量M1，云资源候选类型，候选类型云资源的数量N1；
日期及时间k2，云任务类型T，T类型云任务的数量M2，云资源候选类型，候选类型云资源的数量N2；
……
训练时，首先进行如下无监督训练：
T类型云任务的数量M1作为训练输入数据，对预设深度学习模型进行无监督训练；
T类型云任务的数量M2作为训练输入数据，对预设深度学习模型进行无监督训练；
……
然后进行如下有监督训练：
T类型云任务的数量M1作为训练输入数据，候选类型云资源的数量N1作为训练预期输出数据，对预设深度学习模型进行有监督训练；
T类型云任务的数量M2作为训练输入数据，候选类型云资源的数量N2作为训练预期输出数据，对预设深度学习模型进行有监督训练；
……
因为越是最近的训练数据，对调度预测的参考价值越大，所以本具体技术方案需要按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习模型进行训练，这样做的好处是：越是最近时间的训练数据越是最后对深度学习模型进行训练，即令最近时间的训练数据对训练后的深度学习模型的影响更大，从而使得训练后的深度学习模型更能反映出最近的训练数据的特征。
步骤S43，将需调度的云任务数量M作为训练后的预设深度学习模型的输入，并将训练后的预设深度学习模型计算得到的输出作为预测出的云资源的占用数量。
(5) 步骤S5,将预测出的每一候选类型云资源对应的数量作为调度相同数量的类型T云任务到该候选类型云资源时会占用该候选类型云资源的数量输出给云计算调度系统，云计算调度系统根据预测的结果从所有候选类型云资源中选择一个类型云资源进行调度。
例如，有m个候选类型R，第1个类型的R记为R-1，其对应的数量记为N-1；第2个类型的R记为R-2，其对应的数量为N-2，依此类推，则输出给云计算调度系统的预测结果为：
对应R-1的N-1，对应R-2的N-2，……，对应R-m的N-m。
云计算调度系统从中选择一种候选类型云资源进行调度这一过程，可具体细分为以下步骤：
步骤S51，获取每一候选类型云资源的剩余资源量STk和单位成本CTk；
步骤S52，判断类型T云任务是否可以拆分并调度到不同云资源，如果不可以，则执行步骤S53，如可以则执行步骤S54；
步骤S53，从所有候选类型云资源中选择一个剩余资源量大于或等于预测占用数量(预测占用数量等于步骤S4预测出的T类型云任务占用候选类型云资源的数量)且总成本最低的一个类型云资源进行调度。
例如：
对应R-1的N-1，R-1的剩余资源量为STk-1，单位成本为CTk-1；
对应R-2的N-2，R-2的剩余资源量为STk-2，单位成本为CTk-2；
……
对应R-m的N-m，R-1的剩余资源量为STk-m，单位成本为CTk-m。
如果N-1≤STk-1，则计算选择R-1的总成本（N-1）×（CTk-1），否则不考虑对R-1的选择；
如果N-2≤STk-2，则计算选择R-2的总成本（N-2）×（CTk-2），否则不考虑对R-2的选择；
……
如果N-m≤STk-m，则计算选择R-m的总成本（N-m）×（CTk-m），否则不考虑对R-m的选择；
从所有计算的总成本中选出总成本最低的一个类型的云资源进行调度。
步骤S54，令剩余数量M′的初始值为M，从所有尚未被调度的候选类型云资源中选择有剩余资源量且单位成本最低的候选类型云资源，如果选择的候选类型云资源的剩余预测占用量(剩余预测占用数量=预测占用数量×(M′/ M))小于或等于相应的剩余资源量，则将数量M′的T类型云任务全部调度到该候选类型云资源，如果选择的候选类型云资源的剩余预测占用数量大于相应的剩余资源量，则从数量M′的T类型云任务中拆分出［M′×(剩余资源量/剩余预测占用数量)］数量的T类型云任务调度到该候选类型云资源，并将M′更新为M′×(1-剩余资源量/剩余预测占用数量)，重复这个步骤直至剩余资源量大于剩余预测占用数量。
例如：
对应R-1的N-1，R-1的剩余资源量为STk-1，单位成本为CTk-1；
对应R-2的N-2，R-2的剩余资源量为STk-2，单位成本为CTk-2；
……
对应R-m的N-m，R-1的剩余资源量为STk-m，单位成本为CTk-m。
按照单位成本从低到高排序。
令M′=M
如果N-2≤STk-2，则将数量M′的T类型云任务全部调度到R-2类型云资源；
如果N-2>；STk-2，则从数量M′的T类型云任务中拆分出［M′×(STk-2/N-2)］数量的T类型云任务调度到R-2类型云资源，并将M′更新为M′×(1-STk-2/N-2)；接下来对CTk-4进行类似处理，依此类推。
本具体技术方案通过步骤S54的这种拆分可以实现将数量M的T类型云任务调度到多个候选类型云资源时的总成本最低。
(6) 步骤S6，在数量的T类型云任务被调度且运行完成后，获取数量M的类型T云任务实际占用的被调度的候选类型云资源的数量，并存入过去能力大数据库。
本技术具有以下优点：
(1) 基于过去能力大数据和深度学习模型，通过过去不同类型的云任务调度到不同云资源上时对云资源的占用情况这一客观事实，来对调度任务中相应类型的云任务调度到相应类型云资源时将会占用的资源状况进行预测，与现有粗略估计的预估式预测方式相比，更加准确，使得基于本技术的预测结果的调度能最大程度地利用云资源，调度效率更高。
(2) 通过第一预设阈值、第二预设条件和第三预设条件确保了有足够的数据训练预设深度学习模型。
(3) 训练前先将检索出的每个过去调度记录按照时间先后顺序进行排序，令最近时间的训练数据对训练后的深度学习模型的影响更大，从而使得训练后的深度学习模型更能反映出最近的训练数据的特征。
(4) 在云计算调度完成后，本技术通过将实际占用的云资源的数量存入过去能力大数据库来修正和不断更新实际占用的云资源数量，使得预测结果更加准确和可靠。