大数据分析与挖掘 PDF下载

第 1章　绪论　1

1.1　大数据分析与挖掘简介　1

1.2　大数据应用及挑战　2

1.3　大数据分析与挖掘主要技术　3

1.4　大数据分析与挖掘工具　4

1.4.1　Sklearn　4

1.4.2　Spark ML　5
第 1章　绪论　1<；br />；<；br />；
1.1　大数据分析与挖掘简介　1<；br />；<；br />；
1.2　大数据应用及挑战　2<；br />；<；br />；
1.3　大数据分析与挖掘主要技术　3<；br />；<；br />；
1.4　大数据分析与挖掘工具　4<；br />；<；br />；
1.4.1　Sklearn　4<；br />；<；br />；
1.4.2　Spark ML　5<；br />；<；br />；
1.4.3　华为云的机器学习服务　5<；br />；<；br />；
第 2章　数据特征分析与预处理　15<；br />；<；br />；
2.1　数据类型　15<；br />；<；br />；
2.1.1　数据集类型　15<；br />；<；br />；
2.1.2　数据属性的类型　17<；br />；<；br />；
2.2　数据的描述性特征　20<；br />；<；br />；
2.2.1　描述数据集中趋势的度量　20<；br />；<；br />；
2.2.2　描述数据离中趋势的度量　22<；br />；<；br />；
2.2.3　数据分布形态的度量　24<；br />；<；br />；
2.2.4　数据分布特征的可视化　27<；br />；<；br />；
2.3　数据的相关分析　30<；br />；<；br />；
2.3.1　相关分析　31<；br />；<；br />；
2.3.2　卡方（χ2）检验　32<；br />；<；br />；
2.4　数据预处理　34<；br />；<；br />；
2.4.1　数据变换、离散化与编码　35<；br />；<；br />；
2.4.2　数据抽样技术　40<；br />；<；br />；
2.4.3　主成分分析　42<；br />；<；br />；
2.4.4　数据清洗　49<；br />；<br />
2.5　Spark数据预处理功能简介　52<br /><br />
2.5.1　二值化　52<br /><br />
2.5.2　分箱器　52<br /><br />
2.5.3　哈达玛积变换　53<br /><br />
2.5.4　最大绝对值标准化　53<br /><br />
2.5.5　最小—最大变换　54<br /><br />
2.5.6　正则化　54<br /><br />
2.5.7　多项式扩展　55<br /><br />
2.5.8　标准化　55<br /><br />
2.5.9　特征向量合并　56<br /><br />
2.5.10　类别特征索引　57<br /><br />
习题　57<br /><br />
第3章　关联规则挖掘　59<br /><br />
3.1　基本概念　59<br /><br />
3.2　基于候选项产生—测试策略的频繁模式挖掘算法　61<br /><br />
3.2.1　Apriori算法　61<br /><br />
3.2.2　基于划分的算法　64<br /><br />
3.2.3　事务数据的存储　65<br /><br />
3.3　不需要产生候选项集的频繁模式挖掘算法　66<br /><br />
3.3.1　FP-Growth算法　66<br /><br />
3.3.2　Spark上FP-Growth算法实践　71<br /><br />
3.4　结合相关性分析的关联规则　72<br /><br />
3.5　多层关联规则挖掘算法　74<br /><br />
3.6　序列模式挖掘　77<br /><br />
3.6.1　序列模式的定义　77<br /><br />
3.6.2　PrefixSpan算法　78<br /><br />
3.6.3　与其他序列模式挖掘算法的比较和分析　80<br /><br />
3.7　其他类型关联规则简介　81<br /><br />
3.7.1　量化关联规则　82<br /><br />
3.7.2　时态关联规则　82<br /><br />
3.7.3　局部化的关联规则　82<br /><br />
3.7.4　优化的关联规则　82<br /><br />
习题　83<br /><br />
第4章　分类与回归算法　85<br /><br />
4.1　决策树算法　85<br /><br />
4.1.1　决策树简介　85<br /><br />
4.1.2　决策树的类型　86<br /><br />
4.1.3　决策树的构造过程　86<br /><br />
4.1.4　信息论的有关概念　87<br /><br />
4.1.5　ID3算法　87<br /><br />
4.1.6　信息论在ID3算法中的应用　90<br /><br />
4.1.7　C4.5算法　91<br /><br />
4.1.8　CART算法　91<br /><br />
4.1.9　过拟合与决策树剪枝　93<br /><br />
4.1.10　决策树后剪枝策略　95<br /><br />
4.1.11　决策树的生成与可视化　103<br /><br />
4.1.12　几种属性选择度量的对比　106<br /><br />
4.2　贝叶斯分类器　106<br /><br />
4.2.1　贝叶斯决策理论　106<br /><br />
4.2.2　极大似然估计　107<br /><br />
4.2.3　朴素贝叶斯分类器　108<br /><br />
4.2.4　贝叶斯网络基础　110<br /><br />
4.2.5　通过贝叶斯网络判断条件独立　111<br /><br />
4.2.6　贝叶斯网络推理实例　112<br /><br />
4.3　基于实例的分类算法　115<br /><br />
4.3.1　KNN分类器　115<br /><br />
4.3.2　局部加权回归　121<br /><br />
4.3.3　基于案例的推理　123<br /><br />
4.4　组合分类算法　130<br /><br />
4.4.1　Adaboost算法　130<br /><br />
4.4.2　Bagging算法　135<br /><br />
4.4.3　随机森林　140<br /><br />
4.5　分类器算法的评估　142<br /><br />
4.6　回归分析　146<br /><br />
4.6.1　线性回归　146<br /><br />
4.6.2　岭回归　149<br /><br />
4.6.3　多项式回归　149<br /><br />
4.6.4　逻辑回归　151<br /><br />
4.6.5　决策树回归　152<br /><br />
4.6.6　梯度提升决策树　155<br /><br />
习题　160<br /><br />
第5章　聚类算法　165<br /><br />
5.1　聚类分析概述　165<br /><br />
5.2　聚类算法的分类　166<br /><br />
5.3　距离度量　166<br /><br />
5.3.1　幂距离　166<br /><br />
5.3.2　欧式距离　167<br /><br />
5.3.3　曼哈顿距离　167<br /><br />
5.3.4　切比雪夫距离　168<br /><br />
5.3.5　余弦相似度　168<br /><br />
5.3.6　兰氏距离　169<br /><br />
5.3.7　马氏距离　169<br /><br />
5.3.8　斜交空间距离　170<br /><br />
5.3.9　杰卡德距离　170<br /><br />
5.3.10　汉明距离　171<br /><br />
5.4　基于划分的聚类算法　172<br /><br />
5.4.1　K均值算法　172<br /><br />
5.4.2　二分K均值聚类算法　174<br /><br />
5.4.3　小批量K均值算法　175<br /><br />
5.4.4　K均值  算法　179<br /><br />
5.4.5　K中心点算法　180<br /><br />
5.4.6　数据流K均值算法　181<br /><br />
5.5　基于密度的聚类算法　182<br /><br />
5.5.1　DBSCAN算法　182<br /><br />
5.5.2　OPTICS算法　185<br /><br />
5.6　基于模型的聚类算法：高斯混合模型算法　189<br /><br />
5.6.1　算法原理　189<br /><br />
5.6.2　GMM算法的参数估计　190<br /><br />
5.6.3　GMM算法实践　191<br /><br />
5.7　层次聚类　193<br /><br />
5.7.1　凝聚的层次聚类算法　193<br /><br />
5.7.2　聚类之间距离的度量方法　193<br /><br />
5.7.3　层次聚类算法的性质　204<br /><br />
5.7.4　BIRCH算法　207<br /><br />
5.8　基于网格的聚类算法　211<br /><br />
5.8.1　STING算法　211<br /><br />
5.8.2　CLIQUE算法　213<br /><br />
5.9　Mean Shift聚类算法　218<br /><br />
5.9.1　基本概念　218<br /><br />
5.9.2　Mean Shift算法聚类过程　219<br /><br />
5.9.3　Mean Shift聚类算法实践　222<br /><br />
5.9.4　改进的Mean Shift算法　223<br /><br />
5.10　聚类算法评价指标　224<br /><br />
5.10.1　调整兰德指数　224<br /><br />
5.10.2　互信息评分　225<br /><br />
5.10.3　同质性、完整性以及调和平均　226<br /><br />
5.10.4　Fowlkes-Mallows评分　228<br /><br />
5.10.5　轮廓系数　229<br /><br />
5.10.6　Calinski-Harabz 指数　229<br /><br />
习题　230<br /><br />
第6章　数据挖掘综合应用：异常检测　232<br /><br />
6.1　预备知识　232<br /><br />
6.1.1　相关统计学概念　232<br /><br />
6.1.2　异常检测评价指标　234<br /><br />
6.1.3　异常检测问题的特点　234<br /><br />
6.1.4　异常检测算法分类　234<br /><br />
6.2　基于隔离森林的异常检测算法　235<br /><br />
6.2.1　隔离与隔离树iTree　236<br /><br />
6.2.2　隔离森林的特点　238<br /><br />
6.2.3　隔离森林算法　239<br /><br />
6.2.4　应用实例　240<br /><br />
6.3　局部异常因子算法　242<br /><br />
6.3.1　基本定义　242<br /><br />
6.3.2　异常检测　243<br /><br />
6.3.3　应用实例　244<br /><br />
6.4　基于One-Class SVM的异常检测算法　245<br /><br />
6.4.1　基本原理　245<br /><br />
6.4.2　应用实例　246<br /><br />
6.5　基于主成分分析的异常检测算法　247<br /><br />
6.6　基于集成学习的异常检测算法　249<br /><br />
6.6.1　基本原理　249<br /><br />
6.6.2　应用实例　250<br /><br />
6.7　其他有监督学习类型的检测算法　253<br /><br />
6.7.1　罕见类别检测　254<br /><br />
6.7.2　基于有监督学习的异常检测实例　256<br /><br />
6.7.3　异常检测应用实例——时空异常检测　257<br /><br />
6.7.4　Spark异常值检测实例　259<br /><br />
6.8　习题　261<br /><br />
附录　《大数据分析与挖掘》配套实验课程方案简介　263<br /><br />
参考文献　264<br /><br />
<br /><br />