大数据的数据预处理思维导图

U252018767

2024-12-02

浏览量: 0

大数据

数据处理

变量选择

插补方法，检验与处理，变量选择内容讲解

树图思维导图提供《大数据的数据预处理》在线思维导图免费制作，点击“编辑”按钮，可对《大数据的数据预处理》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：b935548f394b2cbc9338875affd0789c

思维导图大纲

缺失值的插补方法

回归插补

基本思想

通过合并其他变量的信息来产生缺失变量的插补值，建立缺失变量和已观测变量的回归方程，用缺失变量的预测值进行缺失值的差补。

步骤

数据准备

选择回归模型

模型训练

预测缺失值

插补缺失值

优点

充分利用已知数据信息适用于变量强相关情况

适用于连续性变量

简单直观

局限性

依赖假设条件

过度拟合或欠拟合

忽略缺失机制

随机回归插补

基本思想

随机回归插补是对回归插补的改进，在回归预测值上增加了一些随机因素，这样减弱了回归插补对原相关性的影响。

步骤

数据准备

特征选择

模型训练

预测缺失值

插补缺失值

优点

考虑随机因素

局限性

过度拟合或欠拟合

多重插补

基本思想

多重插补是一种基于重复模拟处理缺失值的方法，它使用包含缺失值的原数据集，用蒙特卡罗方法重复多次生成若干组完整数据集，在每一组模拟出来的完整数据集上分别应用标准的统计方法，然后通过组合输出结果给出估计的效果以及引入缺失值后的置信区间。

步骤

数据准备

选择初始模型

预测缺失值

模型迭代

预测缺失值

合并插补结果

优点

充分利用数据信息

保持数据完整性

减少偏差

局限性

模型选择较为困难

解释性差，可能过拟合

计算成本高

K近邻法

基本思想

K近邻法利用样本观测之间的相关性来填补缺失值。假设两个观测是相似的，其中一个观测在某些变量上有缺失值，那么该缺失值很可能与另一个观测的值是相似的。

步骤

确定距离度量

欧几里得距离

曼哈顿距离

闵科夫斯基距离

汉明距离

确定K值

搜索临近样本

进行决策

分类结果

回归结果

优点

适应性强

无需训练

对异常值不敏感

易于理解和实现

局限性

计算量大

距离选择困难

需要对数据进行预处理

K值选择困难

异常值的检验与处理

检测方法

基于分布的方法

散点图

箱形图/1.5 IQR

使用箱形图可视化数据，箱体外的点（超出1.5倍四分位距的点）被视为离群点。

Z-score(3σ原则)

计算每个数据点的Z-score（标准分数），如果Z-score的绝对值大于某个阈值（通常是3），则该数据点被视为离群点。

主成分分析

使用PCA降维，并在主成分空间中识别离群点，可以通过观察主成分得分的分布来判断。

聚类方法

使用K-means、DBSCAN等聚类算法，离群点通常是那些不属于任何集群的点。

基于距离的方法

马氏距离

计算每个点到均值的Mahalanobis距离，通常情况下，如果距离超过某个临界值，则被视为离群点。

曼哈顿距离

计算数据点之间的曼哈顿距离，绝对差值之和超过阈值的点被认为是异常值。

K-近邻法（KNN）

计算数据点与最近的K个点的距离之和，超过阈值的点被认为是异常值。

基于密度的方法

孤立森林

一种基于树的算法，通过构建随机树来识别离群点，适用于高维数据。

DBSCAN

通过构建随机分割的决策树来识别异常值。

局部离群点因子检测（LOF）

通过计算每个数据点的局部密度偏差来识别异常值。

基于聚类的方法

K-means

通过簇中心分配数据点，距离簇中心较远的点可能是异常值。

层次聚类

通过构建聚类树，孤立的点可能是异常值。

处理方法

剔除

直接删除离群点，适用于数据量较大且离群点对分析结果影响不大的情况。

替换

用均值、中位数或其他合理值替代离群点，适用于保留数据完整性的情况。

保留

在某些情况下，离群点可能是有效的信息，特别是在金融欺诈检测等领域，因此可以选择保留。

转换

如对数转换，减小异常值的影响。

变量选择

嵌入

学习算法中本来就包含特征选择。

支持向量机（SVM）

线性支持向量机通过寻找最大间隔超平面来分离不同类别的样本点。在这一过程中，只有部分靠近决策边界的样本对模型产生影响，因此起到了特征选择的作用。

决策树

能够自然的识别和选择最重要的特征。决策树通过分裂节点来构建树结构，每次分裂都会选择能够最大化某个评价标准（如基尼不纯度或信息增益）的特征。通过这种方式，决策树能够自动评估每个特征的重要性。

Lasso回归

LASSO通过添加L1正则化项，压缩小系数至零，实现特征选择。

Ridge回归

Ridge引入L2正则化，防止过拟合，但保留所有特征，权重可能接近零。

封装

特征选择过程与训练过程整合在一起，以模型的预测能力作为衡量特征子集的选择标准。

递归特征消除（RFE）

通过递归地消除特征并建立模型来选择特征子集。每次迭代中，根据特征的重要性权重剔除一部分特征，直至达到预期的特征数量。

顺序前向选择

从空集开始，每次加入一个特征，选择使评估性能提升最大的特征，直到达到预定的特征数量或性能不再提升。

顺序后向选择

从全集开始，每次淘汰一个特征，选择使评估性能降低最小的特征，直到达到预定的特征数量或性能不再提升。

随机森林

决策树通过划分特征空间来构建树形结构，随机森林由多个决策树组成，通过对特征进行投票或平均来决定最终输出。

Lasso回归

LASSO通过添加L1正则化项，压缩小系数至零，实现特征选择。

过滤

特征选择过程独立于训练过程，以分析特征子集内部特点来预先筛选，与学习器的选择无关。

方差阈值过滤法

可以设置一个阈值，选择那些相关性得分高于阈值的特征。

最小联合互信息最大化（MJMIM）

MJMIM是一种综合考虑多个特征之间交互作用的过滤方法，旨在最大化联合互信息的同时尽量减少特征间的冗余。

904名中国成年人第三磨牙相关知识、态度、行为和病史的横断面调查思维导图

U633687664

3.9

树图思维导图提供《904名中国成年人第三磨牙相关知识、态度、行为和病史的横断面调查》在线思维导图免费制作，点击“编辑”按钮，可对《904名中国成年人第三磨牙相关知识、态度、行为和病史的横断面调查》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：10b9a8a2dd2fb4593f8130ef16c320fc

9.战斗的基督教思维导图

U582679646

3.63

树图思维导图提供《9.战斗的基督教》在线思维导图免费制作，点击“编辑”按钮，可对《9.战斗的基督教》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：33d168acd0cd9f767f809c7a5df86e3a

思维导图模板

IT互联网

产品结构

正文

相似思维导图模版

思维导图模版推荐

出口药品生产监督管理规定（征求意见稿）思维导图

论文题目：《代驾服务行业乱象探究与治理策略》思维导图

2024-12-02 14:01:02

市中医医院法制建设结构图思维导图

2024-12-02 10:36:22

首页

我的文件

我的团队

个人中心

﻿大数据的数据预处理思维导图

思维导图大纲

相关思维导图模版

缺失值的插补方法

异常值的检验与处理

﻿变量选择

相似思维导图模版

思维导图模版推荐

大数据的数据预处理思维导图

变量选择