目录思维导图

玖月

2025-07-02

浏览量: 59

余弦距离和欧式距离

交叉检验

网格搜索

欧式距离

超参数调优、自助法、超参数调优等内容详述

树图思维导图提供《目录》在线思维导图免费制作，点击“编辑”按钮，可对《目录》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：2dc5a58802268d43f672c126aca9c8b0

思维导图大纲

2检验方法

2.2 T检验

2.3 F检验

2.4 Grubbs检验

2.5 卡方检验

2.1 KS检验

1机器学习评估方法

1.2 精确率（Precision）

1.3 召回率(Recall)

1.4 F1值(H-mean值)

1.4 ROC曲线

1.5 余弦距离和欧式距离

1.6 A/B测试

1.7 模型评估方法

1.8 超参数调优

1.9 过拟合和欠拟合

1.1 准确率(Accuracy)

1. 机器学习评估方法

混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。具体评价指标有总体精度、制图精度、用户精度等，这些精度指标从不同的侧面反映了图像分类的精度。下图为混淆矩阵

| | 正类 | 负类 | | -------- | ------------------- | ------------------- | | 预测正确 | TP(True Positives) | FP(False Positives) | | 预测错误 | FN(False Negatives) | TN(True Negatives) |

1.1 准确率(Accuracy)

准确率（Accuracy）。

名

https://latex.codecogs.com/gif.latex?Accuracy=\frac{TP+TN}{TP+TN+FP+FN}

准确率是分类问题中最简单也是最直观的评价指标，但存在明显的缺陷。比如，当负样本占99%时，分类器把所有样本都预测为负样本也可以获得99%的准确率。所以，当不同类别的样本比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素。

1.2 精确率（Precision）

精确率（Precision）

查

https://latex.codecogs.com/gif.latex?Precision=\frac{TP}{TP+FP}

1.3 召回率(Recall)

召回率（Recall）

查

https://latex.codecogs.com/gif.latex?Recall=\frac{TP}{TP+FN}

为了综合评估一个排序模型的好坏，不仅要看模型在不同 Top N下的Precision@N和Recall@N，而且最好绘制出模型的P-R（Precision- Recall）曲线。这里简单介绍一下P-R曲线的绘制方法。

P-R曲线的横轴是召回率，纵轴是精确率。对于一个排序模型来说，其P-R曲线上的一个点代表着，在某一阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为负样本，此时返回结果对应的召回率和精确率。整条P-R 曲线是通过将阈值从高到低移动而生成的。下图是P-R曲线样例图，其中实线代表模型A的P-R曲线，虚线代表模型B的P-R曲线。原点附近代表当阈值最大时模型的精确率和召回率。

https://camo.githubusercontent.com/a336b687561feb62e7fbc28e3ea4fd4fbfc5fab64a3a4b5a58a68ec35f8c9ae0/687474703a2f2f7778322e73696e61696d672e636e2f6d773639302f30303633304465666c7931673565346f63766c38616a3330657030643237356d2e6a7067

由图可见，当召回率接近于0时，模型A的精确率为0.9，模型B的精确率是1，这说明模型B得分前几位的样本全部是真正的正样本，而模型A即使得分最高的几个样本也存在预测错误的情况。并且，随着召回率的增加，精确率整体呈下降趋势。但是，当召回率为1时，模型A的精确率反而超过了模型B。

1.4 F1值(H-mean值)

F1值（H-mean值）。F1值为算数平均数除以几何平均数，且越大越好，将Precision和Recall的上述公式带入会发现，当F1值小时，True Positive相对增加，而false相对减少，即Precision和Recall都相对增加，即F1对Precision和Recall都进行了加权。

https://latex.codecogs.com/gif.latex?\frac{2}{F_1}=\frac{1}{Precision}+\frac{1}{Recall}

https://latex.codecogs.com/gif.latex?F_1=\frac{2PR}{P+R}=\frac{2TP}{2TP+FP+FN}

1.4 ROC曲线

ROC曲线。接收者操作特征曲线（receiver operating characteristic curve），是反映敏感性和特异性连续变量的综合指标，ROC曲线上每个点反映着对同一信号刺激的感受性。下图是ROC曲线例子。

https://camo.githubusercontent.com/86fdbf57b0b0f94146c398df959f6a0597676a252e26cdaa710f591ec78a4ca5/687474703a2f2f7778322e73696e61696d672e636e2f6d773639302f30303633304465666c793167356534666e6a7831646a333038773038776162792e6a7067

横坐标：1-Specificity，伪正类率(False positive rate，FPR，FPR=FP/(FP+TN))，预测为正但实际为负的样本占所有负例样本的比例；

纵坐标：Sensitivity，真正类率(True positive rate，TPR，TPR=TP/(TP+FN))，预测为正且实际为正的样本占所有正例样本的比例。

真正的理想情况

ROC曲线越靠拢（0,1）点，越偏离45度对角线越好

AUC值

AUC (Area Under Curve) 被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围一般在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

从AUC判断分类器（预测模型）优劣的标准：

AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。

0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。

AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。

AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

一句话来说，AUC值越大的分类器，正确率越高。

1.5 余弦距离和欧式距离

余弦距离：

https://latex.codecogs.com/gif.latex?cos(A,B

2||B||

}

欧式距离：

数

对于两个向量A和B，余弦距离关注的是向量之间的角度关系，并不关心它们的绝对大小，其取值范围是[−1,1]。当一对文本相似度的长度差距很大、但内容相近时，如果使用词频或词向量作为特征，它们在特征空间中的的欧氏距离通常很大；而如果使用余弦相似度的话，它们之间的夹角可能很小，因而相似度高。此外，在文本、图像、视频等领域，研究的对象的特征维度往往很高，余弦相似度在高维情况下依然保持“相同时为1，正交时为0，相反时为−1”的性质，而欧氏距离的数值则受维度的影响，范围不固定，并且含义也比较模糊。

1.6 A/B测试

AB测试是为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。

1.7 模型评估方法

Holdout 检验是最简单也是最直接的验证方法，它将原始的样本集合随机划分成训练集和验证集两部分。比方说，对于一个点击率预测模型，我们把样本按照 70%～30% 的比例分成两部分，70% 的样本用于模型训练；30% 的样本用于模型验证，包括绘制ROC曲线、计算精确率和召回率等指标来评估模型性能。

Holdout 检验的缺点很明显，即在验证集上计算出来的最后评估指标与原始分组有很大关系。为了消除随机性，研究者们引入了“交叉检验”的思想。

k-fold交叉验证：首先将全部样本划分成k个大小相等的样本子集；依次遍历这k个子集，每次把当前子集作为验证集，其余所有子集作为训练集，进行模型的训练和评估；最后把k次评估指标的平均值作为最终的评估指标。在实际实验中，k经常取10。

交叉检验

不管是Holdout检验还是交叉检验，都是基于划分训练集和测试集的方法进行模型评估的。然而，当样本规模比较小时，将样本集进行划分会让训练集进一步减小，这可能会影响模型训练效果。有没有能维持训练集样本规模的验证方法呢？自助法可以比较好地解决这个问题。

自助法是基于自助采样法的检验方法。对于总数为n的样本集合，进行n次有放回的随机抽样，得到大小为n的训练集。n次采样过程中，有的样本会被重复采样，有的样本没有被抽出过，将这些没有被抽出的样本作为验证集，进行模型验证，这就是自助法的验证过程。

自助法

Holdout检验

1.8 超参数调优

为了进行超参数调优，我们一般会采用网格搜索、随机搜索、贝叶斯优化等算法。在具体介绍算法之前，需要明确超参数搜索算法一般包括哪几个要素。一是目标函数，即算法需要最大化/最小化的目标；二是搜索范围，一般通过上限和下限来确定；三是算法的其他参数，如搜索步长。

随机搜索

随

贝叶斯优化算法

贝

网格搜索

可

特

这种搜索方案十分消耗计算资源和时间

1.9 过拟合和欠拟合

过拟合是指模型对于训练数据拟合呈过当的情况，反映到评估指标上，就是模型在训练集上的表现很好，但在测试集和新数据上的表现较差。欠拟合指的是模型在训练和预测时表现都不好的情况。下图形象地描述了过拟合和欠拟合的区别。

https://camo.githubusercontent.com/6aca725ab97094597cd95cb2bdd6662db5b384bb07e2db15d2d069cdd0bfbc1c/687474703a2f2f7778312e73696e61696d672e636e2f6d773639302f30303633304465666c7931673565353933376e75656a33306877303569337a6c2e6a7067

防止欠拟合：

添加新特征。

增加模型复杂度。

减小正则化系数。

防止过拟合：

从数据入手，获得更多的训练数据。

降低模型复杂度。

正则化方法，给模型的参数加上一定的正则约束。

集成学习方法，集成学习是把多个模型集成在一起。

2. 检验方法