集成学习思维导图

玖月

2025-07-02

浏览量: 0

特征工程

性能评估

学习目标

集成学习内容详述

树图思维导图提供《集成学习》在线思维导图免费制作，点击“编辑”按钮，可对《集成学习》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：67b0341e7c0debb9a794566a5c80a577

思维导图大纲

集成学习简介

学习目标：

1.知道集成学习是什么？

2.了解集成学习的分类

3.理解bagging集成的思想

4.理解boosting集成的思想

【知道】集成学习是什么？

集成学习是机器学习中的一种思想，它通过多个模型的组合形成一个精度更高的模型，参与组合的模型成为弱学习器（基学习器）。训练时，使用训练集依次训练出这些弱学习器，对未知的样本进行预测时，使用这些弱学习器联合进行预测。

传统机器学习算法 (例如：决策树，逻辑回归等) 的目标都是寻找一个最优分类器尽可能的将训练数据分开。集成学习 (Ensemble Learning) 算法的基本思想就是将多个分类器组合，从而实现一个预测效果更好的集成分类器。集成算法可以说从一方面验证了中国的一句老话：三个臭皮匠，赛过诸葛亮

images/2021-1.png

集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。

【了解】集成学习分类

集成学习算法一般分为：bagging（并行）和boosting（串行）。

images/2021-2.png

【理解】bagging集成（并行）

Baggging 框架通过有放回的抽样产生不同的训练集，从而训练具有差异性的弱学习器，然后通过平权投票、多数表决的方式决定预测结果。

例子：

目标：把下面的圈和方块进行分类

1) 采样不同数据集 <img src="images/07.png" />

2)训练分类器 <img src="images/08.png" />

3)平权投票，获取最终结果 <img src="images/09.png" />

4)主要实现过程小结 <img src="images/10.png" />

【理解】boosting集成（串行）

Boosting 体现了提升思想，每一个训练器重点关注前一个训练器不足的地方进行训练，通过加权投票的方式，得出预测结果。

Boosting是一组可将弱学习器升为强学习器算法。这类算法的工作机制类似：

1.先从初始训练集训练出一个基学习器

2.在根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续得到最大的关注。

3.然后基于调整后的样本分布来训练下一个基学习器；

4.如此重复进行，直至基学习器数目达到实现指定的值T为止。

5.再将这T个基学习器进行加权结合得到集成学习器。

简而言之：每新加入一个弱学习器，整体能力就会得到提升

images/image-20230905233552550.png

Bagging 与 Boosting

区别一:数据方面

Bagging：有放回采样

Boosting：全部数据集, 重点关注前一个弱学习器不足

区别二:投票方面

Bagging：平权投票

Boosting：加权投票

区别三:学习顺序

Bagging的学习是并行的，每个学习器没有依赖关系

Boosting学习是串行，学习有先后顺序

随机森林

学习目标：

1.理解随机森林的构建方法

2.知道随机森林的API

3.能够使用随机森林完成分类任务

【理解】算法思想

随机森林是基于 Bagging 思想实现的一种集成学习算法，它采用决策树模型作为每一个基学习器。其构造过程：

训练：

预测：平权投票，多数表决输出预测结果

images/image-20230905235742221.png

随机森林的步骤

images/image-20230905235722201.png

如上图：

首先，对样本数据进行有放回的抽样，得到多个样本集。具体来讲就是每次从原来的N个训练样本中有放回地随机抽取m个样本(包括可能重复样本)。

然后，从候选的特征中随机抽取k个特征，作为当前节点下决策的备选特征，从这些特征中选择最好地划分训练样本的特征。用每个样本集作为训练样本构造决策树。单个决策树在产生样本集和确定特征后，使用CART算法计算，不剪枝。

最后，得到所需数目的决策树后，随机森林方法对这些树的输出进行投票，以得票最多的类作为随机森林的决策。

说明：

（1）随机森林的方法即对训练样本进行了采样，又对特征进行了采样，充分保证了所构建的每个树之间的独立性，使得投票结果更准确。

（2）随机森林的随机性体现在每棵树的训练样本是随机的，树中每个节点的分裂属性也是随机选择的。有了这2个随机因素，即使每棵决策树没有进行剪枝，随机森林也不会产生过拟合的现象。

随机森林中有两个可控制参数：

抽取的属性值m的大小。

森林中树的数量（一般选取值较大）

思考

为什么要随机抽样训练集？　　

如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样。

为什么要有放回地抽样？

如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是绝对“片面的”，也就是说每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决。

【知道】

sklearn.ensemble.RandomForestClassifier()

n_estimators

决

Criterion

max_depth

指

max_features="auto”

If "auto", then

If "sqrt", then

If "log2", then

If None, then

bootstrap

是

min

结

如果节点样本数少于min

如果样本量不大，不需要设置这个值.

如果样本量数量级非常大，则推荐增大这个值.

min

叶

如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝.

较小的叶子结点样本数量使模型更容易捕捉训练数据中的噪声.

min

节

如果某节点的不纯度(基尼系数，均方差)小于这个阈值，则该节点不再生成子节点，并变为叶子节点.

一般不推荐改动默认值1e-7。

【实践】随机森林泰坦尼克号生存预测

这泰坦尼克号案例实战：

1.数据导入

1.1导入数据

import pandas as pd

1.2.利用pandas的read.csv模块从互联网中收集泰坦尼克号数据集

titanic=pd.read_csv("data/泰坦尼克号.csv") titanic.info() #查看信息

2人工选择特征pclass,age,sex

X=titanic[['Pclass','Age','Sex']] y=titanic['Survived']

3.特征工程

数据的填补

X['Age'].fillna(X['Age'].mean(),inplace=True) X = pd.get_dummies(X)

数据的切分

from sklearn.model

4.使用单一的决策树进行模型的训练及预测分析

from sklearn.tree import DecisionTreeClassifier dtc=DecisionTreeClassifier() dtc.fit(X

5.随机森林进行模型的训练和预测分析

from sklearn.ensemble import RandomForestClassifier rfc=RandomForestClassifier(max

6.性能评估

from sklearn.metrics import classification

超参数选择代码:

随机森林去进行预测

1 实例化随机森林

rf = RandomForestClassifier()

2 定义超参数的选择列表

param={"n

超参数调优

3 使用GridSearchCV进行网格搜索

from sklearn.model

Adaboost

学习目标：

1、理解adaboost算法的思想

2、知道adaboost的构建过程

3、实践泰坦尼克号生存预测案例

【知道】adaboost算法简介

Adaptive Boosting(自适应提升)基于 Boosting思想实现的一种集成学习算法核心思想是通过逐步提高那些被前一步分类错误的样本的权重来训练一个强分类器。弱分类器的性能比随机猜测强就行，即可构造出一个非常准确的强分类器。其特点是：

Adaboost自适应在于：“关注”被错分的样本，“器重”性能好的弱分类器:

（1）不同的训练集--->调整样本权重

（2）“关注”--->增加错分样本权重

（3）“器重”--->好的分类器权重大

（4）样本权重间接影响分类器权重

主要过程演示如下：

AdaBoost算法的两个核心步骤：

权值调整：

基分类器组合：

分类误差率较大的弱分类器的权值小，在表决中起较小作用。

分类误差率较小的弱分类器的权值大，在表决中起较大作用。

【实践】AdaBoost实战葡萄酒数据

葡萄酒分为白葡萄酒和红葡萄酒两类。该分析涉及白葡萄酒，并基于数据集中显示的13个变量/特征：固定酸度，挥发性酸度，柠檬酸，残留糖，氯化物，游离二氧化硫，总二氧化硫，密度，pH值，硫酸盐，酒精，质量等。为了评估葡萄酒的质量，我们提出的方法就是根据酒的物理化学性质与质量的关系，找出高品质的葡萄酒具体与什么性质密切相关，这些性质又是如何影响葡萄酒的质量。

获取数据

import pandas as pd df

修改列名

df_wine.columns = ['Class label', 'Alcohol', 'Malic acid', 'Ash', 'Alcalinity of ash', 'Magnesium', 'Total phenols', 'Flavanoids', 'Nonflavanoid phenols', 'Proanthocyanins', 'Color intensity', 'Hue', 'OD280/OD315 of diluted wines', 'Proline']

去掉一类(1,2，3)

获取特征值和目标值

X = df

from sklearn.preprocessing import LabelEncoder from sklearn.model

类别转化 (2,3)=>(0,1)

le = LabelEncoder() y = le.fit_transform(y)

划分训练集和测试集

from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import AdaBoostClassifier

机器学习(决策树和AdaBoost)

tree = DecisionTreeClassifier(criterion='entropy',max

决策树和AdaBoost分类器性能评估

决策树性能评估

tree = tree.fit(X

Decision tree train/test accuracies 0.845/0.854

AdaBoost性能评估

ada = ada.fit(X

Adaboost train/test accuracies 1/0.875

总结：AdaBosst预测准确了所有的训练集类标，与单层决策树相比，它在测试机上表现稍微好一些。单决策树对于训练数据过拟合的程度更加严重一些。总之，我们可以发现Adaboost分类器能够些许提高分类器性能，并且与bagging分类器的准确率接近.

GBDT

学习目标：

掌握提升树的算法原理思想

了解梯度提升树的原理思想

【理解】提升树（Boosting Tree）

梯度提升树（Gradient Boosting Decision Tre）是提升树（Boosting Decision Tree）的一种改进算法，所以在讲梯度提升树之前先来介绍一下提升树。

假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。最后将每次拟合的岁数加起来便是模型输出的结果。

GBDT算法流程

1 初始化弱学习器（目标值的均值作为预测值）

2 迭代构建学习器，每一个学习器拟合上一个学习器的负梯度

3 直到达到指定的学习器个数

4 当输入未知样本时，将所有弱学习器的输出结果组合起来作为强学习器的输出

【实践】泰坦尼克号案例实战

该案例是在随机森林的基础上修改的，可以对比理解

1.数据导入

1.1导入数据

import pandas as pd

1.2.利用pandas的read.csv模块泰坦尼克号数据集

titanic=pd.read_csv("../data/泰坦尼克号数据集.csv") titanic.info() #查看信息

2人工选择特征pclass,age,sex

X=titanic[['Pclass','Age','Sex']] y=titanic['Survived']

3.特征工程

数据的填补

X['Age'].fillna(X['Age'].mean(),inplace=True)

数据的切分

from sklearn.model

将数据转化为特征向量

from sklearn.feature

4.使用单一的决策树进行模型的训练及预测分析

from sklearn.tree import DecisionTreeClassifier dtc=DecisionTreeClassifier() dtc.fit(X

5.随机森林进行模型的训练和预测分析

from sklearn.ensemble import RandomForestClassifier rfc=RandomForestClassifier(random

6.GBDT进行模型的训练和预测分析

from sklearn.ensemble import GradientBoostingClassifier gbc=GradientBoostingClassifier() gbc.fit(X

7.性能评估

from sklearn.metrics import classification

XGBoost

学习目标：

1.知道XGBoost算法的思想

2.理解XGBoost目标函数

3.了解XGBoost的算法API

4.实现红酒品质预测案例

XGBoost（Extreme Gradient Boosting）全名叫极端梯度提升树，XGBoost是集成学习方法的王牌，在Kaggle数据挖掘比赛中，大部分获胜者用了XGBoost。

XGBoost在绝大多数的回归和分类问题上表现的十分顶尖

【知道】XGBoost算法思想

XGBoost 是对GBDT的改进：

求解损失函数极值时使用泰勒二阶展开

在损失函数中加入了正则化项

XGB 自创一个树节点分裂指标。这个分裂指标就是从损失函数推导出来的。XGB 分裂树时考虑到了树的复杂度。

构建最优模型的方法是

预测值和真实值经过某个函数计算出损失，并求解所有样本的平均损失，并且使得损失最小。这种方法训练得到的模型复杂度较高，很容易出现过拟合。因此，为了降低模型的复杂度，在损失函数中添加了正则化项，如下所示：：

提高模型对未知数据的泛化能力。

【理解】XGboost的目标函数

XGBoost（Extreme Gradient Boosting）是对梯度提升树的改进，并且在损失函数中加入了正则化项。

目标函数的第一项表示整个强学习器的损失，第二部分表示强学习器中 K 个弱学习器的复杂度。

xgboost 每一个弱学习器的复杂度主要从两个方面来考量：

γT 中的 T 表示一棵树的叶子结点数量，γ 是对该项的调节系数

λ||w||2 中的 w 表示叶子结点输出值组成的向量，λ 是对该项的调节系数

模型复杂度的介绍

假设我们要预测一家人对电子游戏的喜好程度，考虑到年轻和年老相比，年轻更可能喜欢电子游戏，以及男性和女性相比，男性更喜欢电子游戏，故先根据年龄大小区分小孩和大人，然后再通过性别区分开是男是女，逐一给各人在电子游戏喜好程度上打分，如下图所示：

images/image-20230906170712026.png

就这样，训练出了2棵树tree1和tree2，类似之前gbdt的原理，两棵树的结论累加起来便是最终的结论，所以：

小男孩的预测分数就是两棵树中小孩所落到的结点的分数相加：2 + 0.9 = 2.9。

爷爷的预测分数同理：-1 + 0.9 = -0.1。

具体如下图所示：

images/image-20230906170739818.png

如下树tree1的复杂度表示为：

images/image-20230906170804514.png

泰勒公式展开

我们直接对目标函数求解比较困难，通过泰勒展开将目标函数换一种近似的表示方式。接下来对 yi(t-1) 进行泰勒二阶展开，得到如下近似表示的公式：

其中，gi 和 hi 的分别为损失函数的一阶导、二阶导：

化简目标函数

我们观察目标函数，发现以下两项都是常数项，我们可以将其去掉。

为什么说是常数项呢？这是因为当前学习器之前的学习器都已经训练完了，可以直接通过样本得出结果。化简之后的结果为：

我们再将 Ω(ft) 展开，结果如下：

这个公式中只有 ft ，该公式可以理解为，当前这棵树如何构建能够降低损失。

问题再次转换

我们再次理解下这个公式表示的含义：

gi 表示每个样本的一阶导，hi 表示每个样本的二阶导

ft(xi) 表示样本的预测值

T 表示叶子结点的数目

||w||2 由叶子结点值组成向量的模

现在，我们发现公式的各个部分考虑的角度不同，有的从样本角度来看，例如：ft(xi) ，有的从叶子结点的角度来看，例如：T、||w||2。我们下面就要将其转换为相同角度的问题，这样方便进一步合并项、化简公式。我们统一将其转换为从叶子角度的问题：

例如：10 个样本，落在 D 结点 3 个样本，落在 E 结点 2 个样本，落在 F 结点 2 个样本，落在 G 结点 3 个样本

E 结点计算： w2

F 结点计算： w3

G 节点计算：w4

D 结点计算： w1

gi ft(xi) 表示样本的预测值，我们将其转换为如下形式：

wj 表示第 j 个叶子结点的值

gi 表示每个样本的一阶导

hift2(xi) 转换从叶子结点的问题，如下：

λ||w||2 由于本身就是从叶子角度来看，我们将其转换一种表示形式：

我们重新梳理下整理后的公式，如下：

上面的公式太复杂了，我们令：

Gi 表示样本的一阶导之和，Hi 表示样本的二阶导之和，当确定损失函数时，就可以通过计算得到结果。

现在我们的公式变为：

对叶子结点求导

此时，公式可以看作是关于叶子结点 w 的一元二次函数，我们可以对 w 求导并令其等于 0，可得到 w 的最优值，将其代入到公式中，即可再次化简上面的公式。

将 wj 代入到公式中，即可得到：

XGBoost的树构建方法

该公式也叫做打分函数 (scoring function)，它可以从树的损失函数、树的复杂度两个角度来衡量一棵树的优劣。

这个公式，我们怎么用呢？

当我们构建树时，可以用来选择树的最佳划分点。

其过程如下：

对树中的每个叶子结点尝试进行分裂

计算分裂前 - 分裂后的分数：

当触发以下条件时停止分裂：

images/image-20230917143542540.png

【了解】XGboost API

images/image-20230906184836062.png

python bst = XGBClassifier(n_estimators, max_depth, learning_rate, objective)

images/image-20230906184748265.png

【实践】红酒品质预测

数据集介绍

数据集共包含 11 个特征，共计 3269 条数据. 我们通过训练模型来预测红酒的品质, 品质共有 6 个各类别，分别使用数字: 1、2、3、4、5 来表示。

案例实现

导入需要的库文件

python import joblib import numpy as np import xgboost as xgb import pandas as pd import numpy as np from collections import Counter from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report from sklearn.model_selection import StratifiedKFold

数据基本处理

# 1. 加载训练数据 data = pd.read_csv('data/红酒品质分类.csv') x = data.iloc[:, :-1] y = data.iloc[:, -1] - 3 # 2. 数据集分割 x_train, x_valid, y_train, y_valid = train_test_split(x, y, test_size=0.2, stratify=y, random_state=22) # 3. 存储数据 pd.concat([x_train, y_train], axis=1).to_csv('data/红酒品质分类-train.csv') pd.concat([x_valid, y_valid], axis=1).to_csv('data/红酒品质分类-valid.csv')

模型基本训练

# 1. 加载训练数据 train_data = pd.read_csv('data/红酒品质分类-train.csv') valid_data = pd.read_csv('data/红酒品质分类-valid.csv') # 训练集 x_train = train_data.iloc[:, :-1] y_train = train_data.iloc[:, -1] # 测试集 x_valid = valid_data.iloc[:, :-1] y_valid = valid_data.iloc[:, -1] # 2. XGBoost模型训练 estimator = xgb.XGBClassifier(n_estimators=100, objective='multi:softmax', eval_metric='merror', eta=0.1, use_label_encoder=False, random_state=22) estimator.fit(x_train, y_train) # 3. 模型评估 y_pred = estimator.predict(x_valid) print(classification_report(y_true=y_valid, y_pred=y_pred)) # 4. 模型保存 joblib.dump(estimator, 'model/xgboost.pth')

模型参数调优