线性回归统计分析方法脑图思维导图

U845111090

2023-09-13

浏览量: 9

线性回归

统计方法

产品详解

用线性函数对自变量(特征)和因变量之间的关系进行建模的内容详解

树图思维导图提供《线性回归统计分析方法脑图》在线思维导图免费制作，点击“编辑”按钮，可对《线性回归统计分析方法脑图》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：42a9a1a59b8b93607896a5d819890259

思维导图大纲

简介

定义

利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式

通用公式

按照自变量个数分类

- 单变量回归: 只有一个自变量(特征值)

- 多元回归: 有多个自变量

按线性回归模型与目标关系

- 线性回归

- 非线性回归

API

sklearn.linear_model.LinearRegression()

- 方法:

- 训练: fit(x_train, y_train)

- 预测: predict(x_test)

- 属性:

- 模型系数: coef_

线性回归的损失和优化

损失

最小二乘法: (预测值-真实值)的平方求和

优化

定义：求解损失函数最小值

两种方式:

1. 正规方程

缺点

- 计算量很大

- 当样本数量很大时候, 很难求解

2. 梯度下降

梯度

- 如果是单变量, 这一点切线斜率

- 如果是多变量, 就是这个点偏导数,

- 是有方向的, 它方向就是函数上升最快的方向

关键点

梯度下降公式

- α: 学习率(步长). 不能太大也不能太小.

- 梯度乘以负号的原因: 梯度是上升最快的方向, 我们需要是下降最快的方向, 所以需要加负号

梯度下降与正规方程对比

梯度下降正规方程 - 需要选择学习率不需要 - 迭代求解一次求解 - 特征数量较大可用需要计算方程, 时间复杂度很高, 求解很慢.

选择

1. 小规模数据

1. 正规方程: LinearRegression

2. 岭回归: Ridge

2. 大规模数据

1. 梯度下降: SGDRegressor

梯度下降法介绍

- 全梯度下降算法（FGD）

- 每次迭代的时候, 都代入所有的样本计算损失求和求平均值, 作为目标函数

- 随机梯度下降算法（SGD）

- 每次迭代的时候, 只随机选择一个样本计算损失, 作为目标函数

- 小批量梯度下降算法（mini-bantch）

- 每次迭代的时候, 随机选择一个小批量的数据集, 使用FG对小批量的数据集进行梯度下降

- 随机平均梯度下降算法（SAG）

- 每次迭代的时候, 只随机选择一个样本计算损失, 每次计算梯度都存储在内存中, 在更新θ值时候, 求解所有梯度均值, 更新θ值.

结论（扩展）

1）FG方法由于它每轮更新都要使用全体数据集，故花费的时间成本最多，内存存储最大。

（2）SAG在训练初期表现不佳，优化速度较慢。这是因为我们常将初始梯度设为0，而SAG每轮梯度更新都结合了上一轮梯度值。

（3）综合考虑迭代次数和运行时间，SG表现性能都很好，能在训练初期快速摆脱初始梯度值，快速将平均损失函数降到很低。但要注意，在使用SG方法时要慎重选择步长，否则容易错过最优解。

（4）mini-batch结合了SG的“胆大”和FG的“心细”，从6幅图像来看，它的表现也正好居于SG和FG二者之间。在目前的机器学习领域，mini-batch是使用最多的梯度下降算法，正是因为它避开了FG运算效率低成本大和SG收敛效果不稳定的缺点

案例：正规方程

API

sklearn.linear_model.LinearRegression(fit_intercept=True)

- 参数:

- fit_intercept: 是否计算偏置, 默认是True

- 属性:

- 模型系数: coef

- 模型偏置: intercept_

回归模型评估

均方误差

API

sklearn.metrics.mean_squared_error(y_true, y_pred)

- y_true: 真实的目标值

- y_pred: 预测的目标值

案例：梯度下降

API

sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)

- fit_intercept: 是否计算偏置

- learning_rate: 学习率, 默认学习率的初始值是0.01, 每次迭代学习率都会减小. 如果指定就contant就是固定学率

- eta0: 初始学习率, 默认值 0.01

属性

- coef_: 模型系数

- intercept_: 模型偏置

欠拟合和过拟合

欠拟合

- 概念: 训练误差大, 测试误差也大

- 原因: 模型太简单了, 学到的东西太少了

- 解决:

- 添加特征项

- 添加多项式(增加二次项或三次项)

过拟合

- 概念: 训练误差小, 测试误差大

- 原因: 模型太复杂了, 学到东西太多

- 解决:

- 清洗数据, 去掉噪声, 让数据更纯

- 增大样本数量

- 正则化

- 减少特征维度(特征降维), 防止维灾难.

正则化

解决过拟合问题

- L2正则化

- 作用可以让一些系数变得很小, 削弱这个特征项影响. 从而让模型变得简单

- L1正则化:

- 作用: 直接让一些系数为0, 就相当于删除特征的影响; 让模型变简单了, 不容易过拟合

维灾难

随着维度的增加，分类器性能逐步上升，到达某点之后，其性能便逐渐下降

正则化与线性模型

- 岭回归(L2正则化):

- 在损失函数上 + L2正则化项

- L2正则化项: 系数的平方和

- 作用: 让一些θ变的很小, 接近于0, 从而削弱这些特征的影响

- Lasso回归(L1正则化):

- 在损失函数上 + L1正则化项

- L1正则化项: 系数绝对值的和

- 作用: 让一些θ值直接为0, 从而删除这些特征影响.

- Elastic Net 弹性网络[了解]

- 是岭回归和 Lasso回归的折中表示

- Early Stopping[了解]

- 当损失达到可以接受的最小值的时候, 就停止训练

岭回归

- API:

- sklearn.linear_model.Ridge(alpha=1.0)

- alpha: 正则化力度

- 正则化力度与系数之间的关系

- 正则化力度越大, 模型系数越小

- 正则化力度越小, 模型系数越大

- 岭回归与线性回归的区别

- 岭回归就是在线性回归上损失函数上添加L2的正则化项

- 岭回归使用随机平均梯度下降法

- 岭回归是一种线性回归

- 总结: 岭回归是使用随机平均梯度下降法, 带有L2正则化的线性回归.

- SGDRegressor 与 Ridge区别

- SGDRegressor

- 随机梯度下降法

- Ridge

- 随机平均梯度下降法

- 使用L2正则化项.

模型保存和加载

from sklearn.externals import joblib

import joblib (0.23.0版本以上)

API:

- 保存模型: joblib.dump(estimator, '路径')

- 加载模型: joblib.load('路径')

- 注意: 文件名的后缀是 pkl

904名中国成年人第三磨牙相关知识、态度、行为和病史的横断面调查思维导图

U633687664

3.9

树图思维导图提供《904名中国成年人第三磨牙相关知识、态度、行为和病史的横断面调查》在线思维导图免费制作，点击“编辑”按钮，可对《904名中国成年人第三磨牙相关知识、态度、行为和病史的横断面调查》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：10b9a8a2dd2fb4593f8130ef16c320fc

抓住重点思维导图

~漫埗陽茪~

3.13

树图思维导图提供《抓住重点》在线思维导图免费制作，点击“编辑”按钮，可对《抓住重点》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：4c49e4799ddf94a339c56e46eb96a826

思维导图模板

IT互联网

产品结构

正文

相似思维导图模版

思维导图模版推荐

Matplotlib绘图工具说明脑图思维导图

2023-09-13 23:12:11

首页

我的文件

我的团队

个人中心

线性回归统计分析方法脑图思维导图

思维导图大纲

相关思维导图模版

简介

API

线性回归的损失和优化

梯度下降法介绍

案例： 正规方程

案例：梯度下降

欠拟合和过拟合

正则化

维灾难

正则化与线性模型

岭回归

模型保存和加载

相似思维导图模版

思维导图模版推荐

案例：正规方程