当前位置:网站首页 > 职业技能提升 > 正文

梯度提升回归算法(梯度下降法求回归方程)



点击上方蓝色文字关注我们吧~

[线性回归方程]设有n个样本(xi,yi)(i=1,2,…,n),散点图大致呈线性。拟合的直线方程为

方程中的系数为,

其中样本x和y的平均值为,

[系数的推导]上述公式仅是回归方程的定义,各类考试一般都是直接给出。而实际应用都采用下述公式,

在现行高中数学课本是没有推导过程的。我们下面来进行推导。

首先证明变形后的两个公式。

对于分子有,

对于分母有,

[方程的推导]接着推导线性回归方程本身。

对于假定的回归方程,如果直接用偏差进行评估,由于偏差有正有负,会相互抵消,所以不能反映采样点与回归方程的接近程度。因此采用n个样本点的平方和进行估计,

当该平方和最小时,就求出了回归方程。因此这种方法又被称为最小二乘估计(LSE, Least Square Estimate)。

将Q展开,并整理有,

然后转化为平均数,有

a进行配方,有,

最后整理,得

再利用前述的公式,进行变形,得

进一步整理,并配方,有

上式中,前两项为与a,b有关非负项的和,后两项与a,b无关。因此若使得Q最小,令前两项为0即可。即,

第一项变形,有,

即得所证。



往期精选

高中数学数形结合思想必考题型全梳理(附例题)

高中数学三年8大重点模块公式&概念汇总,做题不用再翻书!

公式整理:三角函数公式大全,收藏

扫描二维码关注我

到此这篇梯度提升回归算法(梯度下降法求回归方程)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!

版权声明


相关文章:

  • 梯度提升树名词解释(梯度提升树名词解释是什么)2025-04-06 12:09:07
  • 梯度提升树模型(梯度提升树模型和神经网络哪个更适合心血管疾病预测)2025-04-06 12:09:07
  • 梯度提升和梯度下降(梯度提升和梯度下降的区别)2025-04-06 12:09:07
  • 梯度提升树分类算法(梯度提升分类器)2025-04-06 12:09:07
  • 梯度提升树回归模型(梯度提升树回归模型怎么做)2025-04-06 12:09:07
  • 梯度提升决策树原理(梯度提升决策树分类)2025-04-06 12:09:07
  • 梯度提升树回归模型分析(梯度提升树回归模型分析)2025-04-06 12:09:07
  • 梯度提升和梯度下降的区别(梯度下降和梯度上升的区别)2025-04-06 12:09:07
  • 梯度提升树回归模型怎么做(梯度提升树回归模型怎么做的)2025-04-06 12:09:07
  • 梯度提升数(梯度提升树分类算法)2025-04-06 12:09:07
  • 全屏图片