sigmoid函数和logistic（sigmoid函数和逻辑回归）



在机器学习之逻辑回归介绍中，我们讨论了逻辑回归的概念以及其算法原理推导。

一、逻辑回归的概念

逻辑回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，经济预测等领域。逻辑回归从本质来说属于二分类问题，是基于Sigmoid函数（又叫“S型函数”）的有监督二类分类模型。

二、Sigmoid函数

Sigmoid函数公式为：

其导数形式为：（注意，导数形式在后期会被用到）

Sigmoid函数其图像如下所示，其取值范围被压缩到0到1之间。

中的 z 就对应训练集中某个样本的信息。 而样本信息通常用一系列特征的线性组合来表示，即

三、逻辑回归为什么要用sigmoid函数而不是用其他呢？

首先需要了解几个知识点：A.指数族分布 B.广义线性模型

A.指数族分布

指数族分布下面的公式，即：

其中，η为自然参数，T(y)为充分统计量，通常T(y)=y，α(η)为正则化项。

B.广义线性模型

满足下面三个假设的模型成为广义线性模型：

因为逻辑回归假设数据服从伯努利分布，我们用一个简单例子来介绍伯努利分布：抛硬币，一枚硬币抛中正面的概率为p，那么反面的概率则为1-p。

伯努利分布的概率质量函数（PMF）为：

分段函数比较简单易懂，但是对于后面的推导比较麻烦，于是有：

对上式进行log操作：

其中，令

所以可以得出伯努利分布属于指数族分布。

即伯努利分布满足广义线性模型的第一个假设，下面利用广义线性模型后面两个假设得到：

四、目标函数

是训练集中第 i 个样本已经被标记好的类别，若

五、求解过程与正则化

在实际应用中,为了防止过拟合，使得模型具有较强的泛化能力，往往还需要在目标函数中加入正则项。在逻辑回归的实际应用中，L1正则应用较为广泛，原因是在面临诸如广告系统等实际应用的场景，特征的维度往往达到百万级甚至上亿，而L1正则会产生稀疏模型，在避免过拟合的同时起到了特征选择的作用。

六、总结

优点：

简单易于实现。

逻辑回归可以输出一个[0,1]之间的浮点数，也就是不仅可以产生分类的类别，同时产生属于该类别的概率。

逻辑回归是连续可导的，易于最优化求解。

缺点：

容易过拟合

原始的逻辑回归只能处理两分类问题，且必须线性可分。

七、拓展

为什么逻辑回归使用交叉熵损失函数而不用均方误差？

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/haskellbc/75098.html