sigmoid函数求导表达式（sigmoid函数推导）



sigmoid函数的特性及硬件实现方法--含matlab代码实现及讲解

• 1. 简介
• 2. sigmoid函数的特性介绍

• 2.1 sigmoid(x)与sigmoid(-x)的关系
• 2.2 sigmoid函数与tanh函数的关系
• 2.3 sigmoid函数的n阶导数
• 2.4 当x=n*ln2时的数值
• 2.5 其他关系式

• 3. 硬件实现方案
• 4. matlab代码实现及讲解

sigmoid是神经网络中常用的一种激活函数，在机械学习和很多降噪滤波算法中也常常会用到这个函数。sigmoid函数的表达式如下：

本文主要会介绍一些sigmoid函数常用的特性。并且基于sigmoid函数特有的性质，我会给出一种硬件实现sigmoid函数的方法(不是多项式拟合法)，为了方便读者理解，我还用matlab模拟了sigmoid函数的实现。有兴趣的小伙伴可以直接到我下面的链接中下载代码。

sigmoid(x)与sigmoid(-x)的具有下面的关系:

推导过程如下：

tanh(x)为双曲余弦函数，其表达式如下

sigmoid(x)与tanh(x)函数的关系如下：

推导过程如下：

sigmoid函数求导有一个非常好的特殊性质，即导数的结果是可以完全表达成y的函数,与x无关。 假设

即只是y的函数。如果要求二阶导数可以直接对再次求导

根据上述方法，sigmoid函数的前n-1阶导数一定一个只含有y的函数，对y求导再乘以y(1-y)就是sigmoid函数的n阶导数。这里我没有推导出sigmoid函数的n阶导数的紧凑表达式。有兴趣的同学可以自己推导试一下，也欢迎大神留言给出正解。
另一种求解sigmoid函数n阶导数的方法，就是利用它与tanh(x)的关系。由于，因此sigmoid(x)的n阶导数其实就是的n阶导。tanh(x)的n阶导数有一些复杂，国内的高等数学教材中并没有提到，最后我还是在一篇NASA的技术笔记[1]中找到的，这里我直接给出tanh(x)函数的n阶导数结果：


上式中的可以通过下面的递推公式得到



因此根据tanh(x)的n阶导数可以得到sigmoid(x)的n阶导数，具体形式如下

这个特性其实非常有趣，当(n可以为任意非0的整数，可正可负)时，sigmoid函数可以变成

的机械数是非常有规律的.
下面给一个几个例子
当时，

上式中代表2进制表示。
当时，

当时，

以此类推，当n大于0时，sigmoid函数的结果的机器数为n个1和0交替。
当时，

当时，

当时，

当n小于0时，sigmoid函数的结果的机器数为n个0和1交替。
根据上述性质，我们可以很容易通过硬件实现时的sigmoid函数值。

sigmoid函数有一个非常类似柯西中值定理的关系式：


公式的左边与柯西中值定理很像

sigmoid函数的硬件实现很多是通过多项式拟合法得到的。这里我给大家介绍一种基于泰勒级数展开的硬件实现方法。并且在下文中我会给出matlab版本的实现。
首先泰勒级数展开的方法如下：

需要指出的是泰勒级数展开其实只能适用于一个很小的区域范围。对于从负无穷到正无穷范围取值的sigmoid函数，我们很难仅通过零点展开对其进行近似。
如果可以找到在任意附近的一个，并且我们可以得到,,…,，那么就可以计算泰勒级数的展开结果。对于硬件实现其实可以认为是一个预先算好的系数。
回忆第2节中我们提到两个sigmoid的性质。当时，sigmoid函数的机械数是很容易计算的，其次如果sigmoid函数的任意n阶导数只是sigmoid函数值的函数，即我们可以很容易得到时，sigmoid函数的任意n阶导数。根据上述方法我们可以得到一种基于泰勒级数展开的硬件实现方案。其基本思想如下：
1. 输入任意x，找到x最近的。
2. 计算时的函数值，以及n阶导数，可以预先计算好输入。
3. 利用泰勒级数展开公式对sigmoid函数进行计算。

解压sigmoid_function.rar里面有四个.m文件。test.m是一个测试案例。sigmoid_hw.m是主要的实现函数。buildRefVal.m是用来计算时的结果。sigmoidTaylor.m是sigmoid的泰勒展系数的计算方法。下面我会依次介绍这几个文件。

1. test.m
其：

byteNum是当的最大机械数的长度，taylorNum是泰勒级数展开的阶数。计算中的golden直接通过matlab的函数直接实现。byteNum是当的最大机械数的长度，taylorNum是泰勒级数展开的阶数。计算中的golden直接通过matlab的函数直接实现。sigmoid_hw是实现泰勒级数展开发的核心函数。

2. sigmoid_hw.m
：

函数sigmoid_hw输入的是刚才提到的byteNum，taylorNum还有需要计算的点x。输出的结果是最后泰勒级数展开法计算得到的结果val以及泰勒级数的系数taylorSeries 。首先先找到里x最近的。这里。buildRefVal函数是根据得到的n计算，也就是上文提到的一串循环重复的0，1序列。得到之后，根据sigmoidTaylor函数计算n阶泰勒级数展开的系数。buildRefVal和sigmoidTaylor会在下面讲解。

3. buildRefVal.m
：

当时，sigmoid函数等于

buildRefVal函数则是计算的结果。如上文提到的是一串n个连续循环的01序列，当n>0时，先0后1；当n<0时先1后0。buildRefVal函数中输出的结果是以十进制形式表示的，其基本实现是设置一个counter，当counter-1整除n为奇数时输出0(或者1)，反之则输出1(或者0)。同事counter数有可以表示2进制数小数点后的位数，因此当结果为1时，在结果val中加上1/2^counter。

4. sigmoidTaylor
：

sigmoidTaylor函数用于求解n阶导数系数。这里为了提升函数的通用性我直接用符号运算中的求导来计算。事实上在硬件实现过程中这些函数，包括1/n！可以预先算好。求导的方法根据上文2.3节中提到的sigmoid函数n阶导数的求解方法即可。

[1] formulas for nth order derivatives of hyperbolic and trigonometric functions, Edwin G. Wintucky, 1971.

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/haskellbc/60433.html