想问一下这个和函数的定义域怎么求怎么求，以及什么时候需要单独求s(x)常数项，十分感谢

来源：蜘蛛抓取(WebSpider) 时间：2018-08-01 12:40 标签： 求平均值的函数

专业文档是百度文库认证用户/机構上传的专业性文档文库VIP用户或购买专业文档下载特权礼包的其他会员用户可用专业文档下载特权免费下载专业文档。只要带有以下“專业文档”标识的文档便是该类文档

VIP免费文档是特定的一类共享文档，会员用户可以免费随意获取非会员用户需要消耗下载券/积分获取。只要带有以下“VIP免费文档”标识的文档便是该类文档

VIP专享8折文档是特定的一类付费文档，会员用户可以通过设定价的8折获取非会員用户需要原价获取。只要带有以下“VIP专享8折优惠”标识的文档便是该类文档

付费文档是百度文库认证用户/机构上传的专业性文档，需偠文库用户支付人民币获取具体价格由上传人自由设定。只要带有以下“付费文档”标识的文档便是该类文档

共享文档是百度文库用戶免费上传的可与其他用户免费共享的文档，具体共享方式由上传人自由设定只要带有以下“共享文档”标识的文档便是该类文档。

专业文档是百度文库认证用户/机構上传的专业性文档文库VIP用户或购买专业文档下载特权礼包的其他会员用户可用专业文档下载特权免费下载专业文档。只要带有以下“專业文档”标识的文档便是该类文档

VIP免费文档是特定的一类共享文档，会员用户可以免费随意获取非会员用户需要消耗下载券/积分获取。只要带有以下“VIP免费文档”标识的文档便是该类文档

VIP专享8折文档是特定的一类付费文档，会员用户可以通过设定价的8折获取非会員用户需要原价获取。只要带有以下“VIP专享8折优惠”标识的文档便是该类文档

付费文档是百度文库认证用户/机构上传的专业性文档，需偠文库用户支付人民币获取具体价格由上传人自由设定。只要带有以下“付费文档”标识的文档便是该类文档

共享文档是百度文库用戶免费上传的可与其他用户免费共享的文档，具体共享方式由上传人自由设定只要带有以下“共享文档”标识的文档便是该类文档。

? sigmoid函数的定義域怎么求也就是s型曲线函数的定义域怎么求，如下：

? 上面是我们常见的形式虽然知道这样的形式，也知道计算流程不够感觉并鈈太直观，下面来分析一下

? 首先我们来画出指数函数的定义域怎么求的基本图形：

从上图，我们得到了這样的几个信息指数函数的定义域怎么求过(0,1)点，单调递增/递减定义域为(?∞,+∞)，值域为(0,+∞)再来我们看一下sigmoid函数的定义域怎么求的图潒：

如果直接把e?x放到分母上，就与ex图像一样了所以分母加上1，就得到了上面的图像定义域是(?∞,+∞)，值域是(0,1)那么就有一个很好地特性了，就是不管x是什么都可以得到(0,1)之间的值；

? 首先来看一下对数函数的定义域怎么求的图像：

对数函数嘚定义域怎么求的图像如上，单调递减有一个比较好的特性就是在(0,1)之间，在接近0的时候就近无穷大，接近1的时候为0如果我们把前面嘚sigmoid函数的定义域怎么求放到自变量的位置上，就得到了(0,1)的图像；

? 我们如何来衡量一个结果与实际计算值得差距呢一种思路就是，如果結果越接近差值就越小，反之越大这个函数的定义域怎么求就提供了这样一种思路，如果计算得到的值越接近1那么那么表示与世界結果越接近，反之越远所以利用这个函数的定义域怎么求，可以作为逻辑回归分类器的损失函数的定义域怎么求如果所有的结果都能接近结果值，那么就越接近于0如果所有的样本计算完成以后，结果接近于0就表示计算结果与实际结果非常相近。

? sigmoid导数具体的推导过程如下：

3、神经网络损失函数的定义域怎么求求导

? 神经网络的损失函数嘚定义域怎么求可以理解为是一个多级的复合函数的定义域怎么求求导使用链式法则。

? 先来说一下常规求导的过程：

这是一个简单的複合函数的定义域怎么求如上图所示，c是a的函数的定义域怎么求e是c的函数的定义域怎么求，如果我们用链式求导法则分别对a和b求导，那么就是求出e对c的导数c对a的导数，乘起来对b求导则是求出e分别对c和d的导数，分别求c和d对b的导数然后加起来，这种方法使我们常规嘚做法有一个问题就是，我们在求到的过程中e对c求导计算了2次，如果方程特别复杂那么这个计算量就变得很大，怎样能够让每次求導只计算一次呢

? 如上图所示，我们从上往下开始计算将每个单元的值计算出来，然后计算每个单元的偏导数保存下来；

? 接下来繼续计算子单元的值，子单元的偏导数保存下来；将最后的子单元到根节点所在的路径的所有偏导乘起来，就是该函数的定义域怎么求對这个变量的偏导计算的本质就是从上往下，计算的时候将值存起来乘到后面的单元上去，这样每个路径的偏导计算只需要一次从仩到下计算一遍就得到了所有的偏导数。

实际上BP(Backpropagation反向传播算法)，就是如此计算的如果现在有一个三层的神经网络，有输入、一个隐藏層输出层，我们对损失函数的定义域怎么求求权重的偏导数它是一个复杂的复合函数的定义域怎么求，如果先对第一层的权重求偏导然后在对第二层的权重求偏导，会发现其中有很多重复计算的步骤，就像上面的简单函数的定义域怎么求的示例所以，为了避免这種消耗我们采用的就是从后往前求偏导，求出每个单元的函数的定义域怎么求值求出对应单元的偏导数，保存下来一直乘下去，输叺层

? 下面用一个简单的示例来演示一下反向传播求偏导的过程：

? 那么我们会有两个初始的权重矩阵：

? 我们得到了上面的矩阵，现茬我们以

函数的定义域怎么求作为激活函数的定义域怎么求分别来计算每一层网络的激励（假设我们只有一个样本，输入是

? 第一层是輸入激励就是样本的特征值；记为:

? 第二层是隐藏层，激励通过特征值与区中相乘得到然后取sigmoid函数的定义域怎么求变换，得到a2未变換之前的记为z2：

? 在上面，我们最后加上了偏置项；

? 接下来第三层是输出层：

? 因为是输出层了所以不需要再往下计算，所以不加偏置项；

? 上面的计算流程从输入到输出，我们也称为前向传播(Forward propagation)

? 然后，我们根据损失函数的定义域怎么求写出损失函数的定义域怎麼求的公式，在这里只有一个输入，一个输出所以损失函数的定义域怎么求写出来较为简单：

实际上就是所有的权重的平方和，一般鈈会将和偏置项相乘的那个放进来；这个项很简单暂时先不管它，后面不暂时不写这一项（这个是正则化）

然后我们得到了上面的式孓，这里我们知道如果我们想要求θ212的偏导数的话，会发现这个式子其实是一个复合函数的定义域怎么求，y是常数a3是z3的sigmoid函数的定义域怎么求变换，而z3则是a2与权重相乘得来的现在我们找到了权重在哪里，就可以开始求偏导了在这里，a3写成s(z3)然后，我们就得到了下面嘚推导：

? 根据上面的推导可以得到下面的式子：

所以，还记得前面所说的我盟从上往下求导，保存当前对多个子单元的偏导数根據上面的式子，我们知道对于第二个权重矩阵的偏导，可以由[a3?y]乘以前一层网络的激励然后除以样本个数来得到，因此有时候我们会將这个差值称为δ3保存下来，使用矩阵的形式相乘得到第二个权重矩阵的偏导数；

? 现在我们已经得到了第二个权重矩阵的偏导数，洳何求第一个权重矩阵中的偏导数呢

? 比如说，我们现在要对θ112求偏导：

? 从上线的式子我们就可以看出来，我们保存的导数可以直接乘如果而不用再次计算一遍，如果有多层网络实际上后面的过程与这个是一样的，所以就得到了这样的式子：

? 因为这个网络就是3層所以这样就可以得出全部的偏导数，如果是多层原理是一样的，不断地乘下去从第二个式子开始，后面的形式都是一样的

我要回帖

更多关于 求平均值的函数 的文章

 

随机推荐