AI产品:BP前馈神经网络与梯度问题

零基础学产品,BAT产品总监带,2天线下集训+1年在线课程,全面掌握优秀产品经理必备技能。了解详情

通过上一章《神经元与神经网络》,我们大概了解了单个神经元的工作模式和简单神经网络的基本结构。接下来就要正式进入关于“神经网络”这个重头戏的学习了,神经网络分为“浅层”和“深层”,今天我们来探讨一下“浅层学习”中最经典的BP前馈神经网络,只要把它的工作原理搞清楚,其实后面的深度神经网络、卷积神经网络和循环神经网络都是在它基础上的变体。

一. BP前馈神经网络

1. BP前馈神经网络核心理念

BP前馈神经网络的英文全称为 Back Propagation Networks(反响传播网络),怎么理解这个“反响传播”呢,我们已经了解其实DL的核心理念就在于找到全局性误差函数Loss符合要求的,对应的权值“w”与“b”,也知道数据是从神经网络的输入层,进入隐含层,最后通过输出层输出的工作流程。

那么问题就来了,当得到的误差Loss不符合要求(即误差过大),就可以通过“反响传播”的方式,把输出层得到的误差反过来传到隐含层,并分配给不同的神经元,以此调整每个神经元的“权值”,最终调整至Loss符合要求为止,这就是“误差反响传播”的核心理念

2. 从“找关系”到“求误差”

前面我们已经多次提到”y=wx+b”,现在我给这个函数加一个“e”代表误差,其他的含义均不变

下面的转换,别被它吓到,其实很好理解,e的误差等于“真实数据y”减去“拟合值”,i代表数据的个数(简单理解为1、2、3……)

接下来点更好玩的(其实已经省略了一些步骤),我们一步一步来解释,Loss相信大家很熟悉了,就是所谓“全局性误差函数”,我们的最终目的,不就是让Loss等于“0”最好嘛,这就相当于是“现实的值”与“拟合值”完全吻合,也就是找到了数据与某种特征的现实“对应关系”。

前面那个怪怪的图形,表示所有数据的“加和”(不然海量数据是咋来的呢),为什么要把误差“e”平方呢?其实是做了个“非负化”的处理,这样更方便运算嘛,正负不重要,重要的是“绝对值”。

最后,让我们看看我们得到了个什么东西:

请各位不要慌,它就是一个“二次函数”,简化理解它的图像如下:

一切就到这里,通过上述过程的转换,让Loss这个全局性误差等于“0”,不就是转换成了求得这个函数“极小值”的问题了么!

理解到这一层,我想是时候对机器学习其中的一个本质做个总结:我们通过对数据进行“标签化”、提取特征“向量化”,将现实客观世界的“关系问题”,描述转换成数学函数中求“误差”的问题,又通过函数性质转换成求“极值”问题。换句话说,找到了这个数学的“解”,也就找到了现实世界的“关系描述”。情不自禁感叹“数学之美”!

二. 梯度下降与梯度消失/爆炸

1. 迭代法

我们已经理解到“求极值”这一层面,但还有问题等待解决。在一个算法模型训练最开始,权值w和偏置b都是随机赋予的,理论上它可能是出现在整个函数图像中的任何位置,那如何让他去找到我们所要求的那个值呢。

这里就要引入“迭代”的思想:我们可以通过代入左右不同的点去尝试,假设代入当前x左面的一个点比比右面的更小,那么不就可以让x变为左面的点,然后继续尝试,直到找到“极小值”么。这也是为什么算法模型需要时间去不断迭代很训练的原因

2. 梯度下降

使用迭代法,那么随之而来另外一个问题,这样一个一个尝试,虽然最终结果是一定会找到我们所需要的值,但有没有什么方法可以让它离“极值”远的时候,挪动的步子更大,离“极值”近的时候,挪动的步子变小(防止越过极值),实现更快更准确地“收敛”

请观察上面那个“二次函数”的图像,如果取得点越接近“极小值”,是不是在这个点的函数“偏导”越小呢?(偏导即“在那个点的函数斜率”),接下来引出下面这个方法:

梯度下降核心思想:Xn代表的就是挪动的“步长”,后面的表示当前这个点在函数的“偏导”,这样也就代表当点越接近极值点,那么“偏导”越小,所以挪动的“步长”就短;反之如果离极值点很远,则下一次挪动的“步长”越大。

把这个公式换到我们的算法模型,就找到了“挪动步长”与Loss和(w,b)之间的关系,实现快速“收敛”:

通过“迭代法”和“梯度下降法”的配合,我们实现了一轮一轮地迭代,每次更新都会越来越接近极值点,直到更新的值非常小或已经满足我们的误差范围内,训练结束,此时得到的(w,b)就是我们寻找的模型。

怎么样,现在是不是开始觉得对ML的本质理解的越来越深入,一旦转换成数学问题,我们就有很多方法可以实现我们的目标

3. 梯度消失

梯度消失,即在反响传播的过程中,因为层数太多或神经元激励函数作用,导致网络前端的w几乎没有变化,越往前的隐含层这种情况就越严重。

解决方式:目前常用的解决方式是选取合适的激励函数,如把Sigmoid函数换位ReLU函数,原理在这里就不过多解释了

4. 梯度爆炸

梯度爆炸,可以理解为梯度消失的“反向概念”,梯度消失本质是网络前层w权值变化太小,导致无法收敛,而梯度爆炸则是w权值一次的变化量太大,这样可能会导致直接挪动越过“极值点”。

最后

到这里已经基本介绍完神经网络BP前馈的基本原理,有没有觉得其实并没有想象中的那么难?而深度学习中的DNN(深度神经网络),如果不严格细纠的话,是可以简单理解为“隐含层层数”的增加的,基本的训练方法和工作原理也是一样通过误差反响传播,当然也做了很多优化来解决BP前馈网络的“缺陷”,这个我们在后面还会讲到~

相关阅读

AI产品之路:神经元与神经网络

 

本文由 @ Free 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自unsplash,基于CC0协议

打赏也是一种认可
6人打赏
评论
有话不说憋着难受!