激活函数是个啥？

1、典型的神经元结构

       

表示神经元接收到的输入，可以用

表示神经元获得的输入信号的加权和，也称为净输入（Net Input），其中w称为权重矩阵，b称为偏置。净输入接下来将经过一个非线性函数

得到神经元的活性值a，这个非线性函数就称为激活函数。

2、激活函数及其意义

        激活函数在神经元中起到了非常重要的作用，从最初的0/1阶跃函数演化成为现在的非线性可导等具有良好数学性质的函数。最开始驱使激活函数向前发展的原因就是XOR的问题：针对数据可以线性可分的情况下，使用线性激活函数是OK的，但针对异或这种无法线性可分的情况时使用线性激活函数就是无法执行分类决策。如下图：【以下图片及内容主要来源于https://www.zhihu.com/question/22334626进行整理】

2、线性可分

3、线性不可分（XOR）

        针对线性不可分的数据（以XOR为代表）常有两种方法来解决：

        第一：直接针对数据做线性变换，例如提升数据维度（

变成

）,则此时点在空间中的位置变化为下图所示：

4、数据变换为线性可分

        第二：引入针对激活函数进行修改，即引入非线性的激活函数（这些激活函数大家也称为“空间魔法师”）。其设计过程暂且不论，但其根本目的就是将数据的原始空间进行扭曲变形，使得无法线性可分的空间变为线性可分【“数值上挤压，几何上变形”这句话很精辟呀】。如下图所示：

5、非线性激活函数后的数据

        经过非线性激活函数后，原来不可分的二维空间进行空间扭曲后就变成了线性可分的结果。

        从上面的表述其实可以有一个概括：激活函数最根本的作用就是实现输入到输出的映射，而在这个映射的过程中通过引入非线性因素使得神经网络具有了更强大的表达能力，解决了线性模型不能解决的问题。

3、激活函数的性质

        再次强调，激活函数在神经元中有着重要的意义，使得网络有了更加强大的表达能力，为了使得这种表达能力最大化，激活函数还需要具备几点性质：

        （1）连续并可导【允许部分点上不可导】的非线性函数；连续且可导保证了函数在其定义域内的可利用性，选择非线性函数则是为网络结构引入了非线性因素，使得网络具有更强大的表达能力。

        （2）函数本身及其导函数要尽可能简单；函数本身及其导函数要尽可能简单是因为神经网络训练过程中存在大量的梯度计算，选用简单的函数及导函数有利于提高网络的计算效率。

        （3）激活函数的导函数值域要在一个合适的区间；激活函数的导函数值域在一个合适区间内是为了保证训练过程的效率和稳定性。

        非线性激活函数的出现通过引入非线性因素使神经网络具有了更加强大的表达能力，具有重要的意义。下一节我们就来看看有哪些常见的激活函数以及它们之间各自的优缺点。

文章均来自互联网如有不妥请联系作者删除QQ:314111741 地址：http://www.mqs.net/post/11135.html