Python 官方文档:入门教程 => 点击学习
目录前言常见的激活函数种类及其图像1 sigmoid(logsig)函数2 tanh函数3 relu函数4 softplus函数Tensorflow中损失函数的表达1 sigmoid
激活函数在机器学习中常常用在神经网络隐含层节点与神经网络的输出层节点上,激活函数的作用是赋予神经网络更多的非线性因素,如果不用激励函数,输出都是输入的线性组合,这种情况与最原始的感知机相当,网络的逼近能力相当有限。如果能够引入恰当的非线性函数作为激活函数,这样神经网络逼近能力就能够更加强大。
哦豁,激活函数那么厉害,那常见的激活函数有什么呢?感觉还挺多的。
特点:sigmoid函数函数在不同的地方表达方式不同,常用的名称就是sigmoid和logsig,它能够把输入的连续实值变换为0和1之间的输出,如果输入是特别大的负数,则输出为0,如果输入是特别大的正数,则输出为1。
缺点:
其计算公式为:
其图像如下所示。
特点:它能够把输入的连续实值变换为-1和1之间的输出,如果输入是特别大的负数,则输出为-1,如果输入是特别大的正数,则输出为1;
解决了Sigmoid函数的不是0均值的问题。
缺点:梯度消失的问题和幂运算的问题仍然存在。
其计算公式为:
其图像如下所示。
特点:解决了梯度消失的问题;计算速度非常快,只需要判断输入是否大于0;
收敛速度远快于sigmoid和tanh两个函数。
缺点:不是0均值。
其计算公式为:
其图像如下所示
特点:softplus函数相当于平滑版的relu函数。
缺点:不是0均值。
其计算公式为:
其图像如下所示(与relu函数对比)。
tf.nn.sigmoid(x, name=None)
tf.nn.tanh(x, name=None)
tf.nn.relu(features, name=None)
tf.nn.relu6(features, name=None)
#relu6相对于普通relu更容易学习到稀疏特征。
tf.nn.softplus(features, name=None)
以上就是python人工智能tensorflow常用激活函数Activation Functions的详细内容,更多关于tensorflow激活函数的资料请关注编程网其它相关文章!
--结束END--
本文标题: python人工智能tensorflow常用激活函数Activation Functions
本文链接: https://www.lsjlt.com/news/117623.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0