激活函数

Activation Functions

在神经网络领域，“Activation Functions”指的是一类函数，它们为神经网络引入非线性特性。神经元通过加权输入进行求和计算后，会将结果传递给激活函数进行处理。常见的激活函数如：

• Sigmoid函数：它能将输入值映射到0到1之间，常被用于二分类问题中输出层，将输出值转换为概率。
• ReLU（Rectified Linear Unit）函数：即输入大于0时输出该值，小于0时输出0 。它解决了梯度消失问题，在隐藏层广泛应用 。
• Tanh（双曲正切函数）：把输入值映射到 - 1到1之间，相比Sigmoid函数，它的输出以0为中心，在某些场景效果更好。