ReLU

ReLU 函数是一个分段线性函数，它在输入值大于0时保持线性，而在输入值小于等于0时输出为0。ReLU函数在深度学习中非常流行，因为它可以缓解梯度消失问题并加速训练过程。

vs Sigmoid

与传统的Sigmoid函数相比，它具有计算快、方便反向误差传播等优良特征。同时，由于它在0的位置分成了两个不连续的部分，因此它具备与sigmoid函数同样的非线性特征。该函数特别适合用在深度的前馈神经网络中，计算效果比sigmoid函数好得多。