Tanh

Tanh函数将输入值映射到-1到1之间,输出值以0为中心。Tanh函数在很多情况下可以取代Sigmoid函数,因为它具有更好的训练性能。

基本定义

双曲正切函数(Tanh)是深度学习中常用的激活函数之一。它的定义如下:

tanh(x)=sinh(x)cosh(x)=exexex+ex=e2x1e2x+1

其中,sinh(x)cosh(x) 分别是双曲正弦函数和双曲余弦函数,它们的定义如下:

sinh(x)=exex2cosh(x)=ex+ex2

函数图像

Pasted image 20230525132246.png

特性

  1. 定义域和值域:双曲正切函数的定义域是所有实数,值域在 -1 到 1 之间。这使得它在深度学习中非常有用,因为它可以将任何输入压缩到 -1 到 1 的范围内。

  2. 导数:双曲正切函数的导数可以用自身表示,即:tanh(x)=1tanh2(x)。这个性质在计算反向传播时非常有用。

  3. 零中心:双曲正切函数是零中心的,即其输出可以是正数也可以是负数。这是它相比于 Sigmoid 函数的一个优势,因为 Sigmoid 函数的输出只能是正数。

应用

在深度学习中,Tanh 函数常用作激活函数,将线性层的输出转换为非线性,使得模型可以学习并逼近复杂的函数。虽然现在 ReLU 函数更常用,但在某些情况下,例如当输出需要是负数时,Tanh 函数仍然是一个好的选择。

总结

Tanh 函数是深度学习中的重要工具,它可以将任何实数压缩到 -1 到 1 的范围内,同时保持零中心。虽然现在有更多的激活函数可供选择,但了解 Tanh 函数的基本性质和应用仍然是非常有用的。


本文作者:Maeiee

本文链接:Tanh

版权声明:如无特别声明,本文即为原创文章,版权归 Maeiee 所有,未经允许不得转载!


喜欢我文章的朋友请随缘打赏,鼓励我创作更多更好的作品!