Tanh

Tanh函数将输入值映射到-1到1之间，输出值以0为中心。Tanh函数在很多情况下可以取代Sigmoid函数，因为它具有更好的训练性能。

基本定义

双曲正切函数（Tanh）是深度学习中常用的激活函数之一。它的定义如下：

tanh(x)=sinh⁡(x)cosh⁡(x)=ex−e−xex+e−x=e2x−1e2x+1

其中，sinh⁡(x) 和 cosh⁡(x) 分别是双曲正弦函数和双曲余弦函数，它们的定义如下：

sinh⁡(x)=ex−e−x2cosh⁡(x)=ex+e−x2

函数图像

Pasted image 20230525132246.png

特性

  1. 定义域和值域：双曲正切函数的定义域是所有实数，值域在 -1 到 1 之间。这使得它在深度学习中非常有用，因为它可以将任何输入压缩到 -1 到 1 的范围内。

  2. 导数：双曲正切函数的导数可以用自身表示，即：tanh′(x)=1−tanh2(x)。这个性质在计算反向传播时非常有用。

  3. 零中心：双曲正切函数是零中心的，即其输出可以是正数也可以是负数。这是它相比于 Sigmoid 函数的一个优势，因为 Sigmoid 函数的输出只能是正数。

应用

在深度学习中，Tanh 函数常用作激活函数，将线性层的输出转换为非线性，使得模型可以学习并逼近复杂的函数。虽然现在 ReLU 函数更常用，但在某些情况下，例如当输出需要是负数时，Tanh 函数仍然是一个好的选择。

总结

Tanh 函数是深度学习中的重要工具，它可以将任何实数压缩到 -1 到 1 的范围内，同时保持零中心。虽然现在有更多的激活函数可供选择，但了解 Tanh 函数的基本性质和应用仍然是非常有用的。

本文作者：Maeiee

本文链接：Tanh

版权声明：如无特别声明，本文即为原创文章，版权归 Maeiee 所有，未经允许不得转载！

喜欢我文章的朋友请随缘打赏，鼓励我创作更多更好的作品！