交叉熵

交叉熵（Cross-Entropy）是一个常用于机器学习和深度学习中的损失函数，特别是在分类问题中。它是衡量两个概率分布之间的“距离”的度量。

在二分类问题中，假设我们有两个分布：一个是真实分布（y），另一个是模型预测的分布（y_hat）。在这种情况下，交叉熵定义如下：

在多分类问题中，交叉熵的定义扩展为对所有可能类别的求和：

其中，$y_i$ 是真实标签的 one-hot编码，$\widehat{y_i}$ 是模型预测的概率。

注意，交叉熵越低，模型的预测结果与真实值越接近，因此我们在训练神经网络模型时，通常试图最小化交叉熵损失。

另外，交叉熵损失在处理分类问题时特别有用，因为它对于那些正确类别的预测概率低的情况给予了很高的惩罚。这使得模型能更好地调整自己对正确类别的预测。

本文作者：Maeiee

本文链接：交叉熵

版权声明：如无特别声明，本文即为原创文章，版权归 Maeiee 所有，未经允许不得转载！

喜欢我文章的朋友请随缘打赏，鼓励我创作更多更好的作品！