BCEWithLogitsLoss公式详解|极客教程

BCEWithLogitsLoss公式详解

在深度学习中，交叉熵损失函数是常用的一个损失函数，用于衡量模型预测值与真实标签之间的差异。在多分类问题中，交叉熵损失函数是很合适的选择，但在二分类问题中，经常会使用BCEWithLogitsLoss损失函数。本文将详细解释BCEWithLogitsLoss损失函数的数学公式及其背后的原理。

什么是BCEWithLogitsLoss？

BCEWithLogitsLoss全称为Binary Cross Entropy With Logits Loss，它是PyTorch中常用的二分类损失函数。在深度学习中，常用的二分类损失函数有BCELoss和BCEWithLogitsLoss，它们的区别在于BCELoss需要在计算损失前手动对预测值进行sigmoid激活，而BCEWithLogitsLoss将sigmoid激活和二分类交叉熵损失合并在了一起，更加高效和稳定。

BCEWithLogitsLoss公式推导

BCEWithLogitsLoss混合了sigmoid激活函数和二分类交叉熵损失函数，其数学表达式如下：

$\text{BCEWithLogitsLoss}(x, y) = \text{BCE}(\text{sigmoid}(x), y) = -y \log(\sigma(x)) – (1 – y) \log(1 – \sigma(x))$

其中， $x$ 为模型的输出（Logits）， $y$ 为真实标签（0或1）， $\sigma(\cdot)$ 表示sigmoid激活函数， $\text{BCE}(\cdot, \cdot)$ 表示二分类交叉熵损失函数。这里的 $\text{BCEWithLogitsLoss}(x, y)$ 实际上等价于 $\text{BCE}(p, y)$ ，其中 $p = \sigma(x)$ 是通过sigmoid激活函数得到的概率预测值。

BCEWithLogitsLoss公式推导过程

我们先来推导一下BCEWithLogitsLoss的数学表达式，从sigmoid函数到二分类交叉熵损失函数的连接。

Sigmoid函数：

首先，sigmoid函数的定义如下：

$\sigma(x) = \frac{1}{1 + e^{-x}}$

sigmoid函数将输入映射到(0, 1)之间的概率值，表示模型输出为正类的概率。

BCELoss函数：

二分类交叉熵损失函数的定义如下：

$\text{BCE}(p, y) = -y \log(p) – (1 – y) \log(1 – p)$

其中， $p$ 是预测的概率值， $y$ 是真实标签。

BCEWithLogitsLoss：

将sigmoid函数和BCELoss函数结合起来，得到BCEWithLogitsLoss的表达式：

$\text{BCEWithLogitsLoss}(x, y) = \text{BCE}(\sigma(x), y) = -y \log(\sigma(x)) – (1 – y) \log(1 – \sigma(x))$

将sigmoid函数的表达式代入，得到BCEWithLogitsLoss的数学表达式。

BCEWithLogitsLoss示例代码

下面用PyTorch实现一个简单的二分类模型，并使用BCEWithLogitsLoss作为损失函数。

import torch
import torch.nn as nn
import torch.optim as optim

# 生成一些示例数据
x = torch.randn(2, 1)
y = torch.tensor([[0], [1]], dtype=torch.float)

# 定义一个简单的二分类模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc = nn.Linear(1, 1)

    def forward(self, x):
        x = self.fc(x)
        return x

model = Net()
criterion = nn.BCEWithLogitsLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 训练模型，计算损失
for epoch in range(100):
    optimizer.zero_grad()
    output = model(x)
    loss = criterion(output, y)
    loss.backward()
    optimizer.step()
    print(f'Epoch {epoch+1}, Loss: {loss.item()}')

# 测试模型
output_prob = torch.sigmoid(model(x))
print(f'Output probability: {output_prob}')

以上示例代码演示了如何使用PyTorch构建一个简单的二分类模型，并使用BCEWithLogitsLoss作为损失函数进行训练和测试。

通过本文的详细解析，我们了解了BCEWithLogitsLoss损失函数的数学公式及其推导过程，以及如何在实际代码中应用这一损失函数。