PyTorch torch.nn.ReLU 函数

PyTorch torch.nn 参考手册

torch.nn.ReLU 是 PyTorch 中最常用的激活函数之一，它对输入张量逐元素执行修正线性单元（Rectified Linear Unit）运算。

ReLU 是深度学习中最成功的激活函数之一，因为它计算简单、收敛速度快，且能有效缓解梯度消失问题。

函数定义

torch.nn.ReLU(inplace=False)

参数说明：

• inplace (bool): 如果设为 True，将在原地直接修改输入张量，节省内存。默认为 False。

数学原理

nn.ReLU 执行的计算公式如下：

f(x) = max(0, x)

即对于输入中的每个元素，如果值大于 0，则保持不变；如果值小于或等于 0，则输出为 0。

这个简单的非线性变换使得网络能够学习复杂的模式，同时保持梯度的流动。

使用示例

示例 1: 基本用法

创建一个 ReLU 激活层并对输入进行激活：

输出结果为：

输入:
 tensor([[-1.,  2., -3.],
        [ 4., -5.,  6.]])
输出:
 tensor([[0., 2., 0.],
        [4., 0., 6.]])

可以看到，所有负值都被置为 0，正值保持不变。

示例 2: 原地操作

使用 inplace 参数可以节省内存：

输出结果为：

是否修改了原张量: True
输入/输出:
 tensor([[0.0000, 0.0000, 1.2345, 0.0000],
        [0.5432, 0.0000, 0.0000, 2.3456]])

注意：原地操作可以节省内存，但在某些情况下可能影响梯度计算。在训练初期或需要保留中间激活值时，建议使用默认的 inplace=False。

示例 3: 在神经网络中使用

在卷积神经网络中，ReLU 通常跟在卷积层后面：

输出结果为：

模型结构:
SimpleCNN(
  (conv1): Conv2d(3, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
  (relu1): ReLU()
  (conv2): Conv2d(32, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
  (relu2): ReLU()
  (pool): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
)

输入形状: torch.Size([1, 3, 32, 32])
输出形状: torch.Size([1, 64, 8, 8])

示例 4: 使用 nn.functional.relu

PyTorch 还提供了函数式接口 torch.nn.functional.relu：

两者的区别：

• nn.ReLU 是模块类，可在模型定义中使用，会保存参数。
• F.relu 是函数式接口，常用于forward方法中或没有可学习参数的场合。
• F.relu_ 是原地版本的下划线函数。

与其他激活函数的对比

常见问题

Q1: ReLU 为什么会产生"死亡神经元"问题？

当输入持续为负时，ReLU 的输出始终为 0，梯度也为 0，导致这些神经元无法再学习。

解决方法：

• 使用 nn.LeakyReLU 或 nn.ELU 替代
• 使用较小的初始学习率
• 采用 Batch Normalization

Q2: ReLU 适合放在输出层吗？

通常不适合。输出层更常用 Sigmoid（分类）或恒等函数（回归），因为 ReLU 的输出无界。

使用场景

nn.ReLU 是深度学习中最常用的激活函数，主要应用场景包括：

• 卷积神经网络: 在卷积层或全连接层后引入非线性。
• 多层感知机: 作为隐藏层的激活函数。
• Transformer: 在 FFN（Feed-Forward Network）中作为激活函数（虽然现在更多使用 GELU）。
• 生成对抗网络: 作为生成器的激活函数。

提示：除非有特殊需求，否则在设计神经网络时，ReLU 是隐藏层激活函数的首选。

PyTorch torch.nn 参考手册