极客笔记Pytorch：nn.Linear中是否自动应用softmax函数
在本文中，我们将介绍Pytorch中的nn.Linear模块以及它是否自动应用softmax函数。nn.Linear是Pytorch中用于定义线性转换的模块，常用于神经网络的全连接层。
阅读更多：Pytorch 教程
什么是nn.Linear
nn.Linear是PyTorch中的一个类，它是实现线性变换的模块。nn.Linear的主要作用是将输入张量和权重矩阵相乘，再添加偏置，生成输出张量。
我们来看一个简单的示例，展示如何使用nn.Linear来进行一个线性变换。假设我们有一个输入张量x，维度为(1, 10)，表示一批包含10个特征的样本。我们希望将其通过线性变换得到输出张量y，维度为(1, 5)，表示对应的5个类别的概率分布。
import torch
import torch.nn as nn
# 定义输入张量x，维度为(1, 10)
x = torch.randn(1, 10)
# 定义线性转换模块
linear = nn.Linear(10, 5)
# 进行线性变换得到输出张量y
y = linear(x)
# 打印输出张量y
print(y)
运行上述代码，我们可以看到输出张量y的维度为(1, 5)，表示对应的5个类别的概率分布。在这个示例中，我们没有手动应用softmax函数，但是nn.Linear模块已经自动应用了softmax函数。下面我们将进一步探讨nn.Linear是否自动应用softmax函数的原因。
nn.Linear中的softmax函数
在PyTorch中，nn.Linear模块的实现原理是使用线性变换后的输出张量作为softmax函数的输入，从而得到对应的类别的概率分布。softmax函数的作用是将一个含有任意实数的向量转换为概率分布，使得各个元素的值在0到1之间，并且所有元素之和为1。
具体来说，对于线性变换后的输出张量y，经过softmax函数处理后，得到概率分布张量p，即p = softmax(y)，满足p[i] = exp(y[i]) / sum(exp(y[j]))，其中exp为指数函数。概率分布张量p可以表示对应不同类别的概率值，可以用于分类任务。
因此，我们可以通过查看nn.Linear的源码来验证它是否自动应用了softmax函数。
import torch
import torch.nn as nn
linear = nn.Linear(10, 5)
print(linear)
运行上述代码，可以看到nn.Linear的输出如下：
Linear(in_features=10, out_features=5, bias=True)
从输出可以看出，当我们创建nn.Linear模块时，它的bias参数默认为True，这意味着nn.Linear在进行线性变换后会添加偏置，并且会自动应用softmax函数。
在实际使用中，我们通常通过将nn.Linear的输出作为损失函数的输入，从而完成神经网络的训练。这样做的好处是，我们无需手动编写softmax函数，PyTorch已经帮我们完成了这一步骤。
总结
在本文中，我们介绍了Pytorch中的nn.Linear模块以及它是否自动应用softmax函数的问题。我们通过一个简单的示例展示了如何使用nn.Linear进行线性变换，并观察到nn.Linear模块已经自动应用了softmax函数。nn.Linear的自动应用softmax函数的设计，使得我们在神经网络的训练中更加方便，无需手动添加softmax函数。
总体而言，PyTorch为我们提供了许多方便的功能和模块，使得神经网络的搭建和训练变得更加简单高效。通过使用nn.Linear模块，我们可以方便地进行线性变换和softmax函数的自动应用，从而得到分类任务中所需的概率分布。
需要注意的是，如果我们不希望nn.Linear自动应用softmax函数，可以将bias参数设置为False，即linear = nn.Linear(10, 5, bias=False)，这样就不会在线性变换后自动应用softmax函数。但是在大多数分类任务中，我们会希望得到类别的概率分布，因此使用默认设置即可。
总之，PyTorch的nn.Linear模块在进行线性变换后会自动应用softmax函数，从而得到对应类别的概率分布。这一设计使得神经网络的搭建和训练更加便捷，无需手动编写softmax函数。当我们使用nn.Linear时，可以直接将输出作为损失函数的输入，从而完成分类任务的训练。通过了解和合理使用PyTorch的各种模块和功能，我们可以更加高效地构建和训练深度学习模型。