极客笔记Pytorch 正确的归一化和缩放 MNIST 数据集
在本文中，我们将介绍如何正确地归一化和缩放 MNIST 数据集。MNIST 数据集是一个手写数字图像数据集，常用于机器学习和深度学习模型的训练和测试。正确的归一化和缩放可以提高模型的训练效果和准确性。
阅读更多：Pytorch 教程
MNIST 数据集简介
MNIST 数据集包含了6万个训练样本和1万个测试样本，每个样本是一个28×28像素的灰度图像，图像上的数字范围从0到9。
为什么需要归一化和缩放
归一化和缩放是预处理数据的重要步骤，可以将数据转换为统一的范围，帮助模型更好地学习和推断。在处理 MNIST 数据集时，归一化和缩放可以帮助加快模型的训练速度，并且提高模型的收敛性和准确性。
归一化和缩放的步骤
下面是正确归一化和缩放 MNIST 数据集的步骤：
步骤1：加载 MNIST 数据集
首先，我们需要加载 MNIST 数据集。在 PyTorch 中，我们可以使用 torchvision 库来加载 MNIST 数据集。
import torchvision.datasets as datasets
# 加载训练集和测试集
train_dataset = datasets.MNIST(root='data/', train=True, transform=None, download=True)
test_dataset = datasets.MNIST(root='data/', train=False, transform=None, download=True)
步骤2：获取训练集和测试集像素数组
MNIST 数据集的图像是以像素数组的形式存储的。我们可以使用 train_dataset.data 和 test_dataset.data 来获取训练集和测试集的像素数组。
train_data = train_dataset.data
test_data = test_dataset.data
步骤3：将像素数组转换为浮点数数组
为了进行归一化和缩放，我们需要将像素数组转换为浮点数数组。我们可以使用 train_data.float() 和 test_data.float() 来将像素数组转换为浮点数数组。
train_data_float = train_data.float()
test_data_float = test_data.float()
步骤4：计算归一化的均值和标准差
对于归一化，我们需要计算训练集的均值和标准差。然后，我们使用这些值来归一化训练集和测试集。
mean = train_data_float.mean()
std = train_data_float.std()
步骤5：归一化和缩放数据
最后，我们使用计算得到的均值和标准差对训练集和测试集进行归一化和缩放。在 PyTorch 中，我们可以使用 torchvision.transforms.Normalize() 来实现。
import torchvision.transforms as transforms
# 定义归一化和缩放的转换
normalize = transforms.Normalize(mean=[mean], std=[std])
# 对训练集进行归一化和缩放
train_dataset.transform = transforms.Compose([
transforms.ToTensor(),
normalize
])
# 对测试集进行归一化和缩放
test_dataset.transform = transforms.Compose([
transforms.ToTensor(),
normalize
])
示例说明
下面是一个完整的示例，展示了如何正确归一化和缩放 MNIST 数据集：
import torchvision.datasets as datasets
import torchvision.transforms as transforms
# 加载 MNIST 数据集
train_dataset = datasets.MNIST(root='data/', train=True, transform=None, download=True)
test_dataset = datasets.MNIST(root='data/', train=False, transform=None, download=True)
# 获取像素数组
train_data = train_dataset.data
test_data = test_dataset.data
# 转换为浮点数数组
train_data_float = train_data.float()
test_data_float = test_data.float()
# 计算均值和标准差
mean = train_data_float.mean()
std = train_data_float.std()
# 定义归一化和缩放的转换
normalize = transforms.Normalize(mean=[mean], std=[std])
# 对训练集进行归一化和缩放
train_dataset.transform = transforms.Compose([
transforms.ToTensor(),
normalize
])
# 对测试集进行归一化和缩放
test_dataset.transform = transforms.Compose([
transforms.ToTensor(),
normalize
])
在这个示例中，我们使用 torchvision 库加载了 MNIST 数据集，并获取了训练集和测试集的像素数组。然后，我们将像素数组转换为浮点数数组，计算了训练集的均值和标准差。最后，我们使用均值和标准差来归一化和缩放训练集和测试集。
总结
归一化和缩放是预处理数据的重要步骤，对于提高模型的训练效果和准确性至关重要。在处理 MNIST 数据集时，我们先获取像素数组，然后将其转换为浮点数数组。接下来，计算训练集的均值和标准差，并使用这些值对训练集和测试集进行归一化和缩放。通过遵循这些步骤，我们可以正确地归一化和缩放 MNIST 数据集，以提高模型的性能和准确度。
希望本文对你在 PyTorch 中正确归一化和缩放 MNIST 数据集有所帮助。祝你在深度学习的旅程中取得成功！