位置: IT常识 - 正文

关于Pytorch中的train()和eval()（以及no_grad()）(pytorch train())

发布时间：2024-01-14

关于Pytorch中的train()和eval()（以及no_grad()） 1、三剑客：train()、eval()、no_grad()1.1 train()1.2 eval()1.3 no_grad()2、简单分析下2.1 为什么要使用train()和eval()2.2 为什么可以把训练集的统计量用作测试集?3、我的坑

推荐整理分享关于Pytorch中的train()和eval()（以及no_grad()）(pytorch train())，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:pytorch trace,pytorch tqdm,pytorch trace,pytorch jit trace,pytorch trace,pytorch tqdm,pytorch tqdm,pytorch trace,内容如对您有帮助，希望把文章链接给更多的朋友！

起源是我训练好了一个模型，新建一个推理脚本加载好checkpoint和预处理输入后推理，发现无论输入是哪一类甚至是随机数，其输出概率总是第一类的值最大，且总是在0.5附近，排查许久，发现是没有加上model.eval()函数。

因为我使用了model.no_grad()，下意识认为不需要加model.eval()，导致发生了本次事故

1、三剑客：train()、eval()、no_grad()

这三个函数实际上很常见，先来简单看下使用方法

1.1 train()

train()是nn.Module的方法，也就是你定义了一个网络model，那么mdoel.train()表示将该model设置为训练模式，一般在开始新epoch训练时，我们会首先执行该命令：

...model.train()# 将模型设置为训练模式for i, data in enumerate(train_loader): # 开始新epoch的训练images, labels = data images, labels = images.to(device), labels.to(device)...

1.2 eval()

同train()一样，其用法和含义也一样，eval()是nn.Module的方法，也就是你定义了一个网络model，那么mdoel.eval()表示将该model设置为验证模式，一般在开始验证当前model效果时，我们会首先执行该命令：

...model.eval()# 将模型设置为验证模式for i, data in enumerate(eval_loader): # 在验证集上验证images, labels = data images, labels = images.to(device), labels.to(device)...

1.3 no_grad()

no_grad()是torch库的方法，和上下文管理器with来搭配使用。其作用是禁用梯度计算，当你确定不会调用tensor.backward()时。它将减少计算的内存消耗，否则这些计算将requires_grad=True。如果设定了no_grad()，即使输入张量属性requires_grad为True，也不会计算梯度

一般我们进行模型验证或者模型推理时，就不需要梯度以及反向传播，所以我们可以在torch.no_grad()上下文管理器中执行我们的验证或推理任务，可以显著降低显存的使用。

with torch.no_grad():output=model(input_tensor)# 模型推理print(output) # model推理才涉及梯度等，print都不涉及了，所以在不在with之中已经无所谓了2、简单分析下2.1 为什么要使用train()和eval()

我们知道nn.Module中的BN层可以加速收敛，但是该层需要计算输入BatchTensor的均值和方差，毕竟一个BatchSize为64、128甚至更大，计算他们的均值和方差也简单。