---
doc_type: hypothesis-highlights
url: 'https://blog.csdn.net/qq_38410428/article/details/101102075'
---

## Metadata

- Reference: https://blog.csdn.net/qq_38410428/article/details/101102075


## Highlights

## mode.train()和mode.eval()作用

### train

- 启用 Batch Normalization 和 Dropout，如果模型中有BN层(Batch Normalization）和 Dropout，需要在训练时添加model.train()

### eval 

- 在这个特定的例子中，似乎每50次迭代就会降低准确度。 如果我们检查一下代码， 我们看到确实在train函数中设置了训练模式。

- 修复很简单，我们将model.train() 向下移动一行，让其在训练循环中。理想的模式设置是尽可能接近推理步骤，以避免忘记设置它。修正后，我们的训练过程看起来更合理，没有中间的峰值出现。

## mode.eval()和torch.no_grad()区别

- 主要用于通知dropout层和BN层在training和validation/test模式间切换： 在train模式下，dropout网络层会按照设定的参数p，设置保留激活单元的概率（保留概率=p)。BN层会继续计算数据的mean和var等参数并更新。在eval模式下，dropout层会让所有的激活单元都通过，而BN层会停止计算和更新mean和var，直接使用在训练阶段已经学出的mean和var值。

- 2.eval模式不会影响各层的gradient计算行为，即gradient计算和存储与training模式一样，只是不进行反向传播（back probagation)。

- 而with torch.no_grad()则主要是用于停止autograd模块的工作，以起到加速和节省显存的作用。它的作用是将该with语句包裹起来的部分停止梯度的更新，从而节省了GPU算力和显存，但是并不会影响dropout和BN层的行为。

- 如果不在意显存大小和计算时间的话，仅仅使用model.eval()已足够得到正确的validation/test的结果；而with torch.no_grad()则是更进一步加速和节省gpu空间（因为不用计算和存储梯度），从而可以更快计算，也可以跑更大的batch来测试。