使用PyTorch常见4个错误解决示例详解

目录

• 导读
• 常见错误 #1 你没有首先尝试过拟合单个batch
• 常见错误 #2: 忘记为网络设置 train/eval 模式
• 常用的错误 #3: 忘记在.backward()之前进行.zero_grad()
• 常见错误 #4: 你把做完softmax的结果送到了需要原始logits的损失函数中

导读

这4个错误，我敢说大部分人都犯过，希望能给大家一点提醒。

最常见的神经网络错误：

1)你没有首先尝试过拟合单个batch。

2)你忘了为网络设置train/eval模式。

3)在.backward()之前忘记了.zero_grad()(在pytorch中)。

4)将softmaxed输出传递给了期望原始logits的损失，还有其他吗？