Pytorch分布式训练,其他GPU进程占用GPU0的原因

来自:博客园
时间:2024-01-30
阅读:

问题

最近跑师兄21年的论文代码,代码里使用了Pytorch分布式训练,在单机8卡的情况下,运行代码,出现如下问题。
Pytorch分布式训练,其他GPU进程占用GPU0的原因
也就是说GPU(1..7)上的进程占用了GPU0,这导致GPU0占的显存太多,以至于我的batchsize不能和原论文保持一致。

解决方法

我一点一点进行debug。
首先,在数据加载部分,由于没有将local_rankworld_size传入get_cifar_iter函数,导致后续使用DALI创建pipeline时使用了默认的local_rank=0,因此会在GPU0上多出该GPU下的进程
Pytorch分布式训练,其他GPU进程占用GPU0的原因

其次,在使用torch.load加载模型权重时,没有设置map_location,于是会默认加载到GPU0上,下图我选择将模型权重加载到cpu。虽然,这会使训练速度变慢,但为了和论文的batchsize保持一致也不得不这样做了。-.-
Pytorch分布式训练,其他GPU进程占用GPU0的原因

参考文献

  1. nn.parallel.DistributedDataParallel多卡训练,第一张卡会多出进程?
返回顶部
顶部