在深度学习中，如何释放被占用的GPU内存？

在 深度学习 中，模型参数通常被存储在 GPU 显存中，而模型越大，所占用的显存也就越多。因此，当我们需要加载新的模型或者增加批量大小时，可能会遇到显存不足的问题。此时，我们需要释放当前已加载模型所占用的显存，以便为新模型或更大批量大小腾出足够的空间。一种解决方法是通过使用PyTorch或Tensorflow提供的 .cuda.empty_cache() 或 .tf.reset_default_graph() 函数 来清空 GPU 缓存 中的变量。另一种方法则是通过使用 torch.cuda.memory_allocated() 或 tf.contrib.memory_stats.BytesInUse() 来查询当前已使用的显存大小，并手动释放不必要的变量。需要注意的是，在释放变量时，我们需要确保未使用的变量已完成自动回收，否则可能会导致程序出错。