By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement . We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Is your feature request related to a problem? Please describe.

随着提问的问题的增多，GPU内存占用也会增加，内存会溢出，有没有办法，每次推理完成后，释放下内存，我使用torch.cuda.empty_cache()不起作用。

Solutions

怎么修改代码，可以在推理内存满了后，释放下内存，继续推理

Additional context

No response

我也遇到了内存溢出的问题
OutOfMemoryError: CUDA out of memory. Tried to allocate 646.00 MiB (GPU 0; 14.76 GiB total capacity; 12.35 GiB already allocated; 529.75 MiB free; 13.41 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

@controZheng , 你是不是清理的卡和位置不对，看下你用的是哪张卡，清理对应的卡，在predict函数后，return之前释放下。
def torch_gc():
if torch.cuda.is_available():
with torch.cuda.device('cuda:1'):
torch.cuda.empty_cache()
torch.cuda.ipc_collect()

@controZheng , 你是不是清理的卡和位置不对，看下你用的是哪张卡，清理对应的卡，在predict函数后，return之前释放下。 def torch_gc(): if torch.cuda.is_available(): with torch.cuda.device('cuda:1'): torch.cuda.empty_cache() torch.cuda.ipc_collect()

确实不行 我检查很多次位置和history 一旦 GPU爆掉（torch.cuda.OutOfMemoryError: CUDA out of memory.）之后 清除就不起作用了

@controZheng , 你是不是清理的卡和位置不对，看下你用的是哪张卡，清理对应的卡，在predict函数后，return之前释放下。 def torch_gc(): if torch.cuda.is_available(): with torch.cuda.device('cuda:1'): torch.cuda.empty_cache() torch.cuda.ipc_collect() 确实不行 我检查很多次位置和history 一旦 GPU爆掉（torch.cuda.OutOfMemoryError: CUDA out of memory.）之后 清除就不起作用了 Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

你是不是一次推理的token太长，导致一次推理就把显存拉满了，根本就没有清空的机会
---原始邮件--- 发件人: @ . > 发送时间: 2023年6月7日(周三) 下午5:01 收件人: @ . >; 抄送: @ . @ . >; 主题: Re: [THUDM/ChatGLM-6B] 怎么释放GPU内存，使用torch.cuda.empty_cache()不起作用 (Issue #1144 ) @controZheng , 你是不是清理的卡和位置不对，看下你用的是哪张卡，清理对应的卡，在predict函数后，return之前释放下。 def torch_gc(): if torch.cuda.is_available(): with torch.cuda.device('cuda:1'): torch.cuda.empty_cache() torch.cuda.ipc_collect() 确实不行 我检查很多次位置和history 一旦 GPU爆掉（torch.cuda.OutOfMemoryError: CUDA out of memory.）之后 清除就不起作用了 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @ .***>

对的对的 我在找一个办法能在GPU爆了之后能够清除内存 不然每次都要重启服务