部署的问题

[Zidoing]

你好，我在部署项目的时候，提示torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 112.00 MiB. GPU 0 has a total capacty of 11.72 GiB of which 63.81 MiB is free. Including non-PyTorch memory, this process has 11.41 GiB memory in use. Of the allocated memory 11.13 GiB is allocated by PyTorch, and 109.44 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

目前有3个问题想咨询一下

1. 你开发的GPU设备是哪个，多少GPU显存。
2. 这个项目多少GPU显存是最顺畅的。
3. 目前我的显卡是4070 12G显存，如果要跑，是否有哪个地方可以尝试设置参数呢。

求教!感谢。

[PeterH0323]

感谢您的关注，关于您提出的问题，我的解答是：

1. 训练用的是 A100， 80G， bs = 16
2. 我的 repo 目前部署在A10，用了 24G ，可以去体验下：https://openxlab.org.cn/apps/detail/HinGwenWong/Streamer-Sales
3. 部署在 12G 显存的话，试下将这个下面代码的 cache_max_entry_count 由 0.4 改为 0.1 试下

Streamer-Sales/utils/infer/lmdeploy_infer.py

Line 36 in f2bbcd0

backend_config = TurbomindEngineConfig(model_format=model_format, session_len=32768, cache_max_entry_count=0.4)