显存不够

[whwususu]

显卡是3090，报显存不够， 那么export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:设置为多少比较合适，改了几个数值，依旧报显存不够。谢谢！

[guihonghao]

你好，建议增加 --bits 4 参数进行量化

[whwususu]

你好，建议增加 --bits 4 参数进行量化

在哪个文件更改啊，我现在没有进行微调，只是用这个模型去进行提取，就报了这个错误，谢谢！

[guihonghao]

你已经进行了4bits量化，建议减小输入长度 max_length=1024, max_new_tokens=512

[whwususu]

你已经进行了4bits量化，建议减小输入长度 max_length=1024, max_new_tokens=512

已经启动起来了，感谢！



怎么抽也只能抽取到第一条，是我问的方式不对吗？

[guihonghao]

我们训练集中文本长度偏短，因此建议实际使用中不要使用过长的文本进行抽取。

[whwususu]

我们训练集中文本长度偏短，因此建议实际使用中不要使用过长的文本进行抽取。

没办法啊，都是一篇一篇文档过来。我是做了下测试。后面如果真的需要用，那可能真的需要学习了。

[zxlzr]

您可以暂时对文档进行划窗口来进行抽取，跑多次抽取模型

[whwususu]

您可以暂时对文档进行划窗口来进行抽取，跑多次抽取模型

那上下文变化，准确度应该会下降。然后能不能直接读pdf之类，我现在是通过程序读取的pdf，转为了string

[guihonghao]

当前阶段的模型可能还无法很好的处理文档级的抽取，我们将在下一个版本的模型中加强这方面的能力。

[whwususu]

当前阶段的模型可能还无法很好的处理文档级的抽取，我们将在下一个版本的模型中加强这方面的能力。

期待中

[gangqing]

@whwususu 请问你是怎么解决的？我也是报这个错，减小了输入输出长度也还是报错。