用checkpoint-11600跑部分问题(目测10-20%的问题)有奇怪的无限循环

[Tongcheng]

如果你遇到问题需要我们帮助，你可以从以下角度描述你的信息，以便于我们可以理解或者复现你的错误（学会如何提问不仅是能帮助我们理解你，也是一个自查的过程）：
1、你使用了哪个脚本、使用的什么命令

scripts/generate.sh 生成UI之后对UI 提问.

2、你的参数是什么（脚本参数、命令参数）

脚本参数:
TOT_CUDA="0"

CUDA_VISIBLE_DEVICES=${TOT_CUDA} python generate.py
--model_path "yahma/llama-7b-hf"
--lora_path "/home/ubuntu/Chinese-Vicuna/lora-Vicuna-11600/"
--use_local 0
--use_typewriter 1

命令参数:
UI的input -

3、你是否修改过我们的代码

没修改.

4、你用的哪个数据集

自己在UI的提问. 直接用checkpoint-11600的LoRA 来推断. 这个LoRA checkpoint - https://huggingface.co/Chinese-Vicuna/Chinese-Vicuna-lora-7b-belle-and-guanaco-11600

如果上面都是保持原样的，你可以描述“我用的哪个脚本、命令，跑了哪个任务，然后其他参数、数据都和你们一致”，便于我们平行地理解你们的问题。

然后你可以从环境的角度描述你的问题，这些问题我们在readme已经相关的问题及解决可能会有描述：
1、哪个操作系统 - linux/ubuntu系统
2、使用的什么显卡、多少张 - A6000显卡 一张
3、python的版本 - Python 3.10.11
4、python各种库的版本
pip list

Package Version

---

absl-py 1.4.0
accelerate 0.15.0
aiofiles 23.1.0
aiohttp 3.8.4
aiosignal 1.3.1
altair 5.0.1
anyio 3.7.0
appdirs 1.4.4
argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0
arrow 1.2.3
asttokens 2.0.5
astunparse 1.6.3
async-lru 2.0.2
async-timeout 4.0.2
attrs 23.1.0
Babel 2.12.1
backcall 0.2.0
bash_kernel 0.9.0
beautifulsoup4 4.12.2
bitsandbytes 0.37.0
black 23.3.0
bleach 6.0.0
boltons 23.0.0
boto3 1.26.165
botocore 1.29.165
brotlipy 0.7.0
cachetools 5.3.1
certifi 2023.5.7
cffi 1.15.1
chardet 4.0.0
charset-normalizer 2.0.4
click 8.1.3
cmake 3.26.4
comm 0.1.3
conda 23.3.1
conda-build 3.24.0
conda-content-trust 0.1.3
conda-package-handling 2.0.2
conda_package_streaming 0.7.0
contourpy 1.1.0
cryptography 39.0.1
cycler 0.11.0
datasets 2.8.0
debugpy 1.6.7
decorator 5.1.1
deepspeed 0.8.3
defusedxml 0.7.1
dill 0.3.6
dnspython 2.3.0
docker-pycreds 0.4.0
einops 0.6.1
evaluate 0.4.0
exceptiongroup 1.1.1
executing 0.8.3
expecttest 0.1.4
fairscale 0.4.13
fastapi 0.99.1
fastjsonschema 2.17.1
ffmpy 0.3.0
filelock 3.9.0
fire 0.5.0
fonttools 4.40.0
fqdn 1.5.1
frozenlist 1.3.3
fsspec 2023.6.0
gitdb 4.0.10
GitPython 3.1.31
glob2 0.7
gmpy2 2.1.2
google-auth 2.21.0
google-auth-oauthlib 0.4.6
gradio 3.20.0
gradio_client 0.2.7
grpcio 1.51.3
h11 0.14.0
hjson 3.1.0
httpcore 0.17.2
httpx 0.24.1
huggingface-hub 0.13.3
hypothesis 6.75.2
idna 3.4
iniconfig 2.0.0
ipykernel 6.23.1
ipython 8.12.0
ipython-genutils 0.2.0
ipywidgets 8.0.6
isoduration 20.11.0
jedi 0.18.1
Jinja2 3.1.2
jmespath 1.0.1
json5 0.9.14
jsonpatch 1.32
jsonpointer 2.1
jsonschema 4.17.3
jupyter 1.0.0
jupyter-archive 3.3.4
jupyter_client 8.2.0
jupyter-console 6.6.3
jupyter-contrib-core 0.4.2
jupyter-contrib-nbextensions 0.7.0
jupyter_core 5.3.0
jupyter-events 0.6.3
jupyter-highlight-selected-word 0.2.0
jupyter-http-over-ws 0.0.8
jupyter-lsp 2.2.0
jupyter-nbextensions-configurator 0.6.3
jupyter_server 2.6.0
jupyter_server_terminals 0.4.4
jupyterlab 4.0.2
jupyterlab-pygments 0.2.2
jupyterlab_server 2.22.1
jupyterlab-widgets 3.0.7
kiwisolver 1.4.4
libarchive-c 2.9
linkify-it-py 2.0.2
lit 16.0.6
loralib 0.1.1
lxml 4.9.2
Markdown 3.4.3
markdown-it-py 2.2.0
MarkupSafe 2.1.1
matplotlib 3.7.1
matplotlib-inline 0.1.6
mdit-py-plugins 0.3.3
mdurl 0.1.2
mistune 2.0.5
mkl-fft 1.3.6
mkl-random 1.2.2
mkl-service 2.4.0
mpmath 1.3.0
msgpack 1.0.5
multidict 6.0.4
multiprocess 0.70.14
mypy-extensions 1.0.0
nbclassic 1.0.0
nbclient 0.8.0
nbconvert 7.4.0
nbformat 5.9.0
nbzip 0.1.0
nest-asyncio 1.5.6
networkx 3.1
ninja 1.11.1
notebook 6.5.4
notebook_shim 0.2.3
numpy 1.24.3
nvidia-cublas-cu11 11.10.3.66
nvidia-cuda-nvrtc-cu11 11.7.99
nvidia-cuda-runtime-cu11 11.7.99
nvidia-cudnn-cu11 8.5.0.96
nvidia-ml-py 11.525.131
nvitop 1.0.0
oauthlib 3.2.2
openai 0.27.8
orjson 3.9.1
overrides 7.3.1
packaging 23.0
pandas 2.0.3
pandocfilters 1.5.0
parso 0.8.3
pathspec 0.11.1
pathtools 0.1.2
peft 0.3.0.dev0
pexpect 4.8.0
pickleshare 0.7.5
Pillow 9.4.0
pip 23.0.1
pkginfo 1.9.6
platformdirs 3.5.3
pluggy 1.0.0
prometheus-client 0.17.0
prompt-toolkit 3.0.36
protobuf 4.23.3
psutil 5.9.0
ptyprocess 0.7.0
pure-eval 0.2.2
py-cpuinfo 9.0.0
pyarrow 12.0.1
pyasn1 0.5.0
pyasn1-modules 0.3.0
pycosat 0.6.4
pycparser 2.21
pycryptodome 3.18.0
pydantic 1.10.10
pydub 0.25.1
Pygments 2.15.1
pyOpenSSL 23.0.0
pyparsing 3.1.0
pyrsistent 0.19.3
PySocks 1.7.1
pytest 7.3.2
python-dateutil 2.8.2
python-etcd 0.4.5
python-json-logger 2.0.7
python-multipart 0.0.6
pytz 2022.7
PyYAML 6.0
pyzmq 25.1.0
qtconsole 5.4.3
QtPy 2.3.1
ray 2.5.1
regex 2023.6.3
requests 2.29.0
requests-oauthlib 1.3.1
responses 0.18.0
rfc3339-validator 0.1.4
rfc3986-validator 0.1.1
rich 13.4.2
rsa 4.9
ruamel.yaml 0.17.21
ruamel.yaml.clib 0.2.6
s3transfer 0.6.1
safetensors 0.3.1
scipy 1.11.1
semantic-version 2.10.0
Send2Trash 1.8.2
sentencepiece 0.1.96
sentry-sdk 1.26.0
setproctitle 1.3.2
setuptools 65.6.3
six 1.16.0
smmap 5.0.0
sniffio 1.3.0
sortedcontainers 2.4.0
soupsieve 2.4
stack-data 0.2.0
starlette 0.27.0
sympy 1.12
tabulate 0.9.0
tensorboard 2.12.0
tensorboard-data-server 0.7.1
tensorboard-plugin-wit 1.8.1
termcolor 2.3.0
terminado 0.17.1
texttable 1.6.7
tinycss2 1.2.1
tokenize-rt 5.1.0
tokenizers 0.13.2
tomli 2.0.1
toolz 0.12.0
torch 1.13.1
torchaudio 2.0.2
torchdata 0.6.1
torchelastic 0.2.2
torchtext 0.15.2
torchtyping 0.1.4
torchvision 0.14.1
tornado 6.3.2
tqdm 4.65.0
traitlets 5.7.1
transformers 4.28.0.dev0
triton 2.0.0
trlx 0.3.0
typeguard 4.0.0
types-dataclasses 0.6.6
typing_extensions 4.5.0
tzdata 2023.3
uc-micro-py 1.0.2
uri-template 1.2.0
urllib3 1.26.15
uvicorn 0.22.0
wandb 0.13.10
wcwidth 0.2.5
webcolors 1.13
webencodings 0.5.1
websocket-client 1.5.3
websockets 11.0.3
Werkzeug 2.3.6
wheel 0.38.4
widgetsnbextension 4.0.7
xxhash 3.2.0
yarl 1.9.2
zstandard 0.19.0

出问题的例子: 注意output某种奇怪的无限循环.

[Facico]

遇不到eos？你的tokenizer是对的吗，可以用这个脚本测一下