mmlu benchmark 无法复现根据当前代码

[chunniunai220ml]

System Info / 系統信息

vLLM Version: 0.5.0.post1
[pip3] numpy==1.26.4
[pip3] nvidia-nccl-cu11==2.19.3
[pip3] nvidia-nccl-cu12==2.20.5
[pip3] pytorch-triton-rocm==2.2.0
[pip3] sentence-transformers==3.0.1
[pip3] torch==2.3.0
[pip3] torchaudio==2.2.1+cu118
[pip3] torchvision==0.18.0
[pip3] transformers==4.40.0
[pip3] triton==2.3.0
[conda] intel-extension-for-pytorch 2.2.0 pypi_0 pypi
[conda] numpy 1.26.4 pypi_0 pypi
[conda] nvidia-nccl-cu11 2.19.3 pypi_0 pypi
[conda] nvidia-nccl-cu12 2.20.5 pypi_0 pypi
[conda] pytorch-triton-rocm 2.2.0 pypi_0 pypi
[conda] sentence-transformers 3.0.1 pypi_0 pypi
[conda] torch 2.3.0 pypi_0 pypi
[conda] torchaudio 2.2.1+cu118 pypi_0 pypi
[conda] torchvision 0.18.0 pypi_0 pypi
[conda] transformers 4.40.0 pypi_0 pypi
[conda] triton 2.3.0 pypi_0 pypi

python==3.10
Tesla-V100

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

根据最新的代码，和openai : https://github.com/openai/simple-evals， 以及https://github.com/THUDM/GLM-4/blob/main/basic_demo/README.md，
mmlu只有45.4, 与 report GLM-4-9B-Chat=72.4, 差距很大， 由于硬件限制，单卡，model_dtype=fp16

在A100上测试，4卡， mmlu =45.7, model_dtype=bf16

Expected behavior / 期待表现

复现精度细节， 或者直接给出复现代码

[zRzRzRzRzRzRzR]

我们的测试在bf16部署，simple evals测试，没有额外的加入系统提示词

单卡载入一个完整的模型 BF16，sequence-length 设置长一点试试吗，这个看上去没有回答完？

[chunniunai220ml]

A100, BF16, seqlen=8192, mmlu=68.24
sever端的process message 获取的文本格式, 跟HF不一致，有影响吗？ 或者说以那个为准

inputs = tokenizer.apply_chat_template([{"role": "user", "content": query}],
add_generation_prompt=True,
tokenize=True,
return_tensors="pt",
return_dict=True
)
gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 1}

[zRzRzRzRzRzRzR]

以hf为准，server没有tokenize是因为要传入给vLLM，要用hf调用的方式，trans_cli_demo这个文件

[chunniunai220ml]

params_dict = {
"n": 1,
"best_of": 1,
"presence_penalty": 1.0,
"frequency_penalty": 0.0,
"temperature": temperature,
"top_p": top_p,
"top_k": -1,
"repetition_penalty": repetition_penalty,
"use_beam_search": False,
"length_penalty": 1,
"early_stopping": False,
"stop_token_ids": [151329, 151336, 151338],
"ignore_eos": False,
"max_tokens": max_new_tokens,
"logprobs": None,
"prompt_logprobs": None,
"skip_special_tokens": True,
sever里的这些参数是不是都不要改，能复现？ client 请求，参考了request.py, 里面传输的client参数有啥需要注意的吗？

[zRzRzRzRzRzRzR]

repetition_penalty是1
其他应该都不用管，不锁我们server是vLLM的我们自己测跑分是transformers的

[chunniunai220ml]

你的意思是，你们report benchmark 用的基于transformers的，我应该参考trans_cli_demo这个文件， vllm你们有测试的结果，我想看看能不能对齐，repetition_penalty=1, seqlen=8192, got mmlu=0.7124 ,比较接近你们report benchmark
打印process_message的时候， 发现tools添加了额外的信息，这个对benchmark有影响吗？ copy的request.py,里面tools:
self.tools= [
{
"type": "function",
"function": {
"name": "get_current_weather",
"description": "Get the current weather",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "The city and state, e.g. San Francisco, CA",
},
"format": {
"type": "string",
"enum": ["celsius", "fahrenheit"],
"description": "The temperature unit to use. Infer this from the users location.",
},
},
"required": ["location", "format"],
},
}
},
]

还有"top_p": top_p,，设置多少合适？ server.py里面"top_k": -1,， hf给的gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 1}

[zRzRzRzRzRzRzR]

top_k 是 1 top_p 0.8 tools不要加入任何内容，这会影响构建提示词

[chunniunai220ml]

{'n': 1, 'best_of': 1, 'presence_penalty': 1.0, 'frequency_penalty': 0.0, 'temperature': 0.6, 'top_p': 0.8, 'top_k': 1, 'repetition_penalty': 1.0, 'use_beam_search': False, 'length_penalty': 1, 'early_stopping': False, 'stop_token_ids': [151329, 151336, 151338], 'ignore_eos': False, 'max_tokens':2500, 'logprobs': None, 'prompt_logprobs': None, 'skip_special_tokens': True}

根据你给的信息，这种配置，got mmlu= 0.7232 , 接近report 72.4了，有这点儿精度差异正常吗？ 后者还有那个里可以适当改一下？ tools=[]了

[zRzRzRzRzRzRzR]

这个精度可以接受， tools 只要不带有内容我们构造提示词都不会涉及到function call的，就不会影响跑分

[chunniunai220ml]

还有个问题， 就是openai的simples-eval， 只取了2500samples，从他提供的mmlu.csv里面, 你们report的测评也是吗？每次test的结果现在不一致了

[zRzRzRzRzRzRzR]

你是 说这个嘛 ttps://github.com/openai/simple-evals/blob/294cb1fb18f7aed4e21dc567350b0761a9e6f699/mmlu_eval.py

simples-eval是有prompt的，没有加入别的提示词语，这个跑分误差有多大

[chunniunai220ml]

ttps://github.com/openai/simple-evals/blob/294cb1fb18f7aed4e21dc567350b0761a9e6f699/mmlu_eval.py

是的， 你是指
prompt_messages = [ sampler._pack_message(content=format_multichoice_question(row), role="user") ]
这句话吗？ 我检查过， 输入没有问题额外添加提示词，
def _pack_message(self, role: str, content: Any): return {"role": str(role), "content": content}