预训练模板错误

[tiandiweizun]

qwen2 继续预训练并不需要apply chat template，但是使用 DatasetName.ruozhiba （预训练数据集），其生成的内容如下：

[INFO:swift] [INPUT_IDS] [151644, 8948, 198, 2610, 525, 264, 10950, 17847, 13, 151645, 198, 151644, 872, 198, 151645, 198, 151644, 77091, 198, 100644, 99366, 99593, 35727, 104155, 107425, 115056, 3837, 104619, 117633, 115056, 105675, 3837, 104030, 71268, 36407, 106954, 99405, 100003, 3837, 3837, 151645]
[INFO:swift] [INPUT] <|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
<|im_end|>
<|im_start|>assistant
今天玩了一天植物大战僵尸，收获了好多僵尸大脑，晚上都来我家吃吧，，<|im_end|>
[INFO:swift] [LABLES_IDS] [-100, -100, -100, -100, -100, -100, -100, -100, -100, -100, -100, -100, -100, -100, -100, -100, -100, -100, -100, 100644, 99366, 99593, 35727, 104155, 107425, 115056, 3837, 104619, 117633, 115056, 105675, 3837, 104030, 71268, 36407, 106954, 99405, 100003, 3837, 3837, 151645]
[INFO:swift] [LABLES] [-100 * 19]今天玩了一天植物大战僵尸，收获了好多僵尸大脑，晚上都来我家吃吧，，<|im_end|>

应该使用以下模板： 今天玩了一天植物大战僵尸，收获了好多僵尸大脑，晚上都来我家吃吧，，<|endoftext|>

[tastelikefeet]

发一下完整运行参数

[tiandiweizun]

发一下完整运行参数

sft_args = SftArguments(
model_type=ModelType.qwen2_7b_instruct,
check_model_is_latest=True,
dataset=[f'{DatasetName.ruozhiba}#100'],
logging_steps=10,
use_loss_scale=True,
num_train_epochs=1,
max_new_tokens=2048,
learning_rate=5e-5,
per_device_train_batch_size=8,
dataloader_num_workers=0 if config_file.debug else 1,
warmup_ratio=0.2,
output_dir='output',
lora_target_modules=['ALL'],
)