TacticExpert:

时空数据下篮球战术延迟效应的GraphGPT预测模型

TacticExpert是对篮球进攻战术进行细粒度时空建模，并使用多模态大模型做下游任务的篮球领域垂直大模型，是Graph+LLM在篮球领域的应用，使用的是Node Level上的对齐技术

• 擅长富文本节点分类任务
• 在链接任务上和传统图表征学习模型差不多
• 在图任务上大概在0.42-0.44左右，动量扰动之后能到0.48
• 泛化能力比传统小模型好，可以处理任意的输入图，例如不同的球队
• 可以做open-end的下游任务

Environments

• python 3.9
• pytorch-2.1.0
• transformers-4.34.0

Example to run the codes

python3.9 ./tacticexpert/eval/run.py --model-name ${output_model}  --prompting_file ${datapath} --st_graph_data_path ${graph_data_path} --output_res_path ${res_path} --start_id ${start_id} --end_id ${end_id} --num_gpus ${num_gpus}

实验心得

• 前期encoder编码的embedding是否存在scaling law，现有的对齐技术对编码嵌入其实并不敏感，外加In-context Learning弥补了embedding里损失的信息，应该在后面大模型上多做一些工作
• 虽然线性层很大程度上解决了空间对齐问题，但发现不像LLaVa，图上如果用更细致的映射器可以更细粒度地像大模型传递embedding里的编码信息，可以尝试MoE加在映射器里，或用双塔对齐技术
• 至于Graph+LLM，感觉侧重怎么用Graph来提高LM能力（包括视觉大模型和大语言模型），如GraphRAG、GraphCOT、LangAgent，比想怎么让LM提高图学习要有希望
• 可能可以试下把带有encoder的大模型抽出来，在LM embedding层上加Transformer，然后去训这个Transformer参数. 直接舍弃encoder，把大模型作为PLM直接用