如何对数据集的训练集进行推理？

[huangkr03]

工具默认都是为测试集进行推理，如何让他对训练集进行推理？例如 gsm8k 或者 mbpp（另外我似乎发现 mbpp 没有 load 训练集的数据，只有测试集的500个？）我试着在datasets的配置中加入 split="train" 参数，但是会报错，如下格式

datasets = [
    dict(
        abbr='gsm8k',
        type=GSM8KDataset,
        path='opencompass/gsm8k',
        reader_cfg=gsm8k_reader_cfg,
        infer_cfg=gsm8k_infer_cfg,
        eval_cfg=gsm8k_eval_cfg,
        split='train'
    )
]

[Redias]

type=GSM8KDataset 就是这个数据集加载的定义位置，你跳转到GSM8KDataset的定义里，修改load()函数就可以自定义数据集加载操作了，load()函数的参数就是type=GSM8KDataset这个dict里的其他变量。这个类的load()方法默认不含有split参数，你加了肯定报错