几个关于paper的细节问题

[lck1201]

请问一下：
Q1、GRPO是在chunk-level还是轨迹level做的？如果是chunk-level，chunk-size有做过ablation实验吗？

Q2、假设group number=N，在rollout时，按任务顺序对每一个S都做N次采样吗？

举例而言，从S0开始，采样N个action，分别执行，到达N个S1，对于N个S1，分别再各自采样N组action，到达N^2个 S2，直到结束

这个理解正确吗？

[lck1201]

在这个one-trajectory sft里，RL也是用one trajectory吗？与Full-Trajectory SFT的setting相比，RL部分有啥区别？

再有一个问题是，对比table5和table7，这两个实验结果是不是有点矛盾？

table5讲的是：一条轨迹SFT后的模型基础能力差，但RL能把它提上来，甚至比全量SFT更好。

table7讲的是：SFT的基础模型能力越强，RL提升越大。如果基础模型能力不行，RL作用也有限。

[lck1201]

对于成功轨迹，每个action token的reward都是1，那么计算R_i时，会累加这些reward吗？例如 有 L个action token 的成功轨迹，其reward是L？