答案是：没有treat or trick这种说法是错误的，只有trick or treat。 trick or treat 读音：英 [trik ɔ: Tri:t] 美 [trɪk ɔr trit] 释义：不请吃就捣蛋。 用法：万圣节孩子们挨家逐户要糖果等礼物，如不遂. 5.overlong reward shaping 在原始的奖励函数上增加一个关于长度的奖励，从而避免过长后截断导致模型无法得到奖励的情形。 总结来说，dapo其实是对grpo中存在的一些问题作出改进.
Scary Makeup Ideas
这的确是个有用的trick 有篇论文叫《torch.manual_seed (3407) is all you need》 你可能觉得挺扯，我也觉得 但我试了把原来的随机种子换成3407，模型的收敛速度的确更快.
