Tencent Hy @TencentHunyuan

⚡️ 随着LLM强化学习扩展到更大的GPU集群和更多训练数据，训练效率成为首要关注点。 我们的新研究重新审视了经典临界批量大小理论，并将其扩展到在线LLM强化学习，其中模型生成自己的训练数据，且推出生成和训练规模以不同方式扩展。 在GRPO和PPO中，我们发现学习率重新调整可以在有界的批量大小范围内保持每个响应的学习。 在固定硬件上，扩大批量大小将PPO生成阶段吞吐量提高最多2.29倍，而我们最佳测量的GRPO配置在减少29%的时间内达到相同的验证目标。🚀 阅读完整研究： https://t.co/fohJP7qVKq