clem 🤗 @ClementDelangue

我们把 Claude Code、Codex、Hermes、Pi、@opencode 和其他编码工具变成了 RL 环境。无需更改工具，无需更改训练代码。任何开放模型，任何任务集，完全开源，朋友们！ 同一个模型，同样的权重：在 Mini-SWE-Agent 下为 62%，在 Claude Code 下为 33%。但在真实工具中训练通常意味着将其重新实现为环境，因此大多数模型是在没人实际部署的脚手架中训练的。 修复方法是代理，而不是重写。工具以为它在与模型 API 对话。它实际上在与一个捕获代理对话，该代理支持编码代理使用的 4 种格式（OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini），转发到 @vllm_project，记录 vLLM 采样的精确 token ID 和 logprobs，并将 TRL 序列交给它可以训练。工具变成了环境。今天有 10 个工具通过它运行，没有一个被修改。 而且因为你可以控制奖励，你可以塑造工具从未要求的行为。我们添加了一个小奖励，鼓励用更少的工具调用解决任务：在已经解决的任务上，模型现在使用的调用减少了 31%，在每个工具中，Codex 下减少约一半。 在来自 @liquid… 的 LFM2.5-2.6B 上测试