Jeeves:推理增强Jev类决策模型发布
开发者发布Jeeves,一个基于Qwen3.5-9B的Jev类决策模型,采用LoRA、指针头和CISPO训练,并配备块4扩散草稿器。它在未见过的测试数据上准确率0.889,超过Kev-9B的0.822和Jev的0.857,在JevBench公开难题上达0.935;单张H100上不思考约0.3秒/请求,思考中位耗时3.3秒,代码、权重与数据均已开源。
JevBench 是一个面向类型化决策模型的可复现基准,衡量准确率、延迟和成本,包含 534 个英文决策且权重可配置。近期报道显示 Jev 以 74.4 分领先,其后是 SemIf、djev、Winnow-12B Q8 和 reflex 4B;开发者还发布了基于 Qwen3.5-9B 的 Jeeves 模型,在未见测试数据上得 0.889,在 JevBench 公开 hard 档上得 0.935。
开发者发布Jeeves,一个基于Qwen3.5-9B的Jev类决策模型,采用LoRA、指针头和CISPO训练,并配备块4扩散草稿器。它在未见过的测试数据上准确率0.889,超过Kev-9B的0.822和Jev的0.857,在JevBench公开难题上达0.935;单张H100上不思考约0.3秒/请求,思考中位耗时3.3秒,代码、权重与数据均已开源。
用于评估类型化决策模型的基准,衡量准确率、延迟和成本。
开发者推出JevBench,这是面向返回有界选择与概率的类型化决策模型的可复现基准,单次运行含534个英文决策,按准确率、延迟和价格加权评分。当前榜首为Jev(74.4),其后是SemIf、djev、Winnow-12B Q8和reflex 4B。