JevBench

3 篇报道

JevBench 是一个面向类型化决策模型的可复现基准,衡量准确率、延迟和成本,包含 534 个英文决策且权重可配置。近期报道显示 Jev 以 74.4 分领先,其后是 SemIf、djev、Winnow-12B Q8 和 reflex 4B;开发者还发布了基于 Qwen3.5-9B 的 Jeeves 模型,在未见测试数据上得 0.889,在 JevBench 公开 hard 档上得 0.935。

相关话题

Jeeves:推理增强Jev类决策模型发布

开发者发布Jeeves,一个基于Qwen3.5-9B的Jev类决策模型,采用LoRA、指针头和CISPO训练,并配备块4扩散草稿器。它在未见过的测试数据上准确率0.889,超过Kev-9B的0.822和Jev的0.857,在JevBench公开难题上达0.935;单张H100上不思考约0.3秒/请求,思考中位耗时3.3秒,代码、权重与数据均已开源。

Hacker News ·

JevBench

用于评估类型化决策模型的基准,衡量准确率、延迟和成本。

▲ 26 · Show HN · 1 评论 ·
已经到底了