研究:嵌入加简单分类器优于Jev决策模型
Voyage AI员工发帖称,在有标注数据的常见场景中,先用嵌入模型编码输入、再用sklearn简单模型分类,比Jev决策模型成本更低且准确率显著更高,错误率降低37%。作者指出这一优势来自训练标签,Jev不使用标签,因此无标签场景下未必如此。
Jev 是 TypeSafe AI 推出的轻量级决策模型,由一位 ChatGPT 共同发明者参与打造,于 2026 年 9 月 15 日限量发布,其输出被约束为可直接运行,并宣称不会产生幻觉。近期报道包括:Vercel 数据显示 Jev 在发布两周内被 35% 的付费团队采用;TypeSafe AI 获 Andreessen Horowitz 领投约 8.7 亿美元融资,估值 75 亿美元;Cloudflare 推出 Clef 与 Clairic 与之竞争,社区也发布了 Decision 3.0、Vega、PolicyLM-1.7B 等模型,并有评测指出嵌入模型加简单分类器在标注数据充足时优于 Jev。
Voyage AI员工发帖称,在有标注数据的常见场景中,先用嵌入模型编码输入、再用sklearn简单模型分类,比Jev决策模型成本更低且准确率显著更高,错误率降低37%。作者指出这一优势来自训练标签,Jev不使用标签,因此无标签场景下未必如此。
开发者Jose Sabater围绕TypeSafe新视觉模型Jev制作了图片问答游戏Jev Cards,模型约四分之一秒即可读图作答。该游戏提供单人排行榜和多人对战模式,代码已开源。
Cloudflare在Workers AI上以@cf/cloudflare/clairic托管推出Clairic预览版,称其在从非结构化输入抽取、估算和预测数值时,准确率、延迟和成本均优于传统LLM。该模型属于受TypeSafe的Jev启发而出现的System One抽取模型类别,Cloudflare计划不久后开放权重。
一位开发者在Hugging Face Spaces上线了名为Herbert的模型演示,称其表现优于Jev,并公开征集关于缺陷和改进方向的反馈。该帖子未披露模型规模、基准测试结果或训练细节。
Vercel的AI网关数据显示,TypeSafe AI的轻量决策模型Jev发布两周内被35%的付费团队使用,覆盖面接近第二热门模型Sonnet 5.5的两倍,成为该平台记录中采用最快的模型。Jev于9月15日限量发布,通过限定输出选项实现更便宜更快的分类任务,已带动OpenAI、Amazon推出竞品。数据同时显示开源模型占网关处理token超70%,但仅占支出近25%。
vLLM Semantic Router 团队发布 Decision 3.0(d3)系列,参数从0.6B到27B,采用Apache-2.0许可,支持文本、图像和视频。在 Jev 决策指数两个榜单上均排名第一。
LocalLLaMA社区用户发帖询问,在本地运行Jev类决策模型的实际用例有哪些。该用户目前仅用于深度评估测试,认为这类模型有些像“先有方案再找问题”,希望了解其他人的常见用法。
开发者开源了Vega,一个基于物理的typed decision模型,仅8亿参数(另有4B版本),支持73k上下文和图像输入,单次测试中超越多项Jev基准。其采用引擎加适配器的测试时训练架构,通过将结果视为谷地、让球受摩擦力影响滑落至最佳结果来决策。
Jev模型开发商TypeSafe AI完成约8.7亿美元融资,由Andreessen Horowitz领投,估值达75亿美元。Jev发布数周即走红,数日内用户破百万,目前约三分之一的《财富》500强公司在使用。
Musubi推出1.7B参数的开源权重决策模型PolicyLM-1.7B,可将自然语言内容政策应用于消息审核,响应时间低于50毫秒,且政策变更后无需重新训练。该模型面向社交平台实时内容审核,成本与速度接近现有分类器,但具备现代LLM的灵活性。
TypeSafe AI推出由ChatGPT共同发明人打造的Jev推理模型,宣称不会产生幻觉。作者用16,379次基准请求实测其延迟与计费,发现它规模较小、定位低调,但在特定任务上确有实用价值。
Cloudflare推出Clef和Clef-flash,挑战TypeSafe AI的Jev决策模型。Clef-flash约39毫秒完成分类,速度是Jev的十倍以上。两个模型均基于Apache 2.0许可的Qwen构建,可让AI代理在不生成文本的情况下做出结构化决策。
测试显示OpenAI新Decisions API背后的GPT-6 Luna模型置信度严重失准:在3600道推理题中,其声称99%确信时实际正确率仅68%,凸显AI置信度校准问题。
OpenAI在Dev Day上由Sam Altman介绍新的Decisions API,可为Luna模型预设选项进行分类或代理行为选择,从而大幅提速并保留图像理解与安全能力。该产品与TypeSafe AI本月发布的Jev功能相似,后者已帮助开发者以更低成本、更高速度增强LLM。OpenAI目前仅限有限预览。
开发者发布Jeeves,一个基于Qwen3.5-9B的Jev类决策模型,采用LoRA、指针头和CISPO训练,并配备块4扩散草稿器。它在未见过的测试数据上准确率0.889,超过Kev-9B的0.822和Jev的0.857,在JevBench公开难题上达0.935;单张H100上不思考约0.3秒/请求,思考中位耗时3.3秒,代码、权重与数据均已开源。
Sebastian Raschka发表视觉指南文章,梳理从词袋、RNN、CNN、Transformer到Jev式API与校准的文本分类技术演进,认为近期发布的Jev模型本质是分类器,但比通用大模型更快更便宜、比专用分类器更通用,文章不构成产品背书。
开源项目Jeff发布基于Qwen3.5和Gemma 4微调的0.8B/2B零样本决策模型,单次前向传播输出校准概率,无生成文本,在RTX PRO 6000上约22毫秒、M4 Max上约28毫秒;仅用本地硬件和开源模型生成数据训练,并在Hugging Face开放权重。
一项研究通过设计输入提示使首个输出token直接给出答案,从而让GLM-5.3-Flash等标准LLM在单次前向传播中完成决策,在vLLM上复现出类Jev特性。基准测试显示其准确率和速度与Jev相当,明显优于Laya,但单次决策成本仍高出Jev数倍;额外优势是支持视觉输入。
团队用362条新题对比Kev 4B(Qwen3.5-4B的Apache-2.0微调)与Jev,各任务准确率差距在2个百分点内。Jev在PAWS释义检测上以87.0%对74.5%领先,但每次请求多计约257个输入token,短请求成本最高可达12倍。
回答几个问题即可绘制你的AI世界观并与他人对比
一名开发者开源项目让Jev以实时方式玩宝可梦红,并通过直播展示token消耗和成本,目标通关全部徽章。该项目旨在测试AI在比俄罗斯方块更复杂游戏中的决策能力。
前OpenAI研究员打造的AI模型Jev走红,其发布视频在X上观看约4000万次。旧金山初创公司TypeSafe AI已收到投资者报价,估值超过100亿美元。
斯坦福与英伟达提出对比语言模型(CLM),并发布CLM-8B。该模型在计算机使用、游戏和工具调用任务上性能与Jev相当,延迟降低多达9倍,经微调后在DeepSWE和Terminal Bench 2.1上取得新SOTA,并建立了对比损失随计算量、模型和数据规模变化的幂律缩放规律。
有批评指出,Jev并非新型决策模型,其零样本分类能力早已存在于NLI分类器、嵌入模型和重排序器中,且不能自回归生成或输出无效类别。营销以LLM作对比凸显速度与成本优势,但未在BTZSC等零样本分类基准上充分测试;一项Banking77实验中BGE-small加逻辑回归达93.3%,Jev仅83.2%。所谓“零幻觉”仅保证输出符合允许的schema,并非防止选错答案。
r/LocalLLaMA用户发帖要求版主处理大量Jev推广帖,称Jev是付费产品并用风投资金在该版及其他subreddit进行刷屏式营销。
r/LocalLLaMA用户分享了一个名为Jev的项目,仅用25行Python代码实现,相关链接指向代码仓库。
Arcturus Labs文章认为,TypeSafe的Jev模型采用接近传统大语言模型的方法,OpenAI有望快速跟进复制该能力并融入自有模型与代理。关键因素在于TypeSafe能否凭借训练数据和流程建立护城河。
开发者推出JevBench,这是面向返回有界选择与概率的类型化决策模型的可复现基准,单次运行含534个英文决策,按准确率、延迟和价格加权评分。当前榜首为Jev(74.4),其后是SemIf、djev、Winnow-12B Q8和reflex 4B。
TypeSafe AI发布Jev,号称新型“System One”决策模型,输入文本后输出概率化数值而非文本。其定价仅按输入计费,每百万token 0.042美元,低于GPT-5 Nano的0.05美元。
Jev Benchmarks公布校准测试结果:其训练方法名为“面向校准决策的强化学习”,但校准差距大于Gemini 3.8 Flash、DeepSeek V4.1 Flash和GLM-5.3等模型。Jev保持95%准确率,在86%的是非题上独立决策,多于上述模型,呈现“校准更差、更知道自己何时正确”的特点。