开发者让Qwen3.5-9B在PS4上离线运行
开源项目garlic-llm让Qwen3.5-9B在未改动的PS4 GPU上离线运行,速度31–39 tok/s。借助模型自带MTP头做投机解码,速度从22 tok/s提升;权重重新打包为4位和3位格式,占用约4.5 GiB。
Qwen3.5-9B 是阿里巴巴 Qwen 系列的一个 90 亿参数开源模型,近期社区和厂商多次以它为底座做二次开发。微软基于它推出决策打分模型 Decision-1,用于路由、分类与验证;开发者还用它微调出决策模型 Bev 与 Jeeves,另有 garlic-llm 项目在改装 PS4 上以 4-bit 和 3-bit 量化离线运行该模型,速度约 31–39 tok/s。
开源项目garlic-llm让Qwen3.5-9B在未改动的PS4 GPU上离线运行,速度31–39 tok/s。借助模型自带MTP头做投机解码,速度从22 tok/s提升;权重重新打包为4位和3位格式,占用约4.5 GiB。
微软发布Decision-1,基于阿里Qwen3.5-9B构建,专为对固定选项进行概率评分而设计,不生成开放式文本。该模型已通过Microsoft Foundry和OpenRouter提供,适用于路由、分类等场景。
微软推出决策评分模型Microsoft-Decision-1,用于路由、分类、优先级排序与验证,已在Microsoft Foundry上线并即将登陆OpenRouter。微软称其在36项基准测试中准确率最高,速度是第二名Quyet-1.0-Large的4.5倍、GPT-6 Sol的35倍,基于Qwen3.5-9B后训练。
开发者基于Qwen3.5-9B微调出决策模型Bev,在324个留存决策中答对率仅1.9%,平均置信度96%。该模型作为“控制案例”,用于检验自动化流程是否真正监测模型置信度与正确性。
一篇新论文提出上下文语言模型(CLM),把上下文当作文件让模型自主管理,零样本即超越现有上下文管理策略:BrowseComp-Plus准确率高11.4%且FLOPs少21.5%,EdgeBench和24小时多仓库任务同样更省算力。配套的在线强化学习与Suffix Cache Reuse服务方案进一步降低计算开销。
开发者发布Jeeves,一个基于Qwen3.5-9B的Jev类决策模型,采用LoRA、指针头和CISPO训练,并配备块4扩散草稿器。它在未见过的测试数据上准确率0.889,超过Kev-9B的0.822和Jev的0.857,在JevBench公开难题上达0.935;单张H100上不思考约0.3秒/请求,思考中位耗时3.3秒,代码、权重与数据均已开源。