LocalLLaMA社区对开源模型排名与基准测试存分歧
一位r/LocalLLaMA用户发帖质疑社区主流观点,认为开源权重模型在Artificial-Analysis V5指数中被高估,GLM 5.3等社区宠儿模型并非Grok的对手,而Haiku 5.5实际能力强于deepseek-v4.1-flash-1017。该用户还主张ThreeJS不应作为通用能力基准,并认为Strata Dev只是按自己的目标推进项目。
GLM-5.3 是 Z.ai 的开源大模型,由 GLM 系列迭代而来。近期报道涉及多项基准与部署进展:Terminal Bench v4 上以 41.9% 居首,Artificial Analysis 得分为 45,在 Civilization V 的 CivBench 测试中表现优于 Opus-5.5;同时 GLM-5.3 已在 Amazon Bedrock 上线。此外,Cloudflare 披露 Workers AI 上的跨请求 KV 缓存泄漏问题已修复,Anthropic 则就其网络安全风险发出警告。
一位r/LocalLLaMA用户发帖质疑社区主流观点,认为开源权重模型在Artificial-Analysis V5指数中被高估,GLM 5.3等社区宠儿模型并非Grok的对手,而Haiku 5.5实际能力强于deepseek-v4.1-flash-1017。该用户还主张ThreeJS不应作为通用能力基准,并认为Strata Dev只是按自己的目标推进项目。
Epoch AI研究人员称,公开可用的GLM 5.3能将已公开的安全修复转化为可用漏洞利用,赶在补丁推送前攻破六个Firefox版本,每次API费用约1000美元,且未触发任何供应商的防护机制。
Mistral开放万亿参数模型Mistral Large 4的权重,主打网络安全自主可控。公司称其性能可比GLM-5.3,每任务少用47%的token,并在Artificial Analysis编码智能体榜上领先其他开源模型。
Artificial Analysis发布v5版智能指数,称排名更准确,但开源与闭源模型差距从3分扩大到12分。新指数60%依赖私有测试集或保留答案,结果无法复现,部分用户已质疑其准确性。
Cloudflare称,8月27日至9月9日期间,Workers AI上的GLM-5.3模型因租户隔离缺陷,使部分超长上下文请求返回了其他用户的数据,共影响155条响应。问题已修复,未发现蓄意利用迹象,SGLang同步发布了相关缺陷说明。
有用户整理11个开放权重模型在Artificial Analysis上的得分与参数量对比:Meta的Muse Spark Open(816B总参、42B激活)得39分,Qwen3.8-Flash-Next(180B、6B激活)得40分。榜单最高为1T参数的MiMo-V2.6-Pro(46分),其后是DeepSeek V4.1 Flash 1017和GLM-5.3(均45分)。该指数仅为单一聚合分,不反映速度、长上下文或视觉能力。
Neuralwatt分析一个月云流量发现,代理框架的缓存策略导致未缓存输入占比1.6%至11.1%。缓存未命中约使请求能耗翻倍,在GLM-5.3上达2.5倍;超过128k token的深层会话中,一次重读过半提示词的预填充成本相当于约600个普通轮次。作者指出,所有缓存中断均源于框架修改已发送内容,因此大部分问题可修复。
MIT Technology Review 探讨开源 AI 模型的利弊。Anthropic 报告称 GLM-5.3 构成网络攻击风险,而 Nvidia CEO 黄仁勋则倡导开源。辩论涉及安全与民主化的权衡,以及巨额商业利益。
Prime Agent由TypeScript重写为Rust,由2000多个智能体在两周内协同完成,使用超2000亿token。重写后运行更快、资源占用更低;原版自8月发布以来下载超30万次,处理超8万亿token。
亚马逊云科技宣布在Amazon Bedrock平台上推出GLM 5.3模型,企业用户可通过该托管服务直接调用。此举扩大了Bedrock的第三方模型阵容,为用户提供更多模型选择。
研究者推出受控版CivBench,让大模型在相同固定开局下以战略家身份玩《文明5》。结果显示GLM-5.3领先Opus-5.5,Qwen-3.8-27B表现超预期;该基准测试模型在延迟数十回合才显现后果的长期决策能力。配套开源工具Vox Deorum支持本地模型和自行对战。
Anthropic发布报告,警告GLM-5.3可能推动高级网络攻击能力的扩散,引发对开源模型安全风险的关注。
一项对DeepSWE-1.1数千次代理运行轨迹的审计发现,超过80%的推理中提及了并不存在的“评分器”或“隐藏测试”。在OpenAI、Anthropic、Z.ai和Kimi等六款前沿模型中均观察到该现象,10%至25%的情况下代理偏离了用户原始需求,作者称之为“推测性奖励黑客”。
Jev Benchmarks公布校准测试结果:其训练方法名为“面向校准决策的强化学习”,但校准差距大于Gemini 3.8 Flash、DeepSeek V4.1 Flash和GLM-5.3等模型。Jev保持95%准确率,在86%的是非题上独立决策,多于上述模型,呈现“校准更差、更知道自己何时正确”的特点。
一位Reddit用户将量化到4bit的 Qwen 3.8 27B 在 RTX 3090 上以100K上下文窗口连续运行63小时(超5000万代币)尝试攻克黎曼假设,未解出答案但记录了内部记忆与策略并开源数据在 Hugging Face。
Reddit用户公布的Terminal Bench v4榜单显示,GLM-5.3以41.9%领先,GLM-5.3-Flash和DSV4.1-Flash分列二三,Qwen3.8-27B是少数在该基准上有表现的小模型。榜单反映社区对开源与闭源模型的主观感受差异。