LocalLLaMA社区对开源模型排名与基准测试存分歧
一位r/LocalLLaMA用户发帖质疑社区主流观点,认为开源权重模型在Artificial-Analysis V5指数中被高估,GLM 5.3等社区宠儿模型并非Grok的对手,而Haiku 5.5实际能力强于deepseek-v4.1-flash-1017。该用户还主张ThreeJS不应作为通用能力基准,并认为Strata Dev只是按自己的目标推进项目。
Artificial Analysis 是一个汇总和发布 AI 模型基准测试与价格数据的独立评测平台,提供 Intelligence Index、速度、语音与图像等排行榜和免费 API。最近的报道多次引用它的榜单:ElevenLabs 的 Eleven Realtime 与 Eleven v4 在语音榜上被拿来比较,Microsoft AI 称 MAI-Transcribe-2-Streaming 在其转写准确率排名第一,GLM 5.3 Flash 登上 Cyber Index 首位,xAI 的 Grok 4.7 则只有 46 的 Intelligence Index 分数。
一位r/LocalLLaMA用户发帖质疑社区主流观点,认为开源权重模型在Artificial-Analysis V5指数中被高估,GLM 5.3等社区宠儿模型并非Grok的对手,而Haiku 5.5实际能力强于deepseek-v4.1-flash-1017。该用户还主张ThreeJS不应作为通用能力基准,并认为Strata Dev只是按自己的目标推进项目。
Mistral开放万亿参数模型Mistral Large 4的权重,主打网络安全自主可控。公司称其性能可比GLM-5.3,每任务少用47%的token,并在Artificial Analysis编码智能体榜上领先其他开源模型。
Artificial Analysis发布v5版智能指数,称排名更准确,但开源与闭源模型差距从3分扩大到12分。新指数60%依赖私有测试集或保留答案,结果无法复现,部分用户已质疑其准确性。
ElevenLabs推出Eleven Realtime系列语音对语音模型,主打低延迟实时对话。其v1 Max版本在Big Bench Audio基准测试中得分98.8%,响应时间0.57秒;公司称该模型在速度与准确率组合上优于Artificial Analysis榜单上的其他模型。
开源模型GLM 5.3 Flash在Artificial Analysis网络指数上排名第一,超越Anthropic的所有模型。榜单前两名均为开源模型,显示开源模型在网络安全能力上已具备竞争力。
微软AI推出MAI-Transcribe-2-Streaming实时转录模型,称其在Artificial Analysis准确率排名第一,支持60种语言,首次部分结果延迟约100毫秒,年底前优惠价为每小时音频0.54美元。同时发布MAI-Voice-2.1和MAI-Voice-2.1-Flash两款语音合成模型,支持23种语言同一音色,Flash延迟150毫秒,价格从每百万字符22美元降至15美元;模型可通过Microsoft Foundry、MAI Playground和OpenRouter使用。
Hugging Face推出Open TTS Leaderboard,用客观指标评估多语言文本转语音与语音克隆模型,以弥补现有竞技场式排行榜难以跟上开源模型发布速度的问题。截至2026年9月30日,平台已有超8000个TTS模型,但Artificial Analysis的92个模型中仅16个为开放权重。
ElevenLabs推出v4语音模型,能更准确地跟随笑声与耳语等提示,并在有声书等长篇制作中保持音色一致。其Turbo版本150毫秒即可开始说话,面向实时语音代理。在Artificial Analysis的Voice Arena榜单上,v4排名领先Cartesia和谷歌Gemini。
一个基于Artificial Analysis免费API每日抓取的页面,按3:1输入输出混合价格与智能指数绘制模型性价比前沿,提供每个价位段最高分模型及备选,并追踪每日新上榜、下榜及重新评分或调价的模型。
Inception发布Mercury 2.5,输出速度达770.4 tokens/秒,在Artificial Analysis速度排名第2。该模型智能指数为12,低于中位数13,但成本较低,输入每百万tokens $0.25,输出$0.75,缓存折扣90%。
蚂蚁集团开源Ming-Image-0.1-Design与Layer两个6B图像模型,并发布Ling UI设计技能和图片转可编辑PPT技能。该模型在Artificial Analysis的UI/UX设计榜单中位列开源权重模型第一。
xAI发布迄今最强模型Grok 4.7,价格低廉,但在Artificial Analysis智能指数上仅得46分,落后于各得53分的Claude Fable 5.1与GPT-6,在智能体编程方面差距更大。
xAI发布语音转写模型Grok Voice Transcribe 2.0,称其准确率是1.0的两倍且价格不变,在Artificial Analysis排行榜32个流式模型中准确率第一,并在电话客服、Grok对话、凭证朗读和多语言语音命令四组内部测试上全面优于1.0,支持数十种语言并自动检测。
r/LocalLLaMA 上的帖子为 Artificial Analysis 的聚合基准辩护,指出其方法与开销,并举例 Deepseek 与 Qwen、GPT-6 在不同子评测上的差异。