AI代币成本骤降,或将廉价到无需计量
一篇分析文章指出,AI推理成本每年下降数个数量级,且未见放缓。作者预计一两年内大模型将成为各类计算的基础设施,3至6年内可在消费级硬件上本地运行前沿水平模型,限制因素将从代币数量转为质量与可及性。
Muse Glimmer 是一个可本地运行的对话模型。近期讨论中,r/LocalLLaMA 用户称其对话自然、不落套话,适合作为本地聊天模型;同一社区也有人称开源 k2 horizon 的 7B 与 3.7B 版本在更小规模上表现优于 Muse Glimmer,并就其实测效果展开讨论。
一篇分析文章指出,AI推理成本每年下降数个数量级,且未见放缓。作者预计一两年内大模型将成为各类计算的基础设施,3至6年内可在消费级硬件上本地运行前沿水平模型,限制因素将从代币数量转为质量与可及性。
在LocalLLaMA社区用户称Muse Glimmer表现出色,聊天自然、少有模板化回复,适合作为本地化对话模型的选择;用户同时在测试Qwen 3.8 27B用于编码。
Reddit 社区讨论 k2 horizon 系列模型,用户认为其 7B(及 3.7B)版本在性能上超越 muse glimmer 且开源全过程。帖子询问社区是否有人实测,称若表现属实可能成为新里程碑。