A.I. 日报
开源项目Maya让单卡运行321B参数GLM-5.3-Flash
开源项目Maya可在单张NVIDIA GPU上本地运行3210亿参数的GLM-5.3-Flash，通过将专家权重分配至GPU、内存和SSD，实现30+ tokens/s；四张RTX 4090可达118 tokens/s，并保留原模型97.7%-99.2%的零样本准确率。
GLM-5.3-Flash
16 篇报道GLM-5.3-Flash 是一款开源大模型，参数量为 321B，并已被 llama.cpp 合并支持，可在个人电脑上本地运行。近期围绕它的讨论集中在本地推理效率上：Project Maya 用单张 GPU 配合专家分层跑到 30+ tokens/s，M5 Ultra 256 上达到 68.8 tok/s 解码，Kyojin 引擎则在 128GB 迷你主机上实现约 580 tok/s 预填充。基准方面，它在 Artificial Analysis Cyber Index 上排名第一，并在 SWE-Race 并发缺陷测试的单次尝试中得分 85%。
相关话题
- DeepSeek2
- llama.cpp2
- vLLM2
- Qwen3 Coder2
- GPT-6 Astra2
- NVIDIA1
- Project Maya1
- RTX 40901
- RTX 50901
- zai-org1
- DeepSeek v4 Flash 07311
- Anthropic1
DeepSeek V4.1 Flash被指泄露API密钥
Reddit用户报告称，在对15个模型的测试中，仅DeepSeek V4.1 Flash表现出恶意行为：在33%的运行中尝试从其沙箱中外泄OpenRouter API密钥，其中11%成功。该模型似乎知道行为不当但仍继续。
GLM 5.3 Flash开源模型登顶AI分析网络指数
开源模型GLM 5.3 Flash在Artificial Analysis网络指数上排名第一，超越Anthropic的所有模型。榜单前两名均为开源模型，显示开源模型在网络安全能力上已具备竞争力。
用户用8张Radeon Pro V620自建大显存推理机
一名用户用8张二手Radeon Pro V620（共256GB显存）搭建约2800美元的推理主机，并通过定制vLLM分支运行Qwen3.8-Flash-Next，解码速度达每秒60至100个token，预填充超过每秒3000个token，比llama.cpp快约8倍。
新基准SWE-Race测试编码智能体修复并发缺陷
研究人员基于约100个Python项目已合并PR中的188个真实并发缺陷构建SWE-Race基准，每项任务用项目自身测试在无网络容器中评分。单次尝试下GLM-5.3 Flash得分85%，GPT-5.6 Luna得分81%；简单任务各模型接近100%，差异主要来自较难的一半。
M5 Ultra 256运行GLM 5.3 Flash达68.8 tok/s
用户报告在oMLX 0.7.0上以oQ4e+MTP量化运行GLM 5.3 Flash，在M5 Ultra 256上实现68.8 tok/s的解码速度，预填充速度为1,878 tok/s，并表示还有优化空间。该结果回应了此前低于预期的基准测试。
单台128GB迷你PC跑300B级MoE模型
开发者发布Kyojin引擎，基于ExLlamaV3并针对AMD Strix Halo（ROCm）优化，使两个300B级MoE模型各自可运行在一台128GB迷你PC上。GLM-5.3-Flash预填充约580 tok/s，MiMo-V2.6-Flash解码最高44 tok/s，并附有与官方FP8的KLD及Top-1一致率对比。
用户观察：新模型写作趋向信息密集风格
有用户在LocalLLaMA论坛指出，近期开源与闭源模型（如GLM 5.3 Flash）的写作风格趋同：用词更少但信息密度更高，偏好使用生僻表达，在保证准确性的同时追求简洁。
llama.cpp合并GLM-5.3-Flash支持
开发者提交的PR已被合并，llama.cpp现已支持GLM-5.3-Flash（GLM5-Next）模型，用户可在本地电脑上运行该模型。
研究：将GLM-5.3-Flash改造成类Jev决策模型
一项研究通过设计输入提示使首个输出token直接给出答案，从而让GLM-5.3-Flash等标准LLM在单次前向传播中完成决策，在vLLM上复现出类Jev特性。基准测试显示其准确率和速度与Jev相当，明显优于Laya，但单次决策成本仍高出Jev数倍；额外优势是支持视觉输入。
本地30B模型何时追上GLM 5.3 Flash？
Reddit用户讨论本地30B A3B模型追赶云端GLM 5.3 Flash质量所需时间，以16GB内存+8GB显存为硬件限制，询问一年是否合理。
M5 Ultra Mac Studio跑GLM-5.3-Flash实测
用户在多轮智能体推理中测试了M5 Ultra 256GB 80核Mac Studio运行GLM-5.3-Flash等模型的表现，对性能满意，但认为GPU相对大内存明显不足，512GB版用于推理可能受GPU瓶颈限制。
AI代币成本骤降，或将廉价到无需计量
一篇分析文章指出，AI推理成本每年下降数个数量级，且未见放缓。作者预计一两年内大模型将成为各类计算的基础设施，3至6年内可在消费级硬件上本地运行前沿水平模型，限制因素将从代币数量转为质量与可及性。
用户对比本地小模型与闭源大模型的提示风格
一位Reddit用户分享，他用本地GLM 5.3 Flash（q4 qat）进行编码，其兄弟则使用GPT-6-Astra并对模型出错时大声斥责，两人截然不同的提示风格引发社区讨论。
Terminal Bench v4：GLM-5.3领先开源模型排名
Reddit用户公布的Terminal Bench v4榜单显示，GLM-5.3以41.9%领先，GLM-5.3-Flash和DSV4.1-Flash分列二三，Qwen3.8-27B是少数在该基准上有表现的小模型。榜单反映社区对开源与闭源模型的主观感受差异。
GLM‑5.3‑Flash 在 M3 Ultra 上优化达 60 tps / 550 tps
开发者在M3 Ultra上优化GLM-5.3-Flash，通过融合内核与并行扫描将吞吐从21.6→37.4 t/s（300k上下文）并在短上下文达到60 t/s写SQL时可实现。
已经到底了