A.I. 日报
ds4
DeepSeek 4 的本地推理引擎，支持 Metal、CUDA、ROCm。
ds4
4 篇报道ds4 是一个用于在本地运行 DeepSeek 4 系列开放权重模型的推理引擎，支持 Metal、CUDA 和 ROCm。近期消息主要围绕它在 GitHub Trending 上连续出现，以及 Redis 创始人发布该引擎——采用 C 语言编写、MIT 许可，附带 CLI、HTTP API 和原生 agent，并用非对称量化让 MoE 模型在本地运行；相关讨论也涉及在 Apple M3 Ultra 上优化 GLM-5.3-Flash 的吞吐表现。
相关话题
ds4
DeepSeek 4 Flash和PRO的本地推理引擎，支持Metal、CUDA和ROCm。
Redis作者推出ds4本地运行大模型引擎
Redis创始人发布ds4，一个用C编写的窄用途推理引擎，可在高内存Mac及CUDA、ROCm机器上本地运行DeepSeek V4、GLM 5.x和Qwen3.8等前沿开源权重模型。项目采用MIT许可，内置CLI、HTTP API与原生代理，通过非对称量化让MoE模型在本地变得实用，例如128GB Mac上可实现约34.4 T/s生成和557 T/s预填充。
GLM‑5.3‑Flash 在 M3 Ultra 上优化达 60 tps / 550 tps
开发者在M3 Ultra上优化GLM-5.3-Flash，通过融合内核与并行扫描将吞吐从21.6→37.4 t/s（300k上下文）并在短上下文达到60 t/s写SQL时可实现。
已经到底了