Transformers 现已支持 llama.cpp 的 GGUF 量化模型

Hugging Face 在 transformers 中新增 GGUF 模型支持，用户可通过 from_pretrained 加载 Hub 上针对本机内存优化的量化检查点。为接近 llama.cpp 性能，团队复用 ggml 内核并降低 generate 开销，初期聚焦 Apple Silicon 与 Qwen3.5 架构，Ollama、LM Studio、Jan 等本地工具均基于 llama.cpp。

• Qwengram-0.8B：转移n-gram记忆降低5.05%困惑度2026-09-25
• Hugging Face发布VLM推测解码加速器2026-09-24
• 开源推理引擎Splash：M5 Max上Qwen3.8-27B达144 tok/s2026-09-19
• Cactus 发布针式小型自动化模型 Needle 32026-09-18
• Voodoo动态量化方案开源（MIT许可）2026-09-15