第 2026-11-11 期 · 行业追踪 · 开源

llama.cpp新增FP8 KV缓存支持

开源推理框架llama.cpp合并了一项更新,为其键值缓存(KV-cache)增加了FP8数据类型支持。此举有望进一步降低大模型推理的显存占用并提升效率。

r/LocalLLaMA5 天前
查看原文 ↗