第 2026-09-27 期 · 行业追踪 · 开源 · 研究

llama.cpp实现42倍加速的提示查找草稿解码

llama.cpp社区分享了一项提示查找草稿（prompt lookup drafting）优化，声称可将推理加速42倍。该方法利用提示中已有的文本片段作为草稿token，减少重新生成的开销，属于本地推理效率改进，具体技术细节见原帖链接。

r/LocalLLaMA10 小时前

查看原文 ↗

话题:llama.cpp

四张3060Ti组多GPU本地推理,达120t/s并支持262K上下文2026-09-27
Ling 3.0 Tiny在旧笔记本上实现边缘智能2026-09-26
Mica v0.1 4B零token生成在Minecraft中打造铁镐2026-09-26
Qwengram-0.8B：转移n-gram记忆降低5.05%困惑度2026-09-25
ThinkingCap与Swift微调Qwen3.8-27B基准对比2026-09-25