A.I. 日报
llama.cpp v0.6.0发布 支持Qwen4Exp
Reddit社区消息称，llama.cpp发布v0.6.0版本，新增面向Qwen4Exp的MTP投机解码功能及多项更新。
llama.cpp
67 篇报道llama.cpp 是一个开源的本地大模型推理项目，支持 GGUF 格式模型在 CPU、GPU 及多种设备上运行。近期报道包括：修复 Pocket-TTS 组件中由恶意 mmproj 文件触发的堆越界写入漏洞（升级至 b11796）、合并张量转换 PR #31028 导致需重新转换 GGUF 文件、llama server 默认端口从 8080 改为 9931。此外，Cohere 宣布其 North Micro Vision Instruct 视觉编码器已并入 llama.cpp，社区还在讨论 IQ2_K 至 IQ6_K 新量化类型。
开发者用FPGA挖矿硬件运行Qwen3.5大模型
一名开发者用eBay上约280美元的SQRL FK33 FPGA矿卡，配合Claude等模型辅助编写RTL，实现了Qwen3.5-9B INT4推理。双卡75MHz下生成速度约3.2 tok/s，上下文扩展后降至2.4 tok/s，并逐层与llama.cpp核对输出。
llama.cpp在长文本推理中比IQ3_S引擎更稳定
一位用户在r/LocalLLaMA上对比发现，同一IQ3_S模型在llama.cpp中生成连贯回答，而在其他“奇迹引擎”中约1万token后陷入重复循环。这凸显了推理框架对本地大模型长文本输出稳定性的关键影响。
用户分享Strata加速本地大模型但64GB内存吃紧
一名Reddit用户反映，在R9700和RTX 5060 Ti双GPU、64GB DDR5内存配置下，通过Strata运行Qwen3.8-Flash-Next的量化版本，推理速度从约21 token/秒提升至约60 token/秒，但内存占用高达96%，无法同时运行ComfyUI图像视频任务，凸显本地大模型对系统内存的高需求。
176B MoE模型在16GB笔记本GPU上运行
开发者用自研引擎TensorSharp在RTX 3080笔记本（16GB显存）、32GB内存和SSD上运行了Qwen3.8 Flash Next 176B。测试显示解码速度11.09 tok/s，略高于Strata的10.24 tok/s；整程时间16.54秒，远快于Strata的62.15秒。这表明通过量化与跨显存、内存、SSD的MoE调度，消费级硬件也能跑超大稀疏模型。
开发者发布Ninfer 4080，16GB显卡实现100k上下文
开发者推出Ninfer 4080推理方案，可在RTX 4080 16GB显卡上以100k上下文运行Qwen-3.8-27B-GSQ模型，峰值预填充2720 tok/s、生成262 tok/s。项目已开源，旨在让16GB级显卡获得比通用推理引擎更好的性能。
开源多人文字RPG Anyworld：本地LLM担任地下城主
开发者发布Anyworld，一款浏览器端多人文字冒险游戏，由本地LLM（通过llama.cpp，也支持云端API）充当地下城主。玩家通过浏览器链接加入、无需安装，行动由模型统一裁决，骰子结果由Python随机数生成器负责，以支持自定义场景。
llama.cpp PR优化Qwen Flash Next显存占用
llama.cpp的拉取请求#29825通过将索引器分数内存减半，降低了Qwen Flash Next的显存占用。
Strata搭配Qwen3.8 Next在慢速内存上提速
有用户报告称，采用IQ3_XXS权重的Strata方案搭配Qwen3.8 Next，在DDR4加7900XTX平台上达到约45-70 tokens/s，明显高于调优后Llama CPP的约22.5t/s，12GB与16GB显卡用户也有类似表现。
开发者用iPhone当第二GPU为MacBook加速大模型
一位开发者在24GB M4 Pro MacBook上运行Qwen 3.8 27B，通过10Gb/s USB-C将iPhone 17 Pro Max作为第二GPU分担部分层，端到端预填充速度提升29%–44%，并可将超64k上下文的KV缓存迁移至手机。
llama.cpp新增Decision Models功能
本地推理项目llama.cpp新增Decision Models功能，相关讨论出现在r/LocalLLaMA。该更新面向本地模型的使用与决策能力。
用户用6块BC-250矿板搭建本地AI集群运行Qwen
一名爱好者用6块BC-250矿卡主板搭建本地AI集群，4块运行Qwen Next Flash，100k上下文下短生成约28 tok/s；另2块运行3.6 35B Q4模型，速度达60 tok/s。
Janus：Go二进制在Vulkan上运行GGUF模型
开发者发布Janus，一个单一Go二进制文件，可在AMD、Intel、NVIDIA GPU或CPU上通过Vulkan运行GGUF模型，并提供OpenAI兼容API。无需Python、Docker或Ollama，支持热切换模型和思考模型。
Pi扩展可让本地Qwen 27B跳过推理直接作答
pi-llama-skip-reasoning是为Pi.dev框架开发的扩展，借助llama.cpp原生机制强制本地模型停止推理、立即作答，可通过命令或快捷键触发。作者提醒对重要问题不要跳过推理，否则会损害质量。
llama.cpp合并Qwen4Exp的MTP支持
开发者am17an为llama.cpp提交的Qwen4Exp MTP支持已被合并，开发耗时17小时，使Qwen Flash Next可使用MTP。相关GGUF量化文件已发布在Hugging Face上。
用户晒出64GB显存四卡本地推理主机
Reddit用户展示一套搭载4块Tesla T4 16GB显卡、总显存64GB的工作站，配Xeon W3225与768GB内存，运行Ubuntu和llama.cpp，并称还想再加卡。
YC S25初创Magnitude发布自优化智能体推理引擎
Magnitude推出自优化推理引擎，可在Mac、Linux和Windows上运行，速度比llama.cpp快达2倍。专为本地运行智能体设计，采用设备端编译调优、动态内存分配和混合分页注意力。
llama.cpp合并GLM-5.3-Flash支持
开发者提交的PR已被合并，llama.cpp现已支持GLM-5.3-Flash（GLM5-Next）模型，用户可在本地电脑上运行该模型。
12GB显存笔记本本地跑Qwen3.8模型达51t/s
用户测试显示，Strata推理引擎搭配ISTA-DASLab的Qwen3.8-Flash-Next量化版，在12GB显存、64GB内存笔记本上实现51 t/s生成和1500 t/s提示处理，远超原版llama.cpp。该引擎目前仅支持Nvidia及特定GGUF模型。
社区讨论llama.cpp硬分叉泛滥现象
r/LocalLLaMA用户批评大量针对特定GPU架构的llama.cpp硬分叉，认为其未向上游提交PR，而是以“优化”为名另立品牌推广。讨论共识认为上游需兼顾兼容性，下游分叉则可更专注，但低质量引流分叉仍受质疑。
对Qwen模型添加logit惩罚提升数学准确率
一位用户基于Meta关于“过度思考”标记的论文，在llama.cpp中对Qwen3.5-4B多种量化版本测试了针对“wait”“maybe”“perhaps”等词的logit偏置惩罚，在50道MATH-500随机题上验证效果。原论文未覆盖llama.cpp支持的各类量化。
llama.cpp实现42倍加速的提示查找草稿解码
llama.cpp社区分享了一项提示查找草稿（prompt lookup drafting）优化，声称可将推理加速42倍。该方法利用提示中已有的文本片段作为草稿token，减少重新生成的开销，属于本地推理效率改进，具体技术细节见原帖链接。
四张3060Ti组多GPU本地推理,达120t/s并支持262K上下文
一名用户用四张功耗限制在110W的8GB 3060Ti搭建多GPU推理平台,借助Tensor Parallel、Exl3和HyperQwen方案,在bf16下实现约120t/s、150K上下文,量化KV缓存后可扩展到262K上下文,且并发几乎无性能衰减。
Ling 3.0 Tiny在旧笔记本上实现边缘智能
一位用户分享，8B参数（1B激活）的Ling 3.0 Tiny模型通过llama.cpp在一台2017年款i5、8GB内存、无GPU的旧笔记本上运行，速度约每秒10个token，并自主完成编写网络扫描脚本的迭代任务。作者认为这标志着边缘智能的新开端，无需新硬件即可让旧设备执行智能任务。
Mica v0.1 4B零token生成在Minecraft中打造铁镐
开源模型Mica v0.1 4B在真实Minecraft 1.20.4服务器上，通过读取答案标签token概率而非生成文本，用23步决策从空背包造出铁镐，每步约90-150毫秒，运行于RTX 3090。权重与代码已公开。
Qwengram-0.8B：转移n-gram记忆降低5.05%困惑度
开发者将Qwen3.8 Flash-Next的预训练PLE n-gram记忆迁移到Qwen3.5-0.8B，在冻结骨干和约51B参数记忆的情况下训练R=1读取器，验证困惑度从18.2759降至17.3534，降低5.05%。这是语言模型验证结果，不代表基准准确率提升5%。
Qwen3.8-Flash-Next 在12GB显存实现65 tokens/秒
开发者自建推理引擎Strata，在12GB RTX 5070等消费级硬件上运行Qwen3.8-Flash-Next，输出速度约65 tok/s，提示处理约430 tok/s，较此前llama.cpp方案大幅提升。引擎目前仅针对CUDA优化，已开源并支持一键安装。
ThinkingCap与Swift微调Qwen3.8-27B基准对比
第三方Aider评测显示，ThinkingCap与Swift微调版将Qwen3.8-27B的推理token中位数从12547降至约7400，降幅近40%，与模型卡声明一致；三者在首次通过率（27.1%-30.8%）和重试通过率（75.7%-77.6%）上差异在噪声范围内，性能未明显下降。
Hugging Face发布VLM推测解码加速器
Hugging Face为视觉语言模型LFM2.5-VL-3B发布实验性DSpark草稿模型，仅增加2.8亿参数（8.9%），在设备上升速最高3.13倍、H100上2.66倍，且不改变输出质量，首日支持llama.cpp、MLX-VLM和SGLang。
Transformers 现已支持 llama.cpp 的 GGUF 量化模型
Hugging Face 在 transformers 中新增 GGUF 模型支持，用户可通过 from_pretrained 加载 Hub 上针对本机内存优化的量化检查点。为接近 llama.cpp 性能，团队复用 ggml 内核并降低 generate 开销，初期聚焦 Apple Silicon 与 Qwen3.5 架构，Ollama、LM Studio、Jan 等本地工具均基于 llama.cpp。