llama.cpp 最新动态

llama.cpp 是一个开源的本地大模型推理项目，支持 GGUF 格式模型在 CPU、GPU 及多种设备上运行。近期报道包括：修复 Pocket-TTS 组件中由恶意 mmproj 文件触发的堆越界写入漏洞（升级至 b11796）、合并张量转换 PR #31028 导致需重新转换 GGUF 文件、llama server 默认端口从 8080 改为 9931。此外，Cohere 宣布其 North Micro Vision Instruct 视觉编码器已并入 llama.cpp，社区还在讨论 IQ2_K 至 IQ6_K 新量化类型。

开发者实测推理引擎加速选项对模型输出的损害

一位开发者在RTX 5090等硬件上测试Basalt引擎的路由偏置与专家跳过两项加速选项，发现其显著改变模型输出：Q8_0在默认设置下KLD从0.031升至0.401，最差设置下达1.616，top-1一致率降至56.8%。

r/LocalLLaMA · 23 小时前

Basalt Qwen llama.cpp

开发者Betelgeuse在RTX 3060上跑Qwen 3.8 Flash Next

开发者发布Betelgeuse（基于llama.cpp的分支），在RTX 3060 12GB加16GB DDR4内存的普通PC上，以22 tok/s持续速度（峰值48 tok/s）运行68GB的Qwen 3.8 Flash Next MoE量化模型，且无门控剪枝、保持100%比特一致。此前标准llama.cpp在该配置下仅约1.47 tok/s。

r/LocalLLaMA · 25 小时前

Qwen Betelgeuse llama.cpp

DFlash2草稿模型使Qwen3.8-Flash-Next提速17%

用户测试显示，在llama.cpp v0.8.0上为Qwen3.8-Flash-Next启用DFlash2草稿模型后，解码速度几何平均提升约17%：代码+18%、列表+39%、散文略降3%。DFlash2草稿头仅约350MB，远小于MTP的2.2GB，且支持视觉输入。

r/LocalLLaMA · 44 小时前

Qwen3.8-Flash-Next DFlash2 llama.cpp

llama.cpp曝越界写入漏洞

llama.cpp的Pocket-TTS组件被曝存在堆越界写入漏洞，恶意mmproj文件即可触发，攻击需本地访问且利用代码已公开。升级至b11796版本可修复，但根治性补丁仍未合并。

r/LocalLLaMA · 7 天前

llama.cpp ggml

llama.cpp新增GGUF转换时合并张量

开源项目llama.cpp合并了名为“convert时合并张量”的拉取请求（#31028），由贡献者am17an提交。该改动可能意味着用户需要重新转换已有的GGUF模型文件。

r/LocalLLaMA · 7 天前

llama.cpp am17an

8GB显存运行262K上下文Qwen量化模型

用户展示用8GB显存加24GB内存运行ISTA DASLab的3.5 BPW Qwen-Flash-Next Coder量化版，借助MoE卸载和磁盘n-gram实现262K上下文，预填充约70 T/s、生成约8 T/s。该量化剪除一半专家，等效1.89比特/参数，但实际权重仍为3.5 BPW。

r/LocalLLaMA · 8 天前

Qwen-Flash-Next ISTA DASLab llama.cpp

ISTA-DASLab发布DeepSeek-V4.1-Flash量化版

ISTA-DASLab采用GSQ-RCO量化方法发布DeepSeek-V4.1-Flash-1017的GGUF量化版本，已上线Hugging Face。由于原始架构支持尚未合并，llama.cpp暂不支持该模型。

r/LocalLLaMA · 9 天前

ISTA-DASLab DeepSeek llama.cpp

开发者展示在HTML中以WebGL2运行GGUF Q4模型

一名开发者在LocalLLaMA分享称，可自行搭建推理引擎：通过GLSL将GGUF Q4分页载入WebGL2计算缓冲，直接在网页内运行；但分词器与词表处理极为繁琐，调试困难。该实验显示浏览器端本地推理可行，但工程成本高。

r/LocalLLaMA · 9 天前

llama.cpp WebGL2 GGUF

用户实测LFM2.5-24B-A2B：本地运行表现欠佳

一名用户在多款本地推理框架中测试LFM2.5-24B-A2B量化模型，称其在Hermes代理任务中生成代码有缺陷、功能缺失，并在部分框架下反复循环，认为其表现不佳。

r/LocalLLaMA · 10 天前

LFM2.5-24B-A2B Hermes LM Studio

用户在2000欧元PC上跑通748B DeepSeek模型

一位用户在二手约2000欧元的PC（RTX 3090、128GB DDR4、i9-9900X）上，用1-bit量化的DeepSeek-V4.1-Flash-1017配合llama.cpp，以7.2 tok/s运行了这个748B参数模型。110GB的Engram表留在NVMe上按需读取，从而装入内存。用户称输出存在物理错误，实用价值有限，Qwen模型在其设备上表现更好。

r/LocalLLaMA · 11 天前

DeepSeek DeepSeek-V4.1-Flash llama.cpp

Eagle-4 发布：速度超越 DFlash2 与 DSpark

Eagle-4 在 Qwen 3.8 27B 上实现 3.59 倍加速，超越 DFlash2 的 2.80 倍和 DSpark 的 2.57 倍。目前仅支持 Qwen 3.8 27B，但社区期待其集成到 llama.cpp/vLLM。

r/LocalLLaMA · 12 天前

Eagle-4 Qwen 3.8 27B DFlash2

AnyLanguageModel 1.0发布：苹果平台本地模型一年成果

AnyLanguageModel 1.0正式发布，可替代苹果Foundation Models框架，让开发者通过统一API在系统模型、llama.cpp、MLX、Core ML本地模型及OpenAI、Anthropic等托管服务间切换。同期发布的swift-huggingface 1.0与swift-xet 1.0加速模型下载。

Hugging Face Blog · 13 天前

AnyLanguageModel Apple Foundation Models

Cohere宣布llama.cpp全面支持其最新模型架构

Cohere员工Nick Frosst在r/LocalLLaMA发帖称，团队已将North Micro Vision Instruct视觉编码器的llama.cpp支持合并，至此Cohere所有最新架构均可兼容llama.cpp。该视觉模型是Cohere多款新品的基座；此外语音转文字模型Cohere Transcribe已上线Unsloth与Unsloth Studio供微调。

r/LocalLLaMA · 13 天前

Cohere llama.cpp North Micro Vision Instruct

llama server默认端口由8080改为9931

从v0.7.0版本起，llama server的默认端口由8080改为9931。未显式设置端口的用户在升级时会遇到不兼容问题，而将8080硬编码的工具也需相应调整。

r/LocalLLaMA · 13 天前

llama.cpp

社区提出IQ2_K至IQ6_K新量化类型

LocalLLaMA社区讨论llama.cpp新增IQ2_K、IQ3_K、IQ4_K、IQ5_K和IQ6_K量化类型。其文件体积与Q系列量化相当，KLD明显改善，但性能略有下降，且生成IQ量化速度较慢。目前测试数据仅来自单一模型。

r/LocalLLaMA · 14 天前

llama.cpp eaddario

Ling 3.1 Flash 560B MoE经llama.cpp跨四台DGX Spark部署

开发者借助llama.cpp RPC，将560B MoE的Ling 3.1 Flash（每token激活25B参数）分载于四台DGX Spark，使用Atomic Chat首发的Q4 GGUF，因当时无vLLM官方FP4版本。作者预计带宽与速度表现不佳，希望与124B的Ling 3.0 Flash对比实际体验。

r/LocalLLaMA · 14 天前

Ling 3.1 Flash llama.cpp Atomic Chat

社区尝试为Qwen 3.8 Flash Next使用完整n-gram表

LocalLLaMA用户称，常见GGUF中置于SSD的PLE（n-gram表）被大幅量化，影响模型表现；其用ple_fp8_pack.py打包FP8版PLE后，iq3_s量化模型出错明显减少且速度不变，仅多占磁盘。所需safetensors文件来自Qwen FP8仓库，打包后通过--ple-gguf参数加载。

r/LocalLLaMA · 15 天前

Qwen llama.cpp Strata