llama.cpp 最新动态

llama.cpp 是一个开源的本地大模型推理项目，支持 GGUF 格式模型在 CPU、GPU 及多种设备上运行。近期报道包括：修复 Pocket-TTS 组件中由恶意 mmproj 文件触发的堆越界写入漏洞（升级至 b11796）、合并张量转换 PR #31028 导致需重新转换 GGUF 文件、llama server 默认端口从 8080 改为 9931。此外，Cohere 宣布其 North Micro Vision Instruct 视觉编码器已并入 llama.cpp，社区还在讨论 IQ2_K 至 IQ6_K 新量化类型。

Yandex开源80B俄罗斯模型AliceAI

Yandex发布名为AliceAI-Foundation-80B-A3B-Base的模型，被视为Qwen 35B与DeepSeek V4 Flash的俄罗斯竞品。该模型采用完全自研架构而非Qwen3微调，且未经过后训练，目前尚不支持llama.cpp。

r/LocalLLaMA · 41 天前

Yandex AliceAI-Foundation-80B-A3B-Base Qwen

Qwen 27B在单张3090上自主运行三周

一位用户用单张RTX 3090本地运行Qwen 27B量化模型约21天，目标是让智能体自行编写CUDA推理引擎。期间共运行约2.3亿token、699次压缩耗时约83小时，最终预填充速度约为llama.cpp的一半，但产出了可用的kernel和测试。

r/LocalLLaMA · 42 天前

Qwen llama.cpp RTX 3090

Qwen3.8 27B IQ3_XXS 与 Bonsai Ternary PQ2 量化实测对比

一位用户在同一16GB显存设备上对比Qwen3.8 27B的IQ3_XXS（10.18GiB）与Bonsai Ternary PQ2（6.42GiB）量化版本。两者均完成4/4任务，但Qwen速度快3.02倍、输出token少3.10倍，Bonsai质量略逊且更慢。

r/LocalLLaMA · 43 天前

Qwen3.8 Bonsai llama.cpp

Voodoo动态量化方案开源（MIT许可）

开发者在GitHub开源名为Voodoo Dynamic Quant的动态量化方法，利用梯度下降为每个张量优化量化布局，支持GGUF等格式，适用于减小模型体积并保持精度。

r/LocalLLaMA · 47 天前

Voodoo Dynamic Quant GGUF llama.cpp

本地化 LLM 社区迎来“黄金时代？

Reddit 用户指出，硬件短缺促使本地化 LLM 社区回到底层优化：通过 llama.cpp 分支和 Strix Halo 的 halogen-flash-server 对 Qwen 3.8 Flash Next（Q38FN）实现显著加速，解码达 52 tok/s、prefill 达 1300 tok/s。作者认为资源受限反而推动学习与技术积累。

r/LocalLLaMA · 49 天前

llama.cpp Strix Halo Qwen 3.8 Flash Next

OpenUI 发布定制界面模型 OUI-1

OpenUI 发布了基于 DiffusionGemma 微调的 OUI-1，训练数据使用自有 DSL OpenUI‑Lang 而非 HTML/Markdown/React。作者指出通过系统提示让通用大模型输出 OpenUI‑Lang 可行但占用大量上下文，微调能节省空间；同时担心模型会倾向默认输出 DSL。DiffusionGemma 目前不被 llama.cpp 支持，Ollama 无法运行，但权重已上传到 Hugging Face，用户在 RTX 5090 等消费级 GPU 本地部署上存在不确定性。

r/LocalLLaMA · 52 天前

OpenUI OUI-1 DiffusionGemma

Qwen3-0.6B 在旧手机上驱动真实桌面 Chrome 成功

开发者在 Galaxy Note 8（2017，6GB）上用 llama.cpp 运行 Qwen3-0.6B（Q4_K_M），通过中继驱动真实桌面 Chrome 并在三项任务中进行结构化页面感知与选择。Qwen3-0.6B 在多个测试上均取得 10/10 成绩；测试强调结构化感知比直接 HTML 更有效率。

r/LocalLLaMA · 54 天前

Qwen3-0.6B Galaxy Note 8 llama.cpp

已经到底了