GGUF 最新动态 · AI 日报

GGUF 是 llama.cpp 生态中常用的模型量化与存储文件格式，用于在本地设备上加载和运行大模型。近期相关报道包括：Hugging Face 为 transformers 加入 GGUF 支持，并复用 ggml 内核以接近 llama.cpp 的性能，初期面向 Apple Silicon 与 Qwen3.5 架构；有开发者用 WebGL2 计算缓冲与 GLSL 在网页内运行 GGUF Q4 模型；Voodoo Dynamic Quant 以 MIT 许可证开源，用梯度下降为每个张量选择量化级别以压缩体积并保持质量。

开发者展示在HTML中以WebGL2运行GGUF Q4模型

一名开发者在LocalLLaMA分享称，可自行搭建推理引擎：通过GLSL将GGUF Q4分页载入WebGL2计算缓冲，直接在网页内运行；但分词器与词表处理极为繁琐，调试困难。该实验显示浏览器端本地推理可行，但工程成本高。

r/LocalLLaMA · 9 天前

llama.cpp WebGL2 GGUF

OpenMed 3.0发布：本地运行的开源临床AI

开源医疗AI工具包OpenMed发布3.0版，采用Apache-2.0许可，数据全程留在本地、可离线运行。新版本加入Patient Journey功能，可将病历、FHIR、HL7、检验CSV等多来源数据整合为单一患者时间线，并对存疑信息拒绝猜测、保留双版本以待人工审核。

r/LocalLLaMA · 21 天前

OpenMed Hugging Face Transformers

Transformers 现已支持 llama.cpp 的 GGUF 量化模型

Hugging Face 在 transformers 中新增 GGUF 模型支持，用户可通过 from_pretrained 加载 Hub 上针对本机内存优化的量化检查点。为接近 llama.cpp 性能，团队复用 ggml 内核并降低 generate 开销，初期聚焦 Apple Silicon 与 Qwen3.5 架构，Ollama、LM Studio、Jan 等本地工具均基于 llama.cpp。

Hugging Face Blog · 40 天前

Hugging Face llama.cpp GGUF

Reddit 帖子：Qwen3.8-27B 等模型与 GGUF

Reddit 帖子列出了一串模型名称（如 Qwen3.8-27B、TURBO、NEO 等）和 GGUF 格式，帖子内容简短随意，未提供更多背景或官方信息。

r/LocalLLaMA · 47 天前

Qwen GGUF

Voodoo动态量化方案开源（MIT许可）

开发者在GitHub开源名为Voodoo Dynamic Quant的动态量化方法，利用梯度下降为每个张量优化量化布局，支持GGUF等格式，适用于减小模型体积并保持精度。

r/LocalLLaMA · 47 天前

Voodoo Dynamic Quant GGUF llama.cpp

已经到底了