第 2026-11-05 期 · 行业追踪 · 开源 · 研究

Delta推理引擎v0.93优化DeepSeek-V4.1本地运行

Delta推理引擎v0.93支持64至192GB内存,单张RTX 3090上Unsloth IQ2量化版在192GB内存下达41 tok/s,首字生成快约40%,99题基准得57分,接近完整模型的59分。新增Unsloth量化、EXL3与基础多GPU支持。

r/LocalLLaMA12 小时前
查看原文 ↗