第 2026-11-05 期 · 行业追踪 · 开源 · 研究
Delta推理引擎v0.93优化DeepSeek-V4.1本地运行
Delta推理引擎v0.93支持64至192GB内存,单张RTX 3090上Unsloth IQ2量化版在192GB内存下达41 tok/s,首字生成快约40%,99题基准得57分,接近完整模型的59分。新增Unsloth量化、EXL3与基础多GPU支持。
查看原文 ↗Delta推理引擎v0.93支持64至192GB内存,单张RTX 3090上Unsloth IQ2量化版在192GB内存下达41 tok/s,首字生成快约40%,99题基准得57分,接近完整模型的59分。新增Unsloth量化、EXL3与基础多GPU支持。
查看原文 ↗