Delta推理引擎v0.93优化DeepSeek-V4.1本地运行
Delta推理引擎v0.93支持64至192GB内存,单张RTX 3090上Unsloth IQ2量化版在192GB内存下达41 tok/s,首字生成快约40%,99题基准得57分,接近完整模型的59分。新增Unsloth量化、EXL3与基础多GPU支持。
AI 日报收录的 Delta Inference Engine 相关报道,共 1 篇,按时间倒序,每小时更新。
Delta推理引擎v0.93支持64至192GB内存,单张RTX 3090上Unsloth IQ2量化版在192GB内存下达41 tok/s,首字生成快约40%,99题基准得57分,接近完整模型的59分。新增Unsloth量化、EXL3与基础多GPU支持。