Unsloth发布Qwen3.8-27B量化Dynamic v3.1更新
Unsloth为Qwen3.8-27B模型发布Dynamic V3.1量化更新,在相同尺寸下平均准确率提升5-10%,覆盖2bit至6bit量化。该27B稠密模型支持视觉与推理,上下文窗口256K,可在17GB内存/显存本地运行。
Unsloth 是一个为本地大模型提供量化 GGUF 文件与微调工具的开源项目。近期报道主要围绕其动态量化版本:它为 Qwen3.8-27B 发布 Dynamic v3.1 GGUFs,称在 DeepSWE 和 Terminal Bench 上比 UD3 等方案准确率高 5-10%;为 Qwen3.8-Flash-Next 发布 V3.1 GGUFs,称准确率提升 15%;并质疑 ISTA-DASLab 的 gsq-rco 基准结果不可复现。其 IQ2 量化的 DeepSeek-V4.1-Flash 也被用于 Delta 推理引擎的本地测试。
Unsloth为Qwen3.8-27B模型发布Dynamic V3.1量化更新,在相同尺寸下平均准确率提升5-10%,覆盖2bit至6bit量化。该27B稠密模型支持视觉与推理,上下文窗口256K,可在17GB内存/显存本地运行。
Unsloth 推出 Qwen3.8-27B 的 Dynamic v3.1 GGUF 量化,称在 DeepSWE、Terminal Bench 等基准上较 UD3、GSQ-RCO 和 Exllama-3 提升 5-10% 准确率。2 至 6 bit 版本已更新,3 bit 沿用 UD3。
一位r/LocalLLaMA用户梳理了Qwen4漫长的预热节奏:从架构预告、会议披露,到预告图和X平台上的提前体验,并预测正式发布可能临近ANT的IPO。帖子还调侃了发布当天的推理引擎适配和量化版本混乱,反映出社区对渐进式发布的疲惫。
ISTA-DASLab的gsq-rco量化方法因基准数据无法复现而受到Unsloth批评,后者测试显示其量化性能更优。Basalt推理引擎的创建者随后用Unsloth的量化替换了原先基于ISTA-DASLab的版本。
Delta推理引擎v0.93支持64至192GB内存,单张RTX 3090上Unsloth IQ2量化版在192GB内存下达41 tok/s,首字生成快约40%,99题基准得57分,接近完整模型的59分。新增Unsloth量化、EXL3与基础多GPU支持。
Unsloth发布Qwen3.8-Flash-Next GGUF量化模型的V3.1版本,并称准确率提升15%。
一位用户在二手约2000欧元的PC(RTX 3090、128GB DDR4、i9-9900X)上,用1-bit量化的DeepSeek-V4.1-Flash-1017配合llama.cpp,以7.2 tok/s运行了这个748B参数模型。110GB的Engram表留在NVMe上按需读取,从而装入内存。用户称输出存在物理错误,实用价值有限,Qwen模型在其设备上表现更好。
Cohere员工Nick Frosst在r/LocalLLaMA发帖称,团队已将North Micro Vision Instruct视觉编码器的llama.cpp支持合并,至此Cohere所有最新架构均可兼容llama.cpp。该视觉模型是Cohere多款新品的基座;此外语音转文字模型Cohere Transcribe已上线Unsloth与Unsloth Studio供微调。
LocalLLaMA用户称,常见GGUF中置于SSD的PLE(n-gram表)被大幅量化,影响模型表现;其用ple_fp8_pack.py打包FP8版PLE后,iq3_s量化模型出错明显减少且速度不变,仅多占磁盘。所需safetensors文件来自Qwen FP8仓库,打包后通过--ple-gguf参数加载。
开发者发布面向Blackwell架构的推理引擎Basalt,专为Qwen3.8 Flash-Next优化,吞吐量达Strata的2.6倍,支持双GPU与8路并发,MIT开源。
一位用户称赞Qwen 3.6 35B(Unsloth UD_Q4_K_XL量化版)在通用代理任务上表现稳定,可执行智能家居控制和发送消息等操作;在Tesla P100上达到约120-140 t/s生成速度,但编码能力较弱且难以维持人设。
一篇XDA文章的作者表示,使用本地模型Qwen 3.8-27B后,无需再分别订阅每月20美元的ChatGPT Plus和Claude Pro,因为该模型能完成他大部分日常任务。他使用的Unsloth UD-IQ4_XS量化版本下载大小为13.3GB,可在他配备16GB显存的4070 Ti Super显卡上运行,并支持16K上下文窗口。
有用户建议LocalLLaMA论坛设立置顶板块,为每个模型提供详细部署指南,包括最佳推理引擎、所需最低硬件配置及可靠硬件购买或租用渠道。该用户抱怨搜索引擎的AI回答常出现幻觉且会编造价格,难以获得准确信息。
用户对比测试显示,Swift-1.5-Qwen3.8-Flash-Next在Aider基准上首试通过率41.1%,与基座模型40.2%相当,但每例token用量从17646降至6991,耗时从1542秒降至608秒,大幅减少过度推理。