社区分享:用LoRA替代完整“去审查”模型下载
LocalLLaMA用户指出,多数“去审查”技术属于秩一消融,可封装为小型LoRA在运行时叠加到已有量化模型上,无需下载数百GB模型。作者基于huihui v2构建LoRA并在llama.cpp等工具验证,称模型困惑度基本不变,有害提示拒答率从93/100降至3/100。
Strata 是一个面向本地大模型推理的开源引擎,在 r/LocalLLaMA 社区被频繁讨论。近期报道包括:有开发者在 4070Ti Super 上经 Opus 5.5 和 Fable 5.2 优化后报告性能大幅提升,Qwen3.8-Flash-Next 在 Strata 上获得 Strix Halo 官方支持并宣称支持最长 100 万上下文;同时社区也提出批评,指其更新带来大量破坏性改动、所有历史提交被重写以删除 Claude 参与署名的痕迹,并有用户抱怨相关刷屏内容。
LocalLLaMA用户指出,多数“去审查”技术属于秩一消融,可封装为小型LoRA在运行时叠加到已有量化模型上,无需下载数百GB模型。作者基于huihui v2构建LoRA并在llama.cpp等工具验证,称模型困惑度基本不变,有害提示拒答率从93/100降至3/100。
开发者称对Strata推理库进行深度优化后性能出现跳升,优化借助Opus 5.5和Fable 5.2完成。作者提到测试环境为PCIe 3 x1的4070Ti Super,并已在GitHub仓库补充质量基准。
llama.cpp的PR #30966新增llama_moe_cache,将未命中的MoE专家放到CPU上执行,并附带调优脚本。该改动被视为对低显存用户的MoE卸载显著加速。
社区用户分析新量化格式Gyro,认为其与EXL3同属QTIP/Trellis编码量化族,但编解码不互通且制作配方暂未公开。该用户称未发现Gyro在解码速度或困惑度等指标上优于EXL3的公开证据,担忧其加剧社区碎片化。
Reddit用户发帖警告不要升级Strata,称Windows和Linux均出现大量破坏性变更,包括新增不必要的服务要求,网页界面逐渐转向桌面应用。建议升级前先备份。
LocalLLaMA用户称,常见GGUF中置于SSD的PLE(n-gram表)被大幅量化,影响模型表现;其用ple_fp8_pack.py打包FP8版PLE后,iq3_s量化模型出错明显减少且速度不变,仅多占磁盘。所需safetensors文件来自Qwen FP8仓库,打包后通过--ple-gguf参数加载。
用户想要从源码构建 Strata,但文档难以找到,且 setup.sh 主要拉取未审计的二进制文件,无法在本地运行。发帖者在 FOSS 社区寻求构建文档。
开发者发布面向Blackwell架构的推理引擎Basalt,专为Qwen3.8 Flash-Next优化,吞吐量达Strata的2.6倍,支持双GPU与8路并发,MIT开源。
Reddit用户发现Strata项目的所有历史提交记录被改写,删除了“Co-Authored by Claude”字样,导致内置更新脚本因无共同祖先而失败。用户认为此举意在隐瞒项目由Claude参与编写的事实。
一名Reddit用户反馈,Qwen Flash Next在iq4_xs量化下指令遵循和幻觉控制不如Qwen 27B,且输出token明显更少;但在单次任务和基准测试中表现突出,且在Strata下未出现循环问题。
开发者在Strata上发布对Strix Halo机器的Qwen3.8-Flash-Next官方支持,长上下文解码表现最佳,支持最高100万token上下文,目前仅限Linux且标记为实验性。
一名Reddit用户反映,在R9700和RTX 5060 Ti双GPU、64GB DDR5内存配置下,通过Strata运行Qwen3.8-Flash-Next的量化版本,推理速度从约21 token/秒提升至约60 token/秒,但内存占用高达96%,无法同时运行ComfyUI图像视频任务,凸显本地大模型对系统内存的高需求。
开发者用自研引擎TensorSharp在RTX 3080笔记本(16GB显存)、32GB内存和SSD上运行了Qwen3.8 Flash Next 176B。测试显示解码速度11.09 tok/s,略高于Strata的10.24 tok/s;整程时间16.54秒,远快于Strata的62.15秒。这表明通过量化与跨显存、内存、SSD的MoE调度,消费级硬件也能跑超大稀疏模型。
r/LocalLLaMA社区用户发帖抱怨版内充斥对模型Strata的重复吹捧,形容如同邪教传教。反映开源社区对营销式刷屏内容的不满。
有用户报告称,采用IQ3_XXS权重的Strata方案搭配Qwen3.8 Next,在DDR4加7900XTX平台上达到约45-70 tokens/s,明显高于调优后Llama CPP的约22.5t/s,12GB与16GB显卡用户也有类似表现。
一个表达性语义层,能对LLM说不,并支持仪表板与订阅。
用户测试显示,Strata推理引擎搭配ISTA-DASLab的Qwen3.8-Flash-Next量化版,在12GB显存、64GB内存笔记本上实现51 t/s生成和1500 t/s提示处理,远超原版llama.cpp。该引擎目前仅支持Nvidia及特定GGUF模型。
开发者自建推理引擎Strata,在12GB RTX 5070等消费级硬件上运行Qwen3.8-Flash-Next,输出速度约65 tok/s,提示处理约430 tok/s,较此前llama.cpp方案大幅提升。引擎目前仅针对CUDA优化,已开源并支持一键安装。