Strata

18 篇报道

Strata 是一个面向本地大模型推理的开源引擎,在 r/LocalLLaMA 社区被频繁讨论。近期报道包括:有开发者在 4070Ti Super 上经 Opus 5.5 和 Fable 5.2 优化后报告性能大幅提升,Qwen3.8-Flash-Next 在 Strata 上获得 Strix Halo 官方支持并宣称支持最长 100 万上下文;同时社区也提出批评,指其更新带来大量破坏性改动、所有历史提交被重写以删除 Claude 参与署名的痕迹,并有用户抱怨相关刷屏内容。

相关话题

176B MoE模型在16GB笔记本GPU上运行

开发者用自研引擎TensorSharp在RTX 3080笔记本(16GB显存)、32GB内存和SSD上运行了Qwen3.8 Flash Next 176B。测试显示解码速度11.09 tok/s,略高于Strata的10.24 tok/s;整程时间16.54秒,远快于Strata的62.15秒。这表明通过量化与跨显存、内存、SSD的MoE调度,消费级硬件也能跑超大稀疏模型。

r/LocalLLaMA ·

Strata

一个表达性语义层,能对LLM说不,并支持仪表板与订阅。

▲ 17 · Show HN · 7 评论 ·
已经到底了