Hy4 flash模型发布:224B总参数,12B激活
新模型Hy4 flash定位为最具成本效益的Hy模型,总参数224B(含64B Engram参数),每token仅激活12B,原生多模态并支持100万token上下文,API定价明显更低。帖子认为其规格与Qwen-Flash-Next相近,发布后有望在普通配置机器上运行。
Qwen Flash Next 是阿里巴巴通义千问系列中的一款模型,社区常以 GGUF 量化版本在本地运行。近期讨论集中在本地部署与实用性:有人用 ISTA DASLab 的 3.5 BPW 量化在 8GB 显存上跑到 262K 上下文、约 70 T/s 预填充和 8 T/s 生成;llama.cpp 合并了 MTP 支持,另有 PR #29825 把索引器显存占用减半;也有用户反馈它在长期 agent 任务中不如 Qwen 27B 稳定。
新模型Hy4 flash定位为最具成本效益的Hy模型,总参数224B(含64B Engram参数),每token仅激活12B,原生多模态并支持100万token上下文,API定价明显更低。帖子认为其规格与Qwen-Flash-Next相近,发布后有望在普通配置机器上运行。
用户展示用8GB显存加24GB内存运行ISTA DASLab的3.5 BPW Qwen-Flash-Next Coder量化版,借助MoE卸载和磁盘n-gram实现262K上下文,预填充约70 T/s、生成约8 T/s。该量化剪除一半专家,等效1.89比特/参数,但实际权重仍为3.5 BPW。
一名Reddit用户反馈,Qwen Flash Next在iq4_xs量化下指令遵循和幻觉控制不如Qwen 27B,且输出token明显更少;但在单次任务和基准测试中表现突出,且在Strata下未出现循环问题。
llama.cpp的拉取请求#29825通过将索引器分数内存减半,降低了Qwen Flash Next的显存占用。
开发者am17an为llama.cpp提交的Qwen4Exp MTP支持已被合并,开发耗时17小时,使Qwen Flash Next可使用MTP。相关GGUF量化文件已发布在Hugging Face上。