Ai2 用 GPU 预算调度替代优先级调度
Ai2 将优先级调度换为 GPU 时间预算、分层公平分配和时间切片,把 GPU 分配从逐个讨论转为透明预算流程。其集群含数千块 NVIDIA H100、B200、B300,约150名研究员使用,需求常达供给的2-3倍。
H100 是 NVIDIA 推出的数据中心 GPU,广泛用于大模型训练与推理。近期相关报道多围绕算力分配与推理成本:Ai2 在数千块 H100、B200、B300 集群上用 GPU 时间预算替代优先级调度;有论文指出在 gpt-oss-120b 上 A100 比 H100 更便宜,自托管成本为每百万输出 token 0.12 至 0.35 美元;SupraLabs 的 100M 参数文生图模型 Supra2-IMG 在单块 H100 上不到 10 小时训练完成。
Ai2 将优先级调度换为 GPU 时间预算、分层公平分配和时间切片,把 GPU 分配从逐个讨论转为透明预算流程。其集群含数千块 NVIDIA H100、B200、B300,约150名研究员使用,需求常达供给的2-3倍。
开发者fehcyy发布稀疏记忆LM项目,给21M参数模型配16.8M行查找表(表参数6.4B,每token用33M),在500M Wikipedia词上训练后性能与114M密集模型相当。表可4-bit量化并内存映射到NVMe SSD,在RX 9070上达140 tok/s,仅占0.4GB显存;但读取长提示慢,每缺失行需4KB页面。Triton内核在Radeon、MI350X和H100/H200上运行不变。给预训练模型嫁接表无效。
开发者发布Jeeves,一个基于Qwen3.5-9B的Jev类决策模型,采用LoRA、指针头和CISPO训练,并配备块4扩散草稿器。它在未见过的测试数据上准确率0.889,超过Kev-9B的0.822和Jev的0.857,在JevBench公开难题上达0.935;单张H100上不思考约0.3秒/请求,思考中位耗时3.3秒,代码、权重与数据均已开源。
作者提出CoWindow Attention(将远端上下文按互补窗口分配到各KV头,无需学习路由器)和MassAlloc Attention(利用softmax统计决定是否执行后续计算)。在8张H100、128K上下文下,注意力算子前向/反向/解码分别最高提速7.4x/8.6x/3.0x,14B模型32K训练FLOPs减少28.5%和23.1%,能力与FullAttn相当。
论文指出,开放权重模型推理成本约为同类闭源模型的五分之一,自托管可降至每百万输出token 0.12至0.35美元。在gpt-oss-120b上A100比H100更便宜,A100五年租赁价格保持一个月价格的80%,表明旧GPU家族仍有多年盈利寿命。
SupraLabs发布Supra2-IMG,一个100M参数的DiT文生图模型,在单张H100上不到10小时从头训练完成,可生成256x256分辨率的高质量图像。模型已开源,CPU生成约20秒,GPU约2秒。