H100

6 篇报道

H100 是 NVIDIA 推出的数据中心 GPU,广泛用于大模型训练与推理。近期相关报道多围绕算力分配与推理成本:Ai2 在数千块 H100、B200、B300 集群上用 GPU 时间预算替代优先级调度;有论文指出在 gpt-oss-120b 上 A100 比 H100 更便宜,自托管成本为每百万输出 token 0.12 至 0.35 美元;SupraLabs 的 100M 参数文生图模型 Supra2-IMG 在单块 H100 上不到 10 小时训练完成。

相关话题

Ai2 用 GPU 预算调度替代优先级调度

Ai2 将优先级调度换为 GPU 时间预算、分层公平分配和时间切片,把 GPU 分配从逐个讨论转为透明预算流程。其集群含数千块 NVIDIA H100、B200、B300,约150名研究员使用,需求常达供给的2-3倍。

Hugging Face Blog ·

21M模型搭配6.4B查找表媲美114M密集模型,表可驻留SSD

开发者fehcyy发布稀疏记忆LM项目,给21M参数模型配16.8M行查找表(表参数6.4B,每token用33M),在500M Wikipedia词上训练后性能与114M密集模型相当。表可4-bit量化并内存映射到NVMe SSD,在RX 9070上达140 tok/s,仅占0.4GB显存;但读取长提示慢,每缺失行需4KB页面。Triton内核在Radeon、MI350X和H100/H200上运行不变。给预训练模型嫁接表无效。

r/LocalLLaMA ·

Jeeves:推理增强Jev类决策模型发布

开发者发布Jeeves,一个基于Qwen3.5-9B的Jev类决策模型,采用LoRA、指针头和CISPO训练,并配备块4扩散草稿器。它在未见过的测试数据上准确率0.889,超过Kev-9B的0.822和Jev的0.857,在JevBench公开难题上达0.935;单张H100上不思考约0.3秒/请求,思考中位耗时3.3秒,代码、权重与数据均已开源。

Hacker News ·

CoWA与MALA注意力机制提速长上下文

作者提出CoWindow Attention(将远端上下文按互补窗口分配到各KV头,无需学习路由器)和MassAlloc Attention(利用softmax统计决定是否执行后续计算)。在8张H100、128K上下文下,注意力算子前向/反向/解码分别最高提速7.4x/8.6x/3.0x,14B模型32K训练FLOPs减少28.5%和23.1%,能力与FullAttn相当。

r/MachineLearning ·
已经到底了