英伟达:全栈协同设计应对AI内存挑战
随着模型变大、上下文变长,GPU内存压力上升且供给趋紧。英伟达称通过GPU、CPU、网络、存储与软件的全栈协同设计提升内存利用效率:从Blackwell Ultra到Vera Rubin,每GPU的HBM容量仅增约3%,但智能体每美元吞吐量最高提升30倍。
AI 日报收录的 Blackwell Ultra 相关报道,共 1 篇,按时间倒序,每小时更新。
随着模型变大、上下文变长,GPU内存压力上升且供给趋紧。英伟达称通过GPU、CPU、网络、存储与软件的全栈协同设计提升内存利用效率:从Blackwell Ultra到Vera Rubin,每GPU的HBM容量仅增约3%,但智能体每美元吞吐量最高提升30倍。