AMD发布代理式AI全栈方案
AMD发布面向代理式AI的全栈计算平台,涵盖EPYC处理器、Instinct加速器、Pensando网络与ROCm软件。代理式AI将CPU与GPU配比从聊天机器人的1:4至1:8推向1:1甚至更高,并公布嵌入式和PC端多项合作。
ROCm 是 AMD 面向 GPU 计算的开源软件栈,为 Instinct 加速器等硬件提供编程与运行支持。近期报道中,AMD 发布的全栈智能体 AI 平台将 ROCm 与 EPYC CPU、Instinct 加速器和 Pensando 网络并列;社区注意到 ROCm 10.1 针对数据搬运瓶颈;开发者基于 ROCm 的 Kyojin 引擎让 300B 级 MoE 模型在单台 128GB 迷你主机上运行;另有 ZLUDA 搭配 ROCm/HIP 在 Windows 上运行 CUDA 应用的方案。
AMD发布面向代理式AI的全栈计算平台,涵盖EPYC处理器、Instinct加速器、Pensando网络与ROCm软件。代理式AI将CPU与GPU配比从聊天机器人的1:4至1:8推向1:1甚至更高,并公布嵌入式和PC端多项合作。
Reddit的LocalLLaMA社区用户发帖讨论ROCm 10.1版本,称其着力突破数据搬运瓶颈。帖子未提供更多技术细节。
开发者发布Kyojin引擎,基于ExLlamaV3并针对AMD Strix Halo(ROCm)优化,使两个300B级MoE模型各自可运行在一台128GB迷你PC上。GLM-5.3-Flash预填充约580 tok/s,MiMo-V2.6-Flash解码最高44 tok/s,并附有与官方FP8的KLD及Top-1一致率对比。
r/LocalLLaMA帖子批评新推理引擎普遍以NVFP4/MXFP4为卖点,认为FP4量化对小参数稠密模型损害严重,易导致幻觉和推理错误;大模型可承受少量精度损失,小模型则可能完全失效。
社区发布了基于 ZLUDA + ROCm/HIP 的可复现方案,允许在 Windows 上用 AMD GPU 运行面向 CUDA 的应用(经验证的参考硬件为 Radeon RX 9060 XT)。项目通过官方 ZLUDA 预览版和 HIP/rocBLAS 等组件完成了对若干 CUDA 库和一个 2.2M 参数 PPO 网络的验证,但并非保证所有 CUDA 程序都可运行。