第 2026-09-10 期 · 行业追踪 · 产品 · 应用

SageMaker 推出前缀感知路由以降低大模型延迟

Amazon 在 SageMaker Inference 上引入“前缀感知路由”以降低大模型响应延迟,旨在提升推理性能并优化实时应用体验。

aws.amazon.com6 天前
查看原文 ↗