第 2026-10-17 期 · 行业追踪 · 研究 · 应用

AI代理框架影响缓存效率与能耗

AI代理框架影响缓存效率与能耗

Neuralwatt分析一个月云流量发现,代理框架的缓存策略导致未缓存输入占比1.6%至11.1%。缓存未命中约使请求能耗翻倍,在GLM-5.3上达2.5倍;超过128k token的深层会话中,一次重读过半提示词的预填充成本相当于约600个普通轮次。作者指出,所有缓存中断均源于框架修改已发送内容,因此大部分问题可修复。

Hacker News10 小时前
查看原文 ↗