探讨RNN、Transformer与SSM的记忆机制差异

一篇社区讨论从工作记忆角度比较三种架构：RNN将记忆压缩在循环隐藏状态中，存在约O(N)状态对O(N²)参数的瓶颈；Transformer以KV缓存存储历史表示，推理时权重冻结、只管理上下文；Mamba等选择性SSM则回归固定大小循环记忆，保留与遗忘由输入决定。

• RNN动力系统重建训练提速超100倍2026-10-02