memt-1.0-nano

1 篇报道

AI 日报收录的 memt-1.0-nano 相关报道,共 1 篇,按时间倒序,每小时更新。

相关话题

memt-1.0架构解析:内置记忆,存储缩小66倍

有研究者披露memt-1.0的记忆原生架构:它采用gated deltanet-2,把记忆直接写入模型计算层,并配合mixture-of-storage层扩展容量,不再依赖追加式提示或外部RAG。在128k上下文下,memt-1.0-nano端到端推理约提速1.86倍,持久存储较全量KV缓存减少66倍;两阶段训练共使用34B token,以保持通用推理能力。

r/MachineLearning ·
已经到底了