第 2026-09-24 期 · 行业追踪 · 模型发布 · 开源 · 研究
开发者发布2.6B Engram模型训练更新
一位开发者披露了其2.6B参数Engram模型的架构细节:基于OLMo 3的冻结嵌入/输出头,搭配4.3B Engram表和多层SWA,采用AttnRes实现上下文感知检索。模型仍在训练中,属于早期开源实验。
查看原文 ↗一位开发者披露了其2.6B参数Engram模型的架构细节:基于OLMo 3的冻结嵌入/输出头,搭配4.3B Engram表和多层SWA,采用AttnRes实现上下文感知检索。模型仍在训练中,属于早期开源实验。
查看原文 ↗