第 2026-09-24 期 · 行业追踪 · 模型发布 · 开源 · 研究

开发者发布2.6B Engram模型训练更新

一位开发者披露了其2.6B参数Engram模型的架构细节:基于OLMo 3的冻结嵌入/输出头,搭配4.3B Engram表和多层SWA,采用AttnRes实现上下文感知检索。模型仍在训练中,属于早期开源实验。

r/LocalLLaMA13 天前
查看原文 ↗