OLMo 3

开发者发布2.6B Engram模型训练更新

一位开发者披露了其2.6B参数Engram模型的架构细节：基于OLMo 3的冻结嵌入/输出头，搭配4.3B Engram表和多层SWA，采用AttnRes实现上下文感知检索。模型仍在训练中，属于早期开源实验。