OVH发布Olala mini 7A1B开源模型
OVH推出Olala mini:7B参数、每层256个专家、约1B激活参数的MoE模型,结合Differential-TPA与Mamba-3混合注意力,BF16格式,最低8GB显存即可运行,RTX A4500上达160 token/秒,纯CPU为50 token/秒,上下文32K,将以Apache 2.0在Hugging Face开源。
AI 日报收录的 Olala mini 相关报道,共 1 篇,按时间倒序,每小时更新。
OVH推出Olala mini:7B参数、每层256个专家、约1B激活参数的MoE模型,结合Differential-TPA与Mamba-3混合注意力,BF16格式,最低8GB显存即可运行,RTX A4500上达160 token/秒,纯CPU为50 token/秒,上下文32K,将以Apache 2.0在Hugging Face开源。