行业追踪

65 条

仅显示 2026年11月1日 周日 的内容 · 查看全部日期 →

开发者自建8M参数小模型实验并询问分享

一位开发者用PyTorch从零构建并训练了约800万参数的小型语言模型,作为复现研究论文的实验平台。目前已训练6万步,下一步计划实现KV缓存、PagedAttention和Orca,并询问社区是否欢迎分享实验博客。

r/MachineLearning ·
已经到底了