第 2026-11-14 期 · 社区音量
Sebastian Raschka @rasbt
Inkling 2 Small花了不少时间……但比我最初想的更有意思! 使用了attention residuals(像Kimi K3那样),但没有采用线性注意力混合结构。 值得作为年终架构趋势分析的讨论素材!https://t.co/2U4ctJa1yw
查看原文 ↗Inkling 2 Small花了不少时间……但比我最初想的更有意思! 使用了attention residuals(像Kimi K3那样),但没有采用线性注意力混合结构。 值得作为年终架构趋势分析的讨论素材!https://t.co/2U4ctJa1yw
查看原文 ↗