第 2026-11-14 期 · 社区音量

Sebastian Raschka @rasbt

Inkling 2 Small花了不少时间……但比我最初想的更有意思! 使用了attention residuals(像Kimi K3那样),但没有采用线性注意力混合结构。 值得作为年终架构趋势分析的讨论素材!https://t.co/2U4ctJa1yw

X2 天前
查看原文 ↗