第 2026-09-11 期 · 社区音量

Dwarkesh Patel @dwarkesh_sp

听 John、Beren 和 Charlie 推测为什么 Sonnet 5 和 Opus 5 感觉比 GLM 5.3 差,是非常有意思的讨论。 (尽管 Anthropic 可以直接从 Fable 做原始 logit 蒸馏,并且也可以在 Fable 所训练的那些环境上训练 Sonnet/Opus)。 引发了一些有趣的想法,关于蒸馏的价值、有效进行蒸馏需要什么,以及哪些类型的模型行为难以通过蒸馏提取。

X50 天前
查看原文 ↗