第 2026-11-14 期 · 行业追踪 · 开源 · 研究
开发者用约190行纯JAX实现DeepSeek V3架构

一位开发者仅用190行纯JAX代码实现了DeepSeek V3的架构,包括多头潜在注意力、DeepSeekMoE等组件,并在MacBook Air上从零预训练了一个小模型。该实现不依赖Flax、Equinox或PyTorch,所有参数均为普通字典。
查看原文 ↗话题:DeepSeek

一位开发者仅用190行纯JAX代码实现了DeepSeek V3的架构,包括多头潜在注意力、DeepSeekMoE等组件,并在MacBook Air上从零预训练了一个小模型。该实现不依赖Flax、Equinox或PyTorch,所有参数均为普通字典。
查看原文 ↗