A.I. 日报
Dust：无需反向传播的Transformer预训练方法
研究者提出零阶方法Dust，通过独立扰动每个token的激活值，在单次前向传播中并行评估整个虚拟种群。该方法在足够算力下可逼近甚至超越反向传播，比最先进进化策略方法EGGROLL效率高10³至10⁴倍，且更大模型反而更具种群效率。
AI 日报收录的 EGGROLL 相关报道，共 1 篇，按时间倒序，每小时更新。
Dust：无需反向传播的Transformer预训练方法研究者提出零阶方法Dust，通过独立扰动每个token的激活值，在单次前向传播中并行评估整个虚拟种群。该方法在足够算力下可逼近甚至超越反向传播，比最先进进化策略方法EGGROLL效率高10³至10⁴倍，且更大模型反而更具种群效率。