Dust：无需反向传播的Transformer预训练方法

研究者提出零阶方法Dust，通过独立扰动每个token的激活值，在单次前向传播中并行评估整个虚拟种群。该方法在足够算力下可逼近甚至超越反向传播，比最先进进化策略方法EGGROLL效率高10³至10⁴倍，且更大模型反而更具种群效率。