Sensenova

循环扩散Transformer：共享块重复运行提升效率

循环扩散Transformer (Looped DiT) 在每个去噪步骤中多次运行共享transformer块，而不是扩大模型尺寸。作者通过深度监督和自调制注意力解决了朴素循环无效的问题。一个260M循环模型在多个基准上击败了6.5倍大的模型，推理计算量减少4.9倍；且在固定推理预算下，增加循环深度比增加去噪步骤更有效。用户测试显示深度1和4分别耗时约23-24秒和43-47秒，深度可在采样时调整以权衡计算和精炼。