Percy Liang @percyliang

鉴于已经有那么多人尝试过 NanoGPT，我真没想到一次就能把耗时减少 40%！ [引用 @classiclarryd]: NanoGPT 创下新的历史纪录，@DevenPzak 达到 39.9 秒（-27.7 秒），打破了此前 67.6 秒的纪录！ 这项纪录为 NanoGPT 引入了一种新的思维范式：不去优化矩阵乘法或添加更具表现力的操作，而是在单个 flop 层面进行优化，凭借极其聪明的工程和机器学习判断力。如果某个 flop 在某一步价值不高，就跳过它。 具体来说： -(~8 秒…