研究:FLOPs估算难以预测微调时长
Hugging Face基于272个生产级SFT任务(约7382 GPU小时,NVIDIA H200)发现,传统FLOP估算对实际时长解释力很弱(R²=0.31,MAE 12.41小时)。仅用派发前信息的CatBoost模型在五折交叉验证中R²达0.98,MAE为1.71小时,中位误差0.51小时。对共享GPU集群调度具有实际意义。
AI 日报收录的 CatBoost 相关报道,共 1 篇,按时间倒序,每小时更新。
Hugging Face基于272个生产级SFT任务(约7382 GPU小时,NVIDIA H200)发现,传统FLOP估算对实际时长解释力很弱(R²=0.31,MAE 12.41小时)。仅用派发前信息的CatBoost模型在五折交叉验证中R²达0.98,MAE为1.71小时,中位误差0.51小时。对共享GPU集群调度具有实际意义。