研究:实验室自报基准分平均高6.4%
开源排行榜whatmodel.sh分析1,629条公开基准结果,匹配了180个模型在103个基准上的611组对比,发现实验室自报分数平均比独立测试者高6.4%。数据集与代码均已开源。
AI 日报收录的 whatmodel.sh 相关报道,共 2 篇,按时间倒序,每小时更新。
开源排行榜whatmodel.sh分析1,629条公开基准结果,匹配了180个模型在103个基准上的611组对比,发现实验室自报分数平均比独立测试者高6.4%。数据集与代码均已开源。
开源AI榜单whatmodel.sh显示,中国开放权重文本模型在基准测试上仅落后美国闭源模型约7个月。该榜单汇总了987个基准的22113个结果,数据来自独立评估和实验室自报。