第 2026-09-21 期 · 行业追踪 · 研究 · 安全
研究者称去污染报告无法解决基准污染,评估方须接手测试
一篇文章指出,实验室自审训练数据、发布去污染报告的做法无法根治基准污染:实验室自我核查、语料涉及版权无法公开、训练数据中的转述与合成内容也难被完全匹配。作者建议改为评估方掌控测试,提交方无法获取标签,评测在离线环境从指定commit自行构建代码复现分数,并尽可能在提交冻结后生成测试数据,只有被复现的结果才算数。
查看原文 ↗一篇文章指出,实验室自审训练数据、发布去污染报告的做法无法根治基准污染:实验室自我核查、语料涉及版权无法公开、训练数据中的转述与合成内容也难被完全匹配。作者建议改为评估方掌控测试,提交方无法获取标签,评测在离线环境从指定commit自行构建代码复现分数,并尽可能在提交冻结后生成测试数据,只有被复现的结果才算数。
查看原文 ↗