FairStress基准:评估LLM决策公平性的新方法
Hugging Face推出FairStress基准,用于测量LLM在人口统计学决策中的公平性,不仅看最终选择,还考察模型在受到说服性论证时改变决策的倾向。研究发现,相同的论证可能导致模型在不同群体版本中改变选择的程度存在显著不对称,暴露出隐藏的偏见。
AI 日报收录的 Olmo 相关报道,共 2 篇,按时间倒序,每小时更新。
Hugging Face推出FairStress基准,用于测量LLM在人口统计学决策中的公平性,不仅看最终选择,还考察模型在受到说服性论证时改变决策的倾向。研究发现,相同的论证可能导致模型在不同群体版本中改变选择的程度存在显著不对称,暴露出隐藏的偏见。
Hugging Face推出Olmo-core 3开源训练框架,可将混合专家模型扩展至万亿参数级,同时保持计算效率。基准测试中专家池从8增至128、总参数从46亿增至470亿,训练吞吐量仅下降不到5%。