Percy Liang @percyliang

Astra 今天能够生成/预测一篇在其截止日期之后发表的特定新论文的概率是多少？朴素采样是行不通的（尾部概率小到天文数字级别）。 定价引导的核心思想是，你可以通过模型（Astra）与引导 LLM（拥有该论文的 Astra）之间的对话来给出这个概率的下界，其中我们可以精确核算从引导方发送到模型的信息比特数。也可以把这看作一种针对前沿模型的新评估方式。 [引用 @wen_kaiyue]: LLM 能生成新颖的研究想法吗？我们提出 Priced Guidance，通过压缩来量化这一点！ 我们对 P(LLM 预测未来某篇论文的想法 X) 给出下界。不是采样想法直到匹配上 X，而是让 LLM 玩“20个问题”来还原 X，每个提示都按意外度收费。https://t.co/QKE1byIV2Y