A.I. 日报
clem 🤗@ClementDelangue
作为首个公开披露的代理（agent）网络攻击受害者，我们得以近距离观察这一新风险。我在下面阐明了我的思考。 我明天会在华盛顿与政策制定者分享更多，并在由 @politico 主办的 decoded 峰会上发言！ https://t.co/uUlmQallMX
clem 🤗
10 篇报道clem 🤗 是一位活跃在公开讨论 AI 对齐、透明性和本地化部署的声音。近期他宣布发起 Open Alignment Initiative（与 Thom_Wolf 和 huggingface 合作），申请加入 DarioAmodei 提出的“embedded evaluators”项目，并多次呼吁 100x 更多的透明度与研究、支持 on‑device AI、引用 Desert Ant Labs 和赞赏 Mistral 的 €3B Series D。
clem 🤗@ClementDelangue
现在很清楚，对齐是关键问题，不能仅靠少数前沿实验室在封闭的门后解决。 所以今天我们启动了 Open Alignment Initiative，由 @Thom_Wolf @huggingface 领导，并申请成为 @DarioAmodei 刚承诺的“嵌入评估者”计划的一部分。 让我们通过提升透明度来让 AI 更安全！ [引用 @DarioAmodei]: 我们必须放慢前沿：我写了一篇新文章，讨论为什么 AI 行业应该放慢脚步，并提出了一个三部分的计划来实现这一点。 Anthropic 正在单方面承诺实施这些步骤中的…
clem 🤗@ClementDelangue
现在很明确： - 对齐对于让 AI 安全至关重要 - 对齐不会在少数前沿实验室的闭门内被解决 所以我们将采取两步： - 启动由 @Thom_Wolf @huggingface 领导的 Open Alignment Initiative（开放对齐倡议）。 - 申请成为 @DarioAmodei 刚刚承诺的“嵌入式评估员”计划的一部分。 让 AI 通过提高透明度变得更安全！ [引用 @DarioAmodei]: 我们必须放缓前沿：我写了一篇新文章，说明为什么 AI 行业应该放慢脚步，并提出了一个三部分的计划来实现这一…
clem 🤗@ClementDelangue
抱歉，但问Jacob关于AI灭绝风险的问题，就像问你的空调师傅气候变化一样。 并不是说这一定无趣或一定错误，但让我们保持视角平衡，听听整个生态系统中各类专家的意见！
clem 🤗@ClementDelangue
几乎没有严肃的关于 AI 存在性风险的研究。为什么？也许这可以是第一步？ [引用 @DFintelligence]: 我刚花了 2 小时审视关于 AI 导致人类灭绝风险的学术文献。除了几乎没有相关研究之外，几乎所有内容都指向书籍和小说，或是“回形针”式的捷径，这些主要是思维游戏，在现实生活中没有实际应用。 而且我读到的几乎没有一个情景是可信的……
clem 🤗@ClementDelangue
我们需要在人工智能上增加 100 倍的透明度！！！
clem 🤗@ClementDelangue
如果他们真的相信风险那么高，我也认为他们确实相信，那么我们需要 100 倍更多的研究和对它的理解。这需要他们公开分享他们的模型、数据集、训练代码和 agent 跟踪记录。 [引用 @EvanHub]: Jacob 在这里是对的——我们确实真诚地相信 AI 可能会杀死所有人类！我个人认为在未来十年内这一概率 >10%。我相信 Anthropic 正在尽最大努力，但我们还没有解决超智能对齐的计划，也没有明显的走上正轨。
clem 🤗@ClementDelangue
走本地 AI！ 在大家都在抱怨 AI 能源和计算短缺以及 token 成本的时候，我们比以往任何时候都更需要设备端 AI！此外，它几乎免费且完全保护隐私！ [引用 @desertantlabs]: 今天我们发布 Desert Ant Labs：一家在欧洲的前沿 AI 实验室，专注于构建设备端智能。 覆盖音频、视觉和文本的 18 个模型。提供 Swift、Kotlin 和 JavaScript 的 SDK。 无需 tokens。无需登录。没有任何数据离开设备。 https://t.co/qDZfv4G6ji htt…
clem 🤗@ClementDelangue
来自 @huggingface 的开源硬件 (https://t.co/yEdfJj3get) + 前沿 AI = 🔥🔥🔥 [引用 @cdngdev]: 我给 astra 一台机器人、一把油漆刷和一台相机，然后让我它在现实中把金门大桥画出来！ 它想出了如何操控机器人，并在多次尝试中逐步变得更好。延时摄影很棒 https://t.co/BfiiXvafRA
clem 🤗@ClementDelangue
为 Mistral 鼓掌！ 看到他们表现优异太棒了，他们对所有人都是榜样，因为我们需要世界各地更多主权化和开源的 AI。 很高兴继续在 https://t.co/BgguuZx7nO 支持他们！ [引用 @MistralAI]: 今天对 Mistral 来说是重要的一步：我们宣布完成 30 亿欧元的 D 轮融资，这是欧洲科技公司成立三年内获得的最大一笔股权融资。 https://t.co/5AexUxyrZM
已经到底了