研究者2.6万字长文称AI模型或远比想象易理解
Goodfire研究员Nick Cammarata发表2.6万字博文,提出大模型内部逻辑可能比外界预想更易解读,引发AI界热议与乐观情绪。但多位知名研究者提醒,神经元只是理解模型的一小部分,目前对顶级模型机制的掌握不足0.01%。Cammarata本人也承认外界过度解读其结论。
Goodfire 是一家专注人工智能可解释性研究的公司,致力于理解模型内部的工作机制。近期报道聚焦其研究员 Nick Cammarata 发布的一篇 26,000 字文章,称大模型可能比预想中更容易被理解,神经网络可通过神经元和电路直接研究;同时公司推出了新的 AI 智能体监控工具,通过观察模型运行过程而非另付一次 AI 读取全部行为来降低成本。
Goodfire研究员Nick Cammarata发表2.6万字博文,提出大模型内部逻辑可能比外界预想更易解读,引发AI界热议与乐观情绪。但多位知名研究者提醒,神经元只是理解模型的一小部分,目前对顶级模型机制的掌握不足0.01%。Cammarata本人也承认外界过度解读其结论。
Goodfire的Nick Cammarata发表文章提出,早期模型中多义神经元的成因并非叠加,而是可修复的普通问题,因而可直接研究网络本身的神经元与电路,机制可解释性的前景可能远好于此前预期。
Goodfire发布新型监控工具,通过窥探模型内部运行而非调用第二个AI来审查代理行为,仅在发现可疑情况时介入,从而大幅降低成本。