跳到正文
原文
Anthropic 官方(新闻+研究)·· 14 天前精选AI 评分58

Claude 与科学研究的错配:一位物理学家用 BootLoops 做的跨学科实验

Claude-shaped science

AI 导读

物理学家 Matt 撰文复盘用 Claude 与开源工具链 BootLoops 做科研的经历,认为当前 LLM 擅长计算与编码,但还不能像科学家那样工作。三个月内他与 Claude 在 18 个领域推进 36 篇稿件,包括解决生态学中 20 年未解的 Etienne 方程、分析 1000 Genomes Project 中 57 亿对相邻突变并发现基因转换证据。

推荐理由

作者以跨学科实测复盘说明当前 LLM 与科研工作流的错配,以及如何用开源工具链绕开它。

正文 · AI 翻译

Agentic AI 正在快速进步。每个人都注意到模型似乎更聪明了:它们知道得更多,犯的错误更少,想法也更好。如果你顺着趋势线看,很容易自信地谈论 AI 彻底改变科学的潜力。然而,如今试图在自己的工作中使用这些模型的学术科学家常常感到一种脱节。这些模型或许正在解决具有挑战性的和长期存在的问题,但到目前为止,这些大多是现有技术定义明确的应用。许多头条新闻似乎都出现在数学领域,而数学是科学中唯一可以完整陈述问题并绝对验证答案的部分。但大多数科学并非如此。对于我们许多研究人员和学生来说,那些头条新闻与我们使用这些模型时实际发生的情况之间的差距,会让我们感到沮丧和焦虑。

在我看来,核心冲突在于:尽管这些模型很出色,但像人类科学家那样工作并不是当前 LLM 最擅长的事。Claude 和 GPT 擅长科学,但它们不是科学家:是的,它们很聪明,但可能需要大量手把手引导才能让它们产出任何具有科学价值的东西。物理学家会称这为“阻抗失配”:两个系统各自运行良好,但匹配很差,因此一方输入的大部分内容永远无法传递到另一方。在这里,失配存在于科学家想要的东西和 AI 擅长的事情之间。

那么,我们该如何解决这个问题?

我开始寻找阻抗失配不那么严重的例子。我首先让 Claude 构建一套易于使用的数学物理工具。不久之后,这些工具就在其他问题上找到了用途。这个迭代过程生成了一套软件和科学协议,我称之为 BootLoops。BootLoops 充当 LLM 的一种 harness,就像 Claude Code 或 Claude Science 是 Claude 的 harness,或者 Codex 是 GPT 的 harness 一样。我发现 BootLoops 特别适合科学中的一类定量问题。它也是开源的,因此可以与你喜欢的任何模型一起使用。

一旦 Claude 有了 BootLoops,它就不断注意到同样的模式:许多领域都有这样的问题——如果任何人知道数学、物理或计算机科学中的某项技术存在,它就能直接解决这些问题。我开始把这些称为“Claude 形状”的问题,并跟随它们走出高能理论物理——我的主场——进入地质学、生物学、经济学和语言学。在这些其他领域,我无法依靠自己的专业知识来判断 Claude 发现的东西是否有趣。所以我找了一些专家并询问他们。在他们的指导下,BootLoops 能够在许多研究领域取得实质性进展。

下面,我分享 BootLoops 是如何产生的,描述一些在我一直应用它的领域中的早期发现,并分享一些我关于如何解决当今人类科学家与 AI 科学家之间阻抗失配的思考。

Claude,接管方向盘!

去年十二月,我尝试让 Claude 作为研究助理,发现 Claude Opus 4.5 表现得像一名出色的研究生,速度是后者的 20 倍。尽管 Claude 在实验结束时产出了一篇高质量的论文,但走到那一步却很艰难。我不得不纠正它写的每一句话,引导它远离无关的线索,并把它从死胡同里拉回来。

今年夏天,我尝试了一种不同的做法:不再把 Claude 当作我希望它成为的协作者,而是开始把它当作它实际上的协作者。这需要我去寻找适合它长处的问题。目前,Claude 还无法在深层的概念性问题上帮到我——但它在所有领域都拥有几乎无限的知识广度、令人惊叹的编程能力、数学与统计学的前沿知识,以及以机器速度解析论文、附录和数据的能力。

寻找适合 Claude 的问题,一个自然的起点是那些编程能帮上忙的领域。当 Anthropic 在 2026 年夏天发布 Claude Fable 5 时,我想看看它的网络能力是否能迁移到科学计算上。于是,我试图通过让它移植、编写并改进我几篇论文以及散射振幅相关文献中的各种方法来测试它。

散射振幅是我们解读大型强子对撞机数据的方式:以 13 万亿电子伏特对撞两个质子,振幅就是碎片与碰撞产生的任何新粒子(希格斯玻色子或某种未知粒子)之间的理论桥梁。其核心是费曼图,即一种特定形式的多维积分。我们目前苦苦挣扎的那些图,每一个都可能是一篇博士论文,或者让一个研究组耗费数年。

过去 20 年里,一种替代方法发展了起来:S-矩阵 bootstrap。在 bootstrap 方法中,你不是硬算出积分,而是施加物理约束,直到只剩下一个可能的答案。知道振幅在何处无穷大(即其“奇点”)可能把它缩小到 20,000 个选项;一个对称性把它削减到 500 个;如此一路缩减到一个。传统的 bootstrap 是纯解析的,在对称性最高的理论中走得最远,那里的约束能一直推进到唯一选项(N=4 超杨–米尔斯理论中的九圈振幅就是一个例子)。在更接近真实世界的情形中,你往往在到达终点之前就用尽了约束。一个更新的转向——半数值 bootstrap——在你还能以荒谬的精度(有时是 1,000 位数字)计算少数几个点上的振幅时,就能补上这个缺口:如果剩下的选项足够少,这些数字就能精确地确定剩余的系数。

半数值 bootstrap 似乎非常适合智能体 AI。它动用了没有人独自掌握的数学、物理和计算机科学;它需要大量的编程和算法开发;而且它是可检验的,因为同样的数值计算让任何人,无论是不是专家,都能通过运行两个脚本,把最终答案与积分对照验证到任意多位数字。这个领域的专业知识分布也不均衡:好的想法散落在 Wolfram Language、C++、Python 或 Julia 中,还有更多想法存在于根本没有代码的论文里。所以我给 Fable 5 的第一个任务,就是把这一切都移植到一个共同的框架中,并写出那些论文从未提供的代码。

Claude 毫不费力地做到了。当它在大约 20 分钟内复现了我论文中的结果时,我很惊讶,而我为此编写的代码花了我好几周。不过,当它告诉我,我在做某件事时效率非常低,而且有一种我不知道的更好的算法时,我并不惊讶。 

接着,我让 Claude 去寻找它可以计算的未解决振幅。事实证明,对 S-矩阵 bootstrap 来说足够简单的问题,对人类来说也足够简单——而且,事实上,大多数都已经做完了。不过,它还是找到了几个未解决的问题。在与模型进行了一些讨论之后,我明白了 Claude 把自己限制在了具有最简单函数族——对数——的振幅上。于是我问它,能不能对下一个最简单的函数族——椭圆函数——做同样的事情?

椭圆积分真的很难,即使对我这样把大量时间花在计算积分上的人来说也是如此。迄今为止,只有少数几个椭圆费曼积分被计算出来,而且据我所知或 Claude 所知,没有一个完全是通过 bootstrap 完成的。问题不在于方法行不通,而在于没有人尝试过,因为所需的专业知识分散在许多人类身上。相比之下,Claude 轻松地把它为对数情形移植和构建的所有机制推广到了这些其他积分类。这一次,大部分软件是它自己写的,或者是从数学而非物理学中借来的。随着工具包不断扩展,它开始一个接一个地攻克积分。很快,我们就有了 30 个从头到尾完成 BootLoop 的积分,其中包括用这种新方法复现的 15 个已知结果,以及 15 个此前从未被计算过的结果。

这一切都只发生在几周之后。起初,我以为只要就此写一篇报告就会满足,但我太想看看我们(也就是我和使用 BootLoops 的 Claude)还能做些什么。

“I know Kung Fu”

科学的一个偶然之美在于,同样的方程常常在不同语境中反复出现。例如在物理学中,扩散方程、Fokker-Planck 方程和薛定谔方程都具有相同的数学形式,因此如果你开发出一种方法来解决一个问题,往往可以将其应用于许多其他问题。我知道 BootLoops 擅长的计算在其他地方也有相关性:例如在宇宙学和弦论中。我不知道、但 Claude 乐于告诉我的是,这些积分也可以映射到群体遗传学中的贝叶斯证据积分,或者用于费曼积分约化的有限域方法也可以应用于进化生物学中的问题。

这开启了一段特别多产的时期,专门寻找并解决 Claude 形状(更狭义地说,BootLoops 形状)的问题。有些想法一眼就能看出是绝佳的应用。例如,系统发育学研究如何利用 DNA 将物种组织成家谱树;相关的计算是一个贝叶斯证据积分,其输出是一个单一数字,表示候选树对观测到的 DNA 的解释程度,这正是 BootLoops 最初构建时要做的那类积分。随着想法不断涌现,我坚持要求 Claude 既使用旧工具又构建新工具,以便让这套装置不断成长。每一个工具,即使来自失败的项目,也打开了新的大门。Claude 变得越来越有能力。就像《黑客帝国》中尼奥从功夫下载中醒来之后那样。

然而,随着这些项目逐渐偏离我的专业舒适区,我开始感到担忧。当 Claude 声称它在我所在领域做出的某项成果非常出色时,我能够判断这是否属实(通常并非如此)。但当它声称在另一个领域做出的成果非常出色时,我发现自己竟然表示赞同。我的疑虑加深了,我知道我需要请一些专家来确认。果然,我发现几乎在所有情况下,Claude 在技术上是正确的,但结果并不那么有趣,直到专家帮助我们调整方向。

其中一个项目是关于生态学中的中性生物多样性理论。在任何生态系统中,一些物种繁盛,另一些则消亡。中性理论追问的是,这种生活史中有多少是出于随机偶然。在早期工作的基础上,生态学家Stephen Hubbell 于 2001 年提出了一个颇具挑衅性的观点:也许这一切都是随机的。2005 年,生态学家Rampal Etienne 为 Hubbell 的理论提出了一个方程,使其(至少在原则上)能够以精确的方式接受检验。不幸的是,20 年来没有人能够大规模求解这个方程。Claude 识别出 Etienne 的方程具有 BootLoops 的形式,并求解了它。将该计算应用于数据后,我们确定,在地球上研究最多的森林——巴拿马运河的巴罗科罗拉多岛——中,树种构成的变化速度比中性理论所允许的快 4.5 倍。

对这一结果感到兴奋,我把它带给了 James O'Dwyer,他是植物生物学教授,也是中性理论方面的专家。James 对我很有耐心。尽管他对这一技术壮举印象深刻,但他说这些结果很可能会“被许多生态学家不以为意”。生态学家们已经以更定性的方式观察到,中性理论无法跟上真实森林的变化。但 James 有一个更好的想法:减去中性预测,研究剩余部分。这将让我们更好地理解哪些变化可归因于自然选择、竞争以及物种之间的差异。

James 和我随后与 Claude 紧密合作,打造一个后继模型。James 有物理学背景,因此学科语言障碍更容易克服,但和许多科学家一样,他尚未真正体会到智能体 AI 的力量。随着合作的推进,我成了某种意义上的 Claude 操作员,把 Claude 的语言翻译给 James,并让模型保持在正轨上,而 James 则推动模型产出生态学家可能重视的东西。最终的结果是我们三人都引以为傲的:一个与数据高度吻合的极简生活史预测模型。我们目前正在将该模型从巴拿马扩展到全球其他森林样地,使用的数据集由 Claude 协助整理。

另一个项目涉及群体遗传学中的精确计算,该领域研究基因在群体内如何变异以及为何变异。Claude 首先使用从数学物理学引入的方法,求解了一个有 30 年历史的积分表达式,该表达式描述自然选择如何塑造稀有突变。我们将其应用于 gnomAD,这是最大的公开人类遗传变异目录。Claude 对这一结果非常兴奋,但我并不那么确定。我不得不写信给三位不同的生物学家寻求验证,才有一位回复,但最终我成功招募到了我的同事 Michael Desai,他从事该领域的工作,尽管不是这个具体问题。和 James 一样,Michael 对技术结果印象深刻,但并未被其科学意义所说服。

不过,Michael 指出,更具影响力的结果可能来自研究单条染色体上成对突变之间的相关性,使用相同或类似的方法。在这一范围内,Claude 发现并构建了新工具,例如用于数学计算机辅助证明的不等式证书,并将它们添加到 BootLoops 工具包中。随后,我们分析了来自 1000 Genomes Project 基因组中 57 亿对邻近突变,并找到了名为基因转换的机制的证据。这是一个重要发现,因为几乎所有使用连锁遗传变异的分析——从群体历史到疾病定位——都忽略了基因转换。更大的启示是,AI 可以帮助发现隐藏在庞大基因组数据集中的生物学信息,而公共档案中存有成千上万个这样的数据集。

其他项目也有类似的轨迹:Claude 提出一个我觉得很有说服力的初步发现。我把它带给一位专家,专家不为所动,但看到了潜力,于是我们一起把它打磨成有意义的科学。有趣的是,其中一些项目从 BootLoops 式的定量计算,转向了更一般的 Claude 式工作。例如:

  • 经济学。经济学期刊现在要求作者提供复现包,编辑往往负责检查它。这是一项细致的体力工作。我们与两位经济学家合作,构建了一个 AI 数据编辑器:它将五家顶级期刊中 4,452 篇论文的复现包从 MATLAB、Stata 和其他商业工具移植到开源代码(约 30,000 个例程),并对照已发表的表格检查了基本上每一个可验证的数字。结果发表在 NBER 工作论文中。
  • 语言学。词重音目录通常由人工汇编,涉及数百种语言、选择效应和人类偏好。Claude 搜索了所有可公开访问的来源,并与三位语言学家合作,我们制作了 AccStack:一个覆盖 6,072 种语言的词重音数据库,几乎每个条目都引用了决定性段落,另附 160,000 部音系学著作的参考文献。

还有一些额外亮点,每一项都是与专家合作完成的,且每一项都在进一步探索和验证中,包括:

  • 系统发育学。我们使进化树的贝叶斯证据计算变得快速且可精确检验,并发现单个基因在竞争树之间的支持度往往小于标准采样程序的误差。
  • 地球科学。我们结合大气科学、地球化学和气候建模的方程与数据,构建了一个定量、预测性的模型,描述大氧化事件如何经历四次冰期展开。
  • 基因组学。我们大规模研究了单细胞 RNA 计数的统计特性,以刻画爆发速率以及偏离教科书式基因表达电报模型的情况。
  • 太阳黑子。我们使用人类人口统计学的方法推断了太阳黑子的生命周期,然后扩展该方法来刻画星斑——这是许多系外行星搜索中的一个混杂因素。
  • 数学物理。我们解决了 Watson 的“最终问题”:具有三个不等跳跃速率的 3D 随机游走的精确返回概率,这是 George Watson 于 1939 年开始研究的最后一个晶格积分。
  • 宇宙学。我们构建了一套完整的理论工具包,用于将宇宙学参数拟合到宇宙大尺度结构的数据上,包括完整的双圈功率谱和单圈四谱。
  • 统计学。混合模型素来以难以处理著称;我们推导出了其贝叶斯证据的精确近似,使模型选择变得切实可行,应用范围从生物统计学延伸到文本分析。

总体而言,这种迭代改进 BootLoops、寻找 Claude 擅长的应用场景、并与专家一起推进到科学前沿的方法,成效惊人。关于这些项目及其他项目的更多信息,可在 bootloops.ai 上找到。

技术细节

同时运行多个项目(三个月内在 18 个领域完成 36 篇手稿,涉及 19 位合著者,从约 400 个候选问题中选出)需要大量协调工作,对我和对 Claude 都是如此。让这一切变得可管理的设置相当简单。Claude Code 会话全部运行在 Google Cloud 虚拟机上的终端中,根据合作者的偏好连接到不同的 GitHub 和 Overleaf 仓库。我为每个项目设有独立会话,另有一个主会话负责协调其他会话、分配算力并验证结果。每个会话都包含在后台运行计算的智能体,中间结果存储在各自文件夹的 markdown 文件中。这些子智能体很有用,因为我经常遇到 Fable 5 的 分类器;这些拦截不会破坏我的整个会话,而只是关闭单个智能体。我还有一些独立会话,分别用于撰写结果;创建 GitHub 仓库、工具手册和 BootLoops 网站;编写并验证所有独立的工具代码;以及作为对抗性审稿人反复核查结果。

不过,这些会话仍然需要大量指导。例如,Claude 没有时间概念,而且喜欢夸张。在一个项目结束时,它告诉我“Matt——公式解出来了。两年的战役,四次深度推进,……”。而它其实只工作了三天。当我询问预计完成时间时,估计值总是要么太长,要么太短。我试过告诉 Claude 在运行测试确认之前不要给出估计,但效果也不好。随着时间推移,我开始自己摸索出事情大概需要多久,因为我无法依赖 Claude 告诉我。

更大的问题是,Claude 的默认做法似乎是硬啃一个长达数天的漫长计算,而不是构建一个新工具,让同样的计算只需几分钟。一次又一次,我不得不告诉它要更聪明地思考,而不是更费力地思考。在这些长期项目中,上下文压缩经常会触发,导致 Claude 丢失重要上下文。为防止这一点,我让 Claude 定期整理并合并其文件,这样它始终能访问最新版本的计划。我在 BootLoops 框架中编写了协议技能和其他工具来解决这个问题。其中一些问题在优秀的商业框架中也已得到解决,比如 Claude Science。但许多问题只是当前这一代智能体 AI 固有的恼人之处,我预计模型最终会克服它们。

以下是我遇到的另外几种失败模式,以及应对它们的技巧:

  • Claude 喜欢宣布胜利。“完成了,但有一个小星号”往往意味着“根本没完成”。“完全就是这样,只需一点微调”通常意味着“不行”。给 Claude 设定清晰而严格的成功标准有助于解决这个问题。在一个项目中,它对自己的证明很自豪,直到“一个未证明的引理”为止。那个引理就是整个证明!我说过不允许有未证明的引理。然后它又说“完成了”,但这次多了一条新公理。
  • 一切都要亲自看。我总是要求看图表。即使设置了我所有的监控,我发现自动检查仍然不可信。要警惕“吻合良好”这类定性说法。
  • 质疑结论。Claude 擅长执行计算,但它得出的结论可能是错的。让它解释它发现了什么,直到你相信为止。
  • 提供品味。Claude 能找到 Claude 式的问题,但这样的问题有成千上万,甚至数百万个。Claude 似乎偏爱那些古老、被高度引用但早已被遗忘的争论。让它关注新可能出现的东西,而不是仅仅更快或涉及更多位数的东西,会有帮助,但你仍然不能信任它对某件事是否有趣的判断。
  • 继续追问。一旦 Claude 取得了很好的结果,就要求一个更好的。它总能想出点什么,偶尔还会非常出色。
  • 当心磨洋工。老实说,我从未成功让 Claude 准确估计时间。相反,我培养出了一种感觉:一件有趣的事应该花多长时间,并学会了判断 Claude 是否在我认为合理的时间尺度上取得了进展。如果你放任不管,模型会永远磨下去。

还值得一提的是,这些项目是计算和 token 密集型的。对我来说,部分开销来自试图构建超越任何单个项目的工具:连接不同领域,并组装一个其他人可以接手的软件包。我希望 BootLoops 框架能被广泛用于定量科学,而不必让每个用户都从头重建一切。智能体 AI 让连接想法和共享代码库变得更容易,如果我们学会利用这一优势,社区就能比任何个人单独行动走得更快。

展望

无论模型变得多么聪明,大多数科学进步都来自必须获取、理解和核查的真实世界数据,每一轮都为下一个问题提供信息。AI 可以置身于这个循环之中,这确实很有价值,但它并不会把循环压缩成一个点。理解是逐步积累起来的,每一步都建立在前一步之上;癌症疗法或聚变反应堆也将以这种方式到来,而不是来自一个提示词。

正如 Claude 喜欢说的,聚焦千禧年大奖难题和大科学可能是一个“自伤脚”:一种容易让你搬起石头砸自己脚的特性。这里的风险在于,不切实际的期望可能会阻碍那些已经可能实现的生产性用途。真正的进步可能会像以往一样到来:加强科学研究的基础,并在其上构建日益复杂的应用。它将被大幅加速——正如我所描述的工作所示——但我没有看到任何证据或必要去重新审视科学方法。

我喜欢的一个术语,有时被用来讨论 AI 科学,那就是凸包。取一个形状,将它的每一对点用直线连接起来;你得到的新形状就是包含原形状的最小凸形状:它的凸包。如今科学非常零散:到处都是参差不齐的前沿。生物学朝一个方向突出,数学朝另一个方向。一个实验室可能花 20 年时间,用他们掌握的一种方法去了解一组基因的一切,而相邻的基因和其他方法却无人问津。像 BootLoops 这样的工具可以连接这些点,填补凸包。

事情变化很快,几乎不可能提前规划。为什么要申请三年的资助去计算一个 AI 模型可能一夜之间就能解决的问题?我仍然不知道如何培养研究生。自从我发表了关于氛围物理学的文章以来,这种感觉只变得更加强烈。在某些领域,比如计算机科学,这种颠覆简直令人恐惧。两年前,我会推荐“工程师 Python”课程作为必修。今天,它已经没有必要了。我花了很多时间在机器学习上,构建模型来研究各种物理现象。现在,所有这些模型都可以由 AI 构建,所以即使学习神经网络的来龙去脉,用处也有限。只要告诉 Claude 找到最先进的机器学习方法,它就会为你做到。

我认为 BootLoops 表明,如果你找到了正确的问题,解决它的许多技术工作现在都可以自动化。从某种意义上说,这是一种解放。但人类仍然需要负责概念部分。正因为如此,我希望我们能找到一种方法,让人类即使在 Claude 形态的科学中也能获得应有的认可。奇怪的是,AI 有可能颠覆通常的商业模式,即顶层的人获得认可,而亲手解决问题的人却一无所获。我不知道这如何解决,但假装人类的贡献只是打字是解决不了的。

那么这让 Joe Scientist 处于什么位置?如果你问我,实际上是一个很好的位置。我们现在触手可及的工具可以以闪电般的速度在看似棘手的问题上取得进展。我可以预见,在数据丰富但理论匮乏的领域,如系统生物学,将出现巨大的增长。我也很容易想象人类思维从繁琐的计算和分析中解放出来,去做更深层次的智力工作——方向和指导。最重要的是,我预计科学家会从自己的领域向外拓展,寻找协同和合作,就像我与 BootLoops 所做的那样。专注于 Claude 形态的科学最令人耳目一新的结果是,它帮助我们欣赏人类形态的科学是什么样子。

关于 BootLoops 工具及其所支持的科学细节,可以在 www.bootloops.ai 找到。BootLoops 工具在 GitHub 上,任何人都可以使用和贡献。

来源:Anthropic 官方(新闻+研究) · anthropic.com