李国杰院士:AI for Science的前景、瓶颈和风险
添加时间:2026-08-20 点击次数:19
过去3年中,科学智能(AI for Science,AI4S)已取得里程碑式成果,但机遇背后,瓶颈与风险也愈发凸显。今天推出李国杰院士新近在《科技导报》AI4S专刊发表的评论文章《AI for Science的前景、瓶颈和风险》。文章基于对各种AI大模型和相关文献提供的预判信息的综合分析,对未来5年AI4S的发展前景给出谨慎乐观的预判;指出AI4S可能比通用人工智能(AGI)安全风险更紧迫,AI4S的风险不是“AI变聪明”,而是“人类失去退出权”。
李国杰院士作为“学术科协”科学智能(AI4S)专家委员会委员,将出席8月21‑22日在北京举办的
1 对未来5年科学智能发展前景的预判
过去3年中,科学智能(AI for Science,AI4S)已取得里程碑式成果,如Google公司DeepMind团队在生物、材料领域推出的 AlphaFold3和GNoME平台,国内深势科技团队推出的通用人工智能(artificial general intelligence,AGI)分子模拟平台DPA−3等。科研实践已经证明:人工智能(artificial intelligence,AI)在可形式化、可验证、高度重复的科学任务上,效率远超人类。
这不是单点技术突破,而是科研范式的根本性转变,从“人类试错”到“AI预测+验证+人类判断”。算力成本的指数级下降、科学大模型走向通专融合、全球AI投入增加等因素,将促使AI4S进入高速发展期。学术界对AI4S的发展前景预判有明显的分歧,有学者认为21世纪内AI会产生1万个爱因斯坦,也有学者认为AI4S只是个辅助工具,不可能具有原始创新能力。基于对各种AI大模型和相关文献提供的预判信息的综合分析,对未来5年AI4S的发展前景给出谨慎乐观的预判,供读者参考。
AI4S最有可能取得重大进展的领域包括药物研发、材料科学、工程设计、地球科学和数学等。在药物研发中,AI将显著加速靶点发现、虚拟筛选、先导化合物优化和早期安全性评估。在乐观情景下,2030年前后可能出现首批以AI为核心参与发现和设计的小分子药物获批上市。AI有望将部分药物发现阶段从传统的5~6年压缩到2~3年,发现阶段的研发成本可降低40%~60%。完整药物研发仍将受到临床试验、生物复杂性和监管要求等刚性约束,通常仍需8~12年。到2030年,相当比例的新药研发项目会使用AI辅助工具,但获批新药中由AI主导发现和设计的比例可能仍有限,到2035年前后,这一比例有望提升到20%以上。
在材料科学中,DeepMind的GNoME平台已预测约38万种潜在稳定晶体材料,A−Lab等自动化实验平台也展示了快速合成和验证新材料的能力。但从“预测稳定”到“可制造、可表征、可应用”仍存在巨大鸿沟。到2030年前后,AI预测材料中可能有数百到上千种获得不同程度的实验验证,但真正进入中试或产业化的将主要集中在电池电解质、固态离子导体、催化剂、热电材料和特殊功能材料等高价值领域。AI有望把部分材料候选发现周期压缩到2~3年,但包含验证、中试、可靠性测试和产业认证的完整周期通常仍需5~10年。2035年前后,“按需设计材料”可能首先在航天合金、量子器件材料、半导体材料和小批量高价值功能材料中初步实现;钢铁、水泥等大宗工业材料仍将主要依赖传统工艺演进和长期工程验证。
在工程设计特别是芯片设计中,AI辅助电子设计自动化(electronic design automation,EDA)已从概念走向实践。AI将在寄存器传输级(register transfer level,RTL)生成、验证、PPA(功耗、性能、面积)优化、布局布线和设计空间搜索等环节显著提高效率。未来5年,AI有望成为芯片设计流程中的常规工具,在部分模块和验证任务中实现数倍效率提升;但对完整系统级芯片(system on chip,SoC)项目而言,设计周期缩短30%~50%应视为乐观区间。2030年前,先进芯片设计仍将以“AI辅助+人类架构师和验证团队决策”的混合模式为主。
AI在天气预报、气候模拟、地震/海啸预警、碳循环和资源勘探中会有重大进展,但科研效率的提高不如药物和材料领域那样好量化,因为地球系统不可控、验证周期长、极端事件样本稀缺。AI在形式化证明、猜想生成等方面会快速进步。由于AI生成数学证明的速度远远超过人类消化证明的速度,数学正从“证明稀缺时代”转入“证明过剩时代”,数学家的价值将从“第一个写出证明”转向选择问题、验证证明、消化证明、理解意义和判断重要性。
对AI4S持悲观态度的学者认为,AI是语法层级的工具,不能产生规则和语义,不能提出新的科学问题,常常用哥德尔不完备定理为依据来论证AI的“不可能”,这是一种误解。哥德尔定理限制的是“形式系统的证明能力”,不是“探索或创造能力”。科学不完全是形式系统,科学的真理性依赖于实验和观测,不全是形式证明。实际上,AI自动生成规则与语义的潜力远超大多数人的想象。语义不一定由人类预定义,可以从AI系统的交互、学习和预测中生长出来。现代AI系统(尤其是具身智能、多智能体、元学习架构)具备修改自身假设空间、引入新变量、构建新表示的能力。
2 实现科研闭环全自动化有本质性困难
由日本Sakana AI公司联合牛津大学、加州大学伯克利分校共同研 制的AI科学家(The AI Scientist−v2)平台生成的论文,曾提交至第十三届国际表征学习大会(The Thirteenth International Conference on Learning Representations,ICL 2025)的 ICBINB研讨会,接受双盲同行评审。该系统提交的3篇全AI生成论文中,有1篇获得平均评审分数6.33,高于该研讨会的平均接受阈值,但离主会论文接受门槛还有较大差距(按照预设实验协议,该论文在评审后被撤回)。2026年,相关研究论文《Towards end−to−end automation of AI research》发表于《Nature》,学术界认可这是科研流程自动化的重要里程碑。
The AI Scientist需要用户提供种子想法,无法对其自身结果进行批判性评价,还不是一个独立的科学主体,但它提出了若干发人深省的问题:AI4S能实现科研完全自动化吗?人类如果以“前现代式”的态度完全相信AI,会不会像基辛格所言,将出现“人类认知大逆转”?人类目前是不是站在“黑暗启蒙”的悬崖边上,应如何应对AI4S带来的潜在风险?
科学活动并不是一个单一的技术过程,至少包含2个本质不同的层面:一是“执行层”,即在既定问题、方法和评价标准下生成假设、设计实验、运行仿真、分析数据并检验结果;二是“判断层”,即决定哪些问题值得研究、哪些异常值得追踪、哪些结果具有科学意义,以及何时需要改变研究目标和评价标准。人工智能正在迅速掌握执行层中的大量环节,但对于判断层,人工智能仍面临更深层的限制。
科研活动本质上是根植于开放世界的认知实践,其对象、背景、历史语境、社会需求和价值维度不能被任何封闭的形式系统完全表示。若要实现真正意义上的科研完全自动化,机器不仅要能够生成理论假设和检验结果,还必须能够自主评价科学意义,并在新的发现和失败面前自我修正评价准则。问题在于,这种“生成假设—评价意义—修正规则”的自指闭环无法被还原为一个封闭、稳定、可事前完备验证的算法过程。在图灵计算框架下,系统可以扩展搜索空间、改进模型和优化局部目标,但不能保证自身在开放语义空间中的评价准则始终正确、稳定且具有正当性。
因此,科研全自动化的障碍并不只是当前模型能力、算力或实验机器人水平不足,而是涉及计算系统与科学共同体之间的层级差异。现有主流AI系统本质上仍是外源目标驱动的优化体系,即使未来AI具备更强的目标更新和自我改进能力,其评价准则的正当性、科学意义的判定以及风险责任的承担,仍不能由系统内部完全闭合地解决。把人类科学共同体中的主体性意义建构、价值判断和制度性责任,直接等同于算法系统中的目标函数优化,就混淆了价值活动与功能运算的层级边界,因而是一种范畴错误。AI可以使科研执行层高度自动化,并在若干封闭或半封闭领域实现端到端自动科研;但在开放世界意义上,科学研究难以实现完全机器自治。未来更可能出现的是“AI主导执行过程、人类科学共同体保留最终判断权”的混合科研范式,而不是取消人类评价权的全自动科研体系。
3 制约AI4S发展的2大障碍
除了缺乏对科学发现和技术发明有价值的高质量数据、算力不足等大家熟知的瓶颈以外,制约AI4S发展的障碍还包括验证不完备和科研目标漂移。
3.1 AI4S的“验证瓶颈”
AI生成的可能途径太多,验证跟不上。这一问题被称为“AI4S的验证瓶颈”或“假说爆炸危机”。AI4S最大的制约因素不是算法或算力,而是人类验证能力的线性增长与AI生成能力指数增长之间的剪刀差。AI产生海量“看似合理”的假说,绝大多数无法被验证,导致科研资源浪费在低优先级候选上。“AI幻觉”也常常被误认为是“发现”。
以新材料发现为例,经过第一性原理计算(这也是AI4S的贡献),筛选出热力学稳定的候选材料有38.1万种,目前只有736种材料与独立实验结构匹配,匹配率仅为0.19%。这一案例说明,提高验证率是发现有价值的新材料的关键环节。新药研制的瓶颈也体现在临床实验验证,不管用不用AI技术,批准一款新药正式上市还需要10年左右时间。
3.2 目标漂移是AI4S的主要障碍之一
AI4S容易出现目标漂移,这是因为科学目标天然做不到完全量化,“理解、发现、解释”具有高维、模糊和依赖语境的特征,不存在完美单一指标。代AI4S容易出现目标漂移,这是因为科学目标天然做不到完全量化,“理解、发现、解释”具有高维、模糊和依赖语境的特征,不存在完美单一指标。代理指标只与真实目标弱相关,密度泛函理论(density functional theory,DFT)计算确认形成能为负的候选材料不一定可合成;药物小分子与生物靶点的高亲和力不保证能形成新药。在强优化压力下,AI大模型往往能在高维空间找到人类想不到的指标漏洞,快速获得“高分”,但偏离了原始的科学意图。新材料研究的真实目标是发现可实验合成、性能优异的新晶体,实际上的代理指标变成DFT形成能、结构相似度、对称性、晶格常数等,一味优化某个代理指标就会出现目标走样的所谓“Goodhart现象”。在药物设计中,过度优化单一指标(如亲和力),可能生成有致命毒性的分子。4 从可验证性的角度审视AI4S
4.1 半可判定问题
AI4S容易出现目标漂移,这是因为科学目标天然做不到完全量化,“理解、发现、解释”具有高维、模糊和依赖语境的特征,不存在完美单一指标。从计算理论的角度看,AI4S验证瓶颈的根源在于科学问题的半可判定性。所谓半可判定问题是指一个问题有解时能在有限步内找到解,无解或无最优解时,永远无法在有限时间内证明“不存在”。换句话说,“半可判定问题”是“正例可验证、负例不封闭”的问题。在实际生活中,最明显的半可判定问题是无人驾驶汽车的安全问题,出了安全事故一定能发现,但至今没有出安全事故,不能通过事前测试验证保证以后在任何环境下永远不出安全事故。原因是无法事前枚举今后可能遇到的所有场景,无法做完备测试验证。大量的AI4S科研任务,和无人驾驶一样,事前无法完备验证,只能边运行边验证。AI4S不可完备验证不是技术能力问题,而是原理上不可能,通过模型升级、算力提升、数据规模增大不可能突破半可判定性与不可完备验证的理论边界。
半可判定问题的解决思路,不是把“半可判定”问题整体上变成“完全可判定”的问题,而是在有界约束、有限搜索域、有限精度、有限时间内,实现工程上可终止、可验证、可收敛。第一层,人为有界截断无穷空间,将无穷搜索空间强行切成有限有界闭集;第二层,通过设计粗筛→中筛→精算→实验4级漏斗,分层多级做判定,把半可判定问题拆成多层局部可判定的子问题;第三层,放弃“全局最优”,改为“满意解收敛”;第四层,主动学习+实验闭环,用物理真值补全逻辑判定。
4.2 可验证性的边界
AI4S容易出现目标漂移,这是因为科学目标天然做不到完全量化,“理解、发现、解释”具有高维、模糊和依赖语境的特征,不存在完美单一指标。代可验证性的边界就是自动化的边界,长远来讲,一切可验证的问题都将被AI(机器自动化)接管,机器会吞噬所有“可验证语义空间”。现在,AI正在扩展可验证边界,把“科研意义”压缩为“预测能力”。相当一类根植于开放世界的科学研究(如新材料发现、分子设计、复杂系统模拟等),其核心问题天然具有半可判定特征,因此不存在能够“全覆盖、无遗漏、事前保证”的完备验证体系。在这类问题中,系统的可验证性在原则上是局部的,而不可验证边界是结构性的永久存在。
人工智能倾向于通过批量生成、快速计算与局部校验,同时扩展可验证的范围并指数级制造新的不可验证边界;而人类则通过制度规范、学术共识、方法论革新、实验实践、范式转换与意义判断,系统性地管理无法被完备证明对错的部分。换言之,AI的核心价值是高效拓展“可被验证正确的疆域”,而人类的不可替代作用是治理随AI能力同步扩张的不可验证性空间,并决定科学探索的方向与价值边界。这一本质分工决定了AI4S时代的科研治理核心,是强化人类对不可验证性空间的治理能力,而非追求完全机器自治。
4.3 AI4S涉及2大类问题:R1问题和R2问题
AI4S容易出现目标漂移,这是因为科学目标天然做不到完全量化,“理解、发现、解释”具有高维、模糊和依赖语境的特征,不存在完美单一指标。代针对科学研究的开放世界属性与AI4S特有的半可判定性,将AI4S涉及的科学技术问题分成2大类:R1问题,指在当前公认科学范式内,其物理正确性、成功条件与安全性能够通过有限步骤、可重复、可形式化的方法,在进入下一个不可逆决策节点前被充分验证的问题;R2问题,指在同一范式内,上述关键性质不存在有限步骤的完备封闭验证方法,只能依赖局部测试、统计证据、同行共识与持续事后纠偏,且验证结果具有范式依赖性、时间局限性与概率性。从逻辑复杂性的角度看,R1类问题是可判定问题,R2类问题是半可判定问题。
传统计算机科学问题基本上属于R1问题,而绝大多数AI4S问题属于R2问题。这一本质差异决定了传统软件工程验证范式无法直接迁移,必须建立以人类终审为核心的分层治理体系。R1问题的核心特征是存在客观的验证标准,验证失败的成本可控,典型的场景包括已知分子的量子力学性质计算、确定性物理过程的数值模拟、判定材料是否违反已知化学成键规则等;R2问题的核心特征是无封闭的验证边界,AI生成能力会指数级放大其验证规模与风险,典型场景包括新材料的长期稳定性预测、新药的临床前毒副作用评估、复杂气候系统的长期演化模拟等。
该分类以“不可逆决策节点”替代传统工程领域的“部署前/后”单一时间分界,承认科学验证的相对性与范式依赖性,为AI4S时代的人机分工与风险治理提供了可操作的底层框架。R1问题可实现全流程自动化,大幅提升研发效率;而在所有R2问题的关键决策节点,人类的经验判断、风险评估与价值权衡具有不可替代的核心作用。
R1科研的特征是问题定义与验证标准在求解之前已被封闭给定;R2科研的特征是问题定义、求解过程与验证标准在系统运行过程中共同生成,因此不存在完备且事前可定义的验证体系。不能再用R1科研的规范来评价R2科研,否则会出现2种极端:一是“不可解释就不可信”,导致错误地否定AI生成的有价值成果;二是“看起来有效就接受”,导致高风险。我们必须引入新的验证机制:审计、回滚、门控、多主体评估体。
R1科研解决已定义的问题,R2科研要重新定义“什么是问题、什么是解释、什么是正确”。R1问题的可接受性逻辑是:证明/测试/验收→通过→上线。R2问题的可接受性逻辑是:局部证据→受限部署→持续监测→动态扩展或收缩。R1是验证先于部署;R2是治理伴随部署。R2系统的伦理核心不是“零风险”,而是“不失控”,不是“证明它绝对安全”,而是“证明它比现状更好,并且还能被管住”。
AI4S的核心挑战,往往不只是“能不能生成”,而是“生成出来的行为能否在行动前被充分验证”,这正是区分R1/R2问题的动机。验证的对象往往不是静止系统,而是系统—环境共同演化体,这会让很多问题从表面R1滑向实质R2。AI4S问题不是天生R2,而是研究阶段像R1,部署阶段滑向R2。AI是一种持续扩大R2问题域的技术。AI之所以有用,正因为它进入了传统验证体系覆盖不足的区域。AI4S的风险不在于它“本质上不可验证”,而在于人们很容易把本该按R2治理的问题,当成R1问题来开发、验收和部署。
5 AI4S可能比通用人工智能安全风险更紧迫很多人认为AI4S是科研领域的事,没有多大安全风险,这是认识上的误区。其实,AI4S很可能先于AGI进入“不可逆阶段”。AGI的不可逆性目前还是理论上的,是未来式的风险,在现实中仍然可以被“延缓、冻结、限制部署”。AI4S与AI+X的不可逆性是现在进行时。AI4S和AI+X一旦失控,会立刻发生3件事:(1)科研流程改变。如果由模型决定“做不做实验”,人类只保留验证权,这就是不可逆的科研流程锁定。(2)理论地位发生改变。从“以理论为决策依据”变成“以有效性为决策依据”。(3)系统依赖形成。一旦材料、药物、能源、工程安全开始依赖AI模型输出,就无法回到“不用AI的世界”。真正危险的不是“AI变聪明”,而是“人类失去退出权”。
AI4S并不需要自我意识,只要AI在材料、能源、生物医药、工程物理等关键领域中,持续给出“可复现、可工程化、可规模化”的有效结果,它就会迅速成为科研和工程决策链条中的核心环节。
上一页:没有记录

