LLM2D
hallucination、可靠性以及 generative AI 在科学中的作用
Hallucination, reliability, and the role of generative AI in science
作者: Charles Rathkopf
发布日期: 4/14/2025
arXiv ID: oai:arXiv.org:2504.08526v1

摘要

arXiv:2504.08526v1 类型: cross 摘要:生成式人工智能在科学领域中的应用越来越广泛,从蛋白质折叠到气候建模。然而,这些模型会产生特定的错误,被称为幻觉——这些错误表面上看起来是对的,但实际上却是错误的。更糟糕的是,一些论证表明,幻觉是由生成推理背后机制不可避免的结果。幸运的是,这些论证依赖于仅基于模型内部属性来定义幻觉的概念,而没有将其与实际目标系统进行比较。这种概念未能区分对科学推理无害的错误与那些有害的错误。我引入了腐蚀性幻觉的概念,以捕捉令人关注的子类:实质性误导且难以系统预见的误述。我论证虽然腐蚀性幻觉确实对科学可靠性构成威胁,但它们并不是不可避免的。像AlphaFold和GenCast那样的科学工作流程,都可以通过在训练过程中施加理论限制,并在推理时战略性地筛查错误,来抵消它们的影响。在这样的工作流程中,生成式人工智能可以可靠地为科学知识做出贡献。