摘要
大型语言模型(LLMs)被视为超越人类能力的智能体,因此,它们必须具备强大的知识理解能力。然而,现有的基准研究并未对 LLMs 的知识理解能力提供一致、可推广和正式的保证。在本研究中,我们提出了第一个框架,以正式的概率保证对 LLMs 的知识理解能力进行认证。我们的证书是量化的——它们包含对目标 LLM 在从分布中采样的任何知识理解提示上给出正确答案的概率的高置信度、严格界限。我们设计并认证了新颖的规范,这些规范利用知识图精确地表示知识理解提示的分布。我们对 Wikidata5m 知识图上的规范认证了最先进的 LLMs。我们发现,随着模型规模的扩大,知识理解能力显著提高。