LLM2D
神经网络中组合理化能力的理论分析:必要且充分条件
A Theoretical Analysis of Compositional Generalization in Neural Networks: A Necessary and Sufficient Condition
作者: Yuanpeng Li
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2505.02627v1

摘要

arXiv:2505.02627v1 类别: cross 摘要: 组合泛化是人工智能中的一个关键性质,使模型能够处理已知组件的新组合。虽然大多数深度学习模型缺乏这种能力,但某些模型在特定任务中取得成功,这表明存在控制条件。本文推导了神经网络中组合泛化的必要且充分条件。概念上,该条件要求(i) 计算图与真正的组合结构相匹配,以及(ii) 组件在训练中仅包含足够多的信息。该条件由数学证明支持。这一标准结合了架构设计、正则化和训练数据属性的方面。精心设计的最小化示例展示了该条件的直观理解。我们还讨论了该条件在训练前评估组合泛化的潜力。这项工作是关于神经网络中组合泛化的基础理论研究。