LLM2D
算法因果结构通过压缩涌现
Algorithmic causal structure emerging through compression
作者: Liang Wendong, Simon Buchholz, Bernhard Sch\"olkopf
发布日期: 2/7/2025
arXiv ID: oai:arXiv.org:2502.04210v1

摘要

arXiv:2502.04210v1 类别:交叉学科 摘要:我们探讨了因果性、对称性和压缩之间的关系。我们在因果模型不可识别的情况下,建立并推广了学习与压缩之间的已知联系。我们提出了一种框架,在这种框架中,因果性作为通过跨多个环境压缩数据的必然结果而出现。我们定义了算法因果性,作为当传统因果可识别性假设不成立时因果性的替代定义。我们展示了如何通过最小化柯尔莫戈洛夫复杂性的上界来实现算法因果性和对称结构的出现,而无需了解干预目标。我们假设这些见解也可能为因果性在大型语言模型等机器学习模型中的出现提供一种新的视角,其中因果关系可能无法明显地识别出来。