arXiv:2504.15779v1 Announce Type: cross 摘要：分布式系统，如生物和人工神经网络，通过多个子系统之间的复杂交互处理信息，导致在不同尺度上产生具有独特特性的高阶模式。由于难以定义合适的多元度量标准并确保其在大型系统中的可扩展性，如何研究这些系统的信息处理仍然是一个挑战。为了解决这些挑战，我们引入了一种基于我们称之为“香农不变量”的新框架——这些量以仅依赖于熵的定义的方式捕获高阶信息处理的基本特性，并且可以高效地计算大型系统的熵。我们的理论结果展示了香农不变量如何被用来解决长期以来广泛使用的多元信息论度量在解释中的模糊性。此外，我们的实验结果揭示了各种深度学习架构在不同层面上独特的信息处理特征，这为这些系统如何处理信息以及训练过程中这些过程如何演变提供了新的见解。总体而言，我们的框架解决了分析高阶现象的基本限制，并提供了广泛的理论发展和实证分析的机会。