LLM2D
混沌边缘的智能
Intelligence at the Edge of Chaos
作者: Shiyang Zhang, Aakash Patel, Syed A Rizvi, Nianchen Liu, Sizhuang He, Amin Karbasi, Emanuele Zappala, David van Dijk
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2410.02536v1

摘要

我们通过研究基于规则的系统复杂性如何影响训练模型预测这些规则的能力,探索了人工智能系统中智能行为的涌现。我们的研究重点是基本元胞自动机(ECA),这是一种简单而强大的单维系统,可以生成从微不足道到高度复杂的各种行为。通过在不同的 ECA 上训练不同的大型语言模型 (LLM),我们评估了规则行为的复杂性与 LLM 所表现出的智能之间的关系,这体现在它们在后续任务中的表现上。我们的发现表明,规则的复杂性越高,模型表现出的智能就越高,这体现在它们在推理和象棋走棋预测任务中的表现上。均匀和周期性系统,以及通常高度混沌的系统,都导致了较差的后续性能,突出了有利于智能的复杂性最佳点。我们推测,智能源于预测复杂性的能力,而创造智能可能只需要接触复杂性。