摘要
我们通过研究基于规则的系统复杂性如何影响训练模型预测这些规则的能力,来探索人工智能系统中智能行为的涌现。我们的研究重点是一维元胞自动机(ECA),这是一种简单而强大的系统,能够产生从简单到高度复杂的各种行为。通过在不同的ECA上训练不同的大型语言模型(LLM),我们评估了规则行为的复杂性与LLM展现的智能(体现在其下游任务的性能上)之间的关系。我们的研究结果表明,规则的复杂性越高,模型展现的智能性就越高,这体现在其推理和象棋走子预测任务上的表现。均匀和周期性系统,以及通常高度混沌的系统,都会导致较差的下游性能,这突出了有利于智能的复杂性的最佳点。我们推测,智能源于预测复杂性的能力,而创造智能可能只需要接触复杂性。