预训练大型语言模型 (LLM) 在执行零样本任务（包括时间序列预测）方面 surprisingly effective。然而，由于模型的复杂性，理解这些能力背后的机制仍然极具挑战性。我们研究了 LLM 推断动力系统行为的能力，这些动力系统的演化遵循具有物理意义的原理。我们的结果表明，主要基于文本训练的语言模型 LLaMA 2，无需微调或提示工程即可对动力系统时间序列进行准确预测。此外，学习到的物理规则的准确性随着输入上下文窗口长度的增加而提高，揭示了神经网络缩放定律的上下文版本。在此过程中，我们提出了一种灵活高效的算法，用于直接从 LLM 中提取多位数的概率密度函数。