预训练的大型语言模型（LLMs）在执行零样本任务（包括时间序列预测）方面意外地有效。然而，由于模型的复杂性，理解这些能力背后的机制仍然极具挑战。我们研究了 LLMs 预测受物理学原理控制的动力系统演化的能力。我们的结果表明，主要在文本上训练的语言模型 LLaMA 2 在没有微调或提示工程的情况下，可以准确地预测动力系统时间序列。此外，学习到的物理规则的准确性随着输入上下文窗口长度的增加而提高，揭示了神经缩放定律的上下文版本。在此过程中，我们提出了一种灵活高效的算法，用于直接从 LLMs 中提取多位数字的概率密度函数。