“当然，我很乐意为你创作一个故事：莱拉船长站在她可靠的飞船‘混乱之怒’的舵轮旁，凝视着无边无际的大海。[...] 莱拉的眼中涌出泪水，她意识到残酷的真相——她为了转瞬即逝的财富牺牲了一切，失去了船员的爱、家人的爱，以及她自己。”尽管这个由大型语言模型生成的故事引人入胜，但人们可能想知道——如果模型选择“梅芙船长”作为主角，故事将会如何发展？我们不得而知。最先进的大型语言模型是无状态的——它们不保留任何内部记忆或状态。给定一个提示，它们使用自回归过程生成一系列标记作为输出。因此，它们无法对过去生成的标记进行反事实的替代推理。在这项工作中，我们的目标是增强它们的功能。为此，我们开发了一种基于 Gumbel-Max 结构因果模型的标记生成因果模型。我们的模型允许任何大型语言模型以几乎不增加成本的方式进行反事实标记生成，与普通标记生成相比，它易于实现，并且不需要任何微调或提示工程。我们在 Llama 3 8B-instruct 上实现了我们的模型，并对反事实生成的文本进行了定性和定量分析。我们以反事实标记生成用于偏差检测的演示性应用作为结束，揭示了关于大型语言模型构建的世界模型的有趣见解。