我们提出了一种基于模型的智能体，该智能体通过与环境的交互构建一个表示其世界知识的Python程序。该世界模型试图解释其交互，同时对其能获得的奖励持乐观态度。我们将这种乐观定义为程序和规划器之间的逻辑约束。我们在网格世界和任务规划中研究了我们的智能体，发现与深度强化学习相比，我们的方法样本效率更高，与ReAct风格的智能体相比，计算效率更高，并且它可以通过编辑其代码在不同环境中转移其知识。