LLM2D
因子模拟:基于因子分解表示的生成式模拟
FactorSim: Generative Simulation via Factorized Representation
作者: Fan-Yun Sun, S. I. Harini, Angela Yi, Yihan Zhou, Alex Zook, Jonathan Tremblay, Logan Cross, Jiajun Wu, Nick Haber
发布日期: 9/27/2024
arXiv ID: oai:arXiv.org:2409.17652v1

摘要

从自然语言输入(例如用户输入或任务文档)生成模拟来训练游戏和机器人中的智能体,仍然是一个开放性的挑战。现有的方法侧重于该挑战的一部分,例如生成奖励函数或任务超参数。与之前的工作不同,我们引入了 FACTORSIM,它可以从语言输入中生成可用于训练智能体的完整代码模拟。利用编码模拟特有的结构模块化,我们建议使用分解的部分可观察马尔可夫决策过程表示,这使我们能够在生成过程的每个步骤中减少上下文依赖性。为了评估,我们引入了一个生成模拟基准,该基准评估生成的模拟代码的准确性和在强化学习设置中促进零样本迁移的有效性。我们表明,FACTORSIM 在生成模拟方面优于现有方法,包括提示一致性(例如,准确性)、零样本迁移能力和人工评估。我们还展示了它在生成机器人任务方面的有效性。