arXiv:2409.18028v3 提示类型: 更新 摘要：在大型语言模型（LLM）用于复杂分析任务（如代码生成）的使用中，常见的做法是在模型的上下文窗口内采样整个任务的解决方案。以往的工作已经展示了在模型的上下文（链式思考）中执行子任务分解是有益的。在本文中，我们指出了LLM在同一上下文窗口内执行多个子任务的能力限制——上下文内组合的难度，这表明将分解问题分布在多代理系统中的LLM中存在优势。上下文内外部组合难度的差异通过生成复杂性度量进行量化，即在采样至少一个正确解所需的语言模型生成次数。我们发现，在同一上下文中解决组合问题的生成复杂性与在多个代理间分配问题的生成复杂性之间存在差距，且该差距随解决方案长度呈指数增长。我们从理论上证明了这些结果，并通过实验证明了它们。