摘要
大型语言模型 (LLM) 在代码生成等复杂分析任务中,通常的做法是在模型的上下文窗口内对整个任务的解决方案进行采样。先前的工作表明,在模型的上下文中进行子任务分解(思维链)有利于解决此类任务。在这项工作中,我们指出了 LLM 在同一上下文窗口内执行多个子任务的能力的局限性——上下文组合的难度,这表明将分解后的问题分布在 LLM 多智能体系统中具有优势。组合的难度由生成复杂度指标量化,即采样至少一个正确解决方案所需的 LLM 生成次数。我们发现,在同一上下文中解决组合问题的生成复杂度与将其分布在多个智能体之间的生成复杂度之间存在差距,这种差距随着解决方案长度的增加呈指数增长。我们从理论上证明了我们的结果,并通过实验证明了它们。