arXiv:2407.18521v3 宣布类型: replace-cross 摘要: 本文介绍了Patched MOA（混合智能体）推理优化技术，该技术显著提升了大型语言模型（LLMs）在多种软件开发任务中的性能。我们评估了三种推理优化算法——Best of N、Mixture of Agents和Monte Carlo Tree Search，并展示了Patched MOA能够提升较小模型的性能，使其超越更大、更昂贵的模型。值得注意的是，我们的方法在Arena-Hard-Auto基准测试中将gpt-4o-mini模型的性能提高了15.52%，成本仅为gpt-4-turbo的几分之一。我们还将Patched MOA应用于各种软件开发工作流程，展示了在任务完成率上的持续改进。我们的方法是模型无关的、对最终用户是透明的，并且可以很容易地集成到现有的LLM管道中。这项工作促进了LLM优化领域的增长，提供了一种无需微调或更大模型即可提升模型性能的低成本解决方案。我们的实现是开源的，并可在https://github.com/codelion/optillm获得。