arXiv:2504.15188v2 宣告类型: 替换 摘要：当前的大语言模型（LLMs）在通用推理方面表现出色，但在需要专有或特定领域知识的专用任务上却力不从心。为了每个特定应用重新训练大型模型往往由于黑箱约束和高计算开销而不可行。为了解决这一问题，我们提出了一种协作框架，该框架将一个专门的弱模型与一个通用的强大模型配对。专门的弱模型针对特定领域进行调整，生成初步草稿和背景信息，而强大的模型利用其高级推理能力对这些草稿进行修正，从而扩展大语言模型在关键且专门任务上的能力。为了优化这种协作，我们引入了一种协作反馈机制，对弱模型进行微调，该机制量化了弱模型在协作过程中的影响，并建立偏好对来指导弱模型的偏好调优。我们通过在三个领域进行实验验证了该框架。我们发现，协作显著优于单独使用每个模型，这是通过利用互补优势实现的。此外，将弱模型与协作偏好对齐进一步提高了整体性能。