arXiv:2502.08020v1 宣传类型: 异类 摘要: 大型语言模型（LLMs）在特定领域往往表现出色，但在其他领域却因训练的限制表现不佳。因此，通过集成互补知识使LLMs在测试时协作解决问题，有望提高它们在各个领域的性能。为了实现这一潜力，我们提出了一种新颖的合作投机解码（CoSD）算法，该算法能够在不额外训练模型的情况下高效融合LLM知识。CoSD 使用一个草稿模型生成初始序列，并使用易于学习的规则或决策树决定何时调用辅助模型以改进这些草稿。CoSD 不仅增强了知识融合，还提高了推理效率，具有跨域和模型的可移植性，并提供了更高的可解释性。实验结果表明，与现有方法相比，CoSD 在基准测试中准确率最多可提高10%，提供了一种可扩展且有效的基于LLM的应用解决方案。