arXiv:2407.11686v4 宣告类型: replace-cross 摘要：大型语言模型（LLMs）通过在大量数据集上训练，在多个领域取得了卓越的性能。然而，在资源受限的情况下扩展LLMs以支持多种下游领域应用仍然是一个重大挑战。现有的方法往往难以在多个领域之间平衡性能与资源效率，限制了它们的广泛应用。为了解决这一问题，我们引入了CCoE架构，这是一种模块化框架，能够将特定领域的专家无缝集成到统一的LLM中。通过在共享主干分割上独立训练专家子网络，CCoE实现了最先进的性能，同时显著降低了多专家部署所需的资源要求。此外，CCoE中的基于规则的门控和专家规划使得任务分配具有灵活性，促进了专家间的协作以处理复杂的推理任务。CCoE不仅降低了推理成本，还提供了一种灵活且可扩展的解决方案来整合跨不同应用的领域专业知识。在五个领域上的实验表明，CCoE的性能与当前领域特定的LLMs相当。此外，与现有的多领域模型集成方法相比，CCoE在内存使用上减少了61.3%，在参数效率多专家集成方法的推理效率上提升了0.76倍。