摘要
arXiv:2412.05342v3 公告类型: 替换交叉
摘要:大规模语言模型(LLM)通常被微调以参与二元或两方对话,这使其难以适应多方对话(MPD),从而阻碍了它们在多人会议、讨论和日常交流等场景中的应用。之前的基于LLM的研究主要集中在多智能体框架上,而它们的基本LLM仍然是一对一微调的。在这项工作中,我们设计了一个针对多方对话数据集的大规模语言模型(LLM)多方微调框架(MuPaS),并证明这种简单的框架能够有效地使LLM与多方对话方式对齐。我们还设计了两种训练策略,可以将MuPaS转换为MPD模拟器。大量实验表明,MuPaS可以实现最先进的多方响应,更高的人和自动评估的话语质量,甚至在不常见的场景、话题和角色描述下也能生成合理的话语。MuPaS框架将LLM的训练与更复杂的多方应用场景,如对话生成、虚拟排练或元宇宙连接起来。