在抽象摘要中，从源文档中包含的大量信息中生成简洁准确的摘要是一个挑战。因此，虽然大型语言模型（LLMs）可以生成流畅的文本，但它们经常通过幻觉生成原始来源中不存在的内容而引入不准确性。虽然最大化似然的监督微调方法有助于解决这个问题，但它们并不能始终如一地提高摘要的忠实度。基于偏好的优化方法，例如直接偏好优化（DPO），可以进一步细化模型以与人类偏好保持一致。但是，这些方法仍然严重依赖于昂贵的人工反馈。在本研究中，我们介绍了一种新颖且直接的方法，称为基于模型的偏好优化（MPO），用于微调 LLMs 以提高摘要能力，而无需任何人工反馈。通过利用模型固有的摘要能力，我们创建了一个偏好数据集，该数据集完全由模型使用不同的解码策略生成。我们在标准摘要数据集和各种指标上的实验表明，我们提出的 MPO 显着提高了生成摘要的质量，而无需依赖人工反馈。