大型语言模型已展现出作为下一代信息访问引擎的巨大潜力。然而，它们的可靠性受到幻觉和生成非事实内容问题的阻碍。这在长篇回复中尤为突出，因为评估和确保事实准确性很复杂。本文通过提出 FactAlign，一个旨在增强大型语言模型长篇回复的事实性并保持其有用性的新型对齐框架，来解决这一差距。我们引入了 fKTO，一种细粒度的句子级对齐算法，它扩展了 Kahneman-Tversky 优化 (KTO) 对齐方法。利用自动事实性评估的最新进展，FactAlign 利用细粒度的事实性评估来指导对齐过程。我们在开放域提示和信息搜索问题上的实验表明，FactAlign 显着提高了大型语言模型回复的事实准确性，同时还提高了其有用性。进一步分析表明，FactAlign 能够训练大型语言模型提供更多信息而不会损失事实精度，从而提高事实 F1 分数。我们的源代码、数据集和训练模型在 https://github.com/MiuLab/FactAlign 上公开提供。