LLM2D
MIH-TCCT:通过事件驱动的文本-代码循环训练消除一致性幻觉在LLMs中的影响
MIH-TCCT: Mitigating Inconsistent Hallucinations in LLMs via Event-Driven Text-Code Cyclic Training
作者: Xinxin You, Xien Liu, Qixin Sun, Huan Zhang, Kaiyin Zhou, Shaohui Liu, GuoPing Hu, ShiJin Wang, Si Liu, Ji Wu
发布日期: 2/20/2025
arXiv ID: oai:arXiv.org:2502.08904v2

摘要

arXiv:2502.08904v2 公告类型: 修改 摘要: 近来利用合成数据集的方法旨在解决大型语言模型(LLMs)中的不一致幻觉问题;然而,这些方法主要针对特定任务进行调整,限制了它们的普遍适用性。受编码训练模型在逻辑密集型领域中强大表现的启发,我们提出了一种新颖的框架,该框架利用事件驱动的文本生成相应的代码,并采用循环训练方法,有效地将代码的逻辑一致性传递给自然语言。我们的方法显著减少了对三个领先LLM和两类自然语言任务中不一致幻觉的产生,同时保持了整体性能。该框架有效地减轻了幻觉问题,而无需对下游任务进行调整,展示了其普遍适用性,并为解决不一致幻觉的挑战提供了新的视角。