LLM2D
MIH-TCCT:通过事件驱动的文本-代码循环训练减轻LLM中的一致性幻觉
MIH-TCCT: Mitigating Inconsistent Hallucinations in LLMs via Event-Driven Text-Code Cyclic Training
作者: Xinxin You, Xien Liu, Qixin Sun, Huan Zhang, Kaiyin Zhou, Shaohui Liu, GuoPing Hu, ShiJin Wang, Si Liu, Ji Wu
发布日期: 2/14/2025
arXiv ID: oai:arXiv.org:2502.08904v1

摘要

arXiv:2502.08904v1 宣告类型: 新 摘要: 近期利用合成数据集的方法旨在解决大型语言模型(LLMs)中的不一致幻觉问题;然而,这些方法主要针对特定任务,限制了其普适性。受编码训练模型在逻辑密集领域中出色表现的启发,我们提出了一种新颖的框架,该框架利用基于事件的文本生成相应的代码,并采用循环训练方法有效地将代码的逻辑一致性传递给自然语言。我们的方法显著减少了三种领先LLMs和两类自然语言任务中不一致幻觉的发生,同时保持整体性能的稳定。该框架有效减轻了幻觉现象,无需对下游任务进行适应,展示了其普适性并为解决不一致幻觉的挑战提供了新的视角。