LLM2D
NoVo:利用注意力机制从幻觉中投票规范大型语言模型
NoVo: Norm Voting off Hallucinations with Attention Heads in Large Language Models
作者: Zheng Yi Ho, Siyuan Liang, Sen Zhang, Yibing Zhan, Dacheng Tao
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2410.08970v1

摘要

大型语言模型(LLM)中的幻觉仍然是一个主要障碍,尤其是在事实准确性至关重要的关键应用中。虽然表示编辑和阅读方法在减少幻觉方面取得了进展,但它们严重依赖于专门工具并在领域内样本上进行训练,这使得它们难以扩展且容易过拟合。这限制了它们在不同数据集上的准确性提升和泛化能力。本文提出了一种轻量级方法,即规范投票(NoVo),它利用注意力头规范的未开发潜力,显著提高了零样本多项选择问题(MCQ)的事实准确性。NoVo 首先使用仅包含 30 个随机样本的有效推理算法自动选择与真实相关的头规范,使 NoVo 能够轻松扩展到不同的数据集。之后,选定的头规范被用于简单的投票算法,从而在预测精度方面取得了显著提升。在 TruthfulQA MC1 上,NoVo 以惊人的优势超越了现有的最先进技术和所有先前的方法——至少提高了 19 个准确性点。NoVo 展示了对 20 个不同数据集的出色泛化能力,在超过 90% 的数据集中取得了显著提升,远远超过了所有当前的表示编辑和阅读方法。NoVo 还表明,对微调策略和构建文本对抗防御有希望的提升。NoVo 对头规范的有效性为 LLM 的可解释性、鲁棒性和可靠性开辟了新的领域。