LLM2D
增强通用文本嵌入中的否定意识:一种数据高效和计算高效的方法
Enhancing Negation Awareness in Universal Text Embeddings: A Data-efficient and Computational-efficient Approach
作者: Hongliu Cao
发布日期: 4/2/2025
arXiv ID: oai:arXiv.org:2504.00584v1

摘要

arXiv:2504.00584v1 类型: cross 摘要:否定在自然语言推理和情感分析等各类自然语言处理任务中扮演着重要角色。先前大量的研究发现,如 BERT、ELMO、RoBERTa 或 XLNet 等上下文文本嵌入模型在准确理解否定方面面临挑战。最近,通用文本嵌入在不同任务中的表现超过了上下文文本嵌入。然而,由于流行评价基准中的偏差,这些模型的否定感知能力仍不清楚。为了弥合现有文献的差距,本文深入分析了最新通用文本嵌入模型的否定感知能力。我们的研究发现这些模型在否定感知方面存在明显不足,通常将带有否定的文本对错误地解释为语义相似。为有效处理不同任务在主题信息、否定信息以及其他语义信息之间需要不同程度权衡的冲突,本文提出了一种既高效利用数据又高效利用计算资源的嵌入重新加权方法,而不修改文本嵌入模型的参数。所提出的方法在简单的否定理解任务和复杂的否定理解任务中都能够显著提高文本嵌入模型的否定感知能力。此外,该提出的方法还能显著提高基于大型语言模型的特定任务高维通用文本嵌入模型的否定感知能力。