LLM2D
基于上下文增强的对比搜索以改善大语言模型文本生成
Context-Enhanced Contrastive Search for Improved LLM Text Generation
作者: Jaydip Sen, Rohit Pandey, Hetvi Waghela
发布日期: 5/1/2025
arXiv ID: oai:arXiv.org:2504.21020v1

摘要

arXiv:2504.21020v1 类别: cross 摘要:最近,大语言模型(LLMs)在自然语言处理(NLP)方面已经取得了显著的进步。然而,生成高质量的平衡连贯性、多样性与相关性的文本仍然颇具挑战性。传统解码方法,如最佳豆搜索和 top-k 抽样,经常难以产生重复或不连贯的输出,尤其是在需要生成长篇文本的任务中。为了解决这些局限性,论文提出了一种对已熟知的对比搜索算法进行的新颖增强,即上下文增强对比搜索(CECS)算法,该算法引入了上下文校准。提出的方案包括动态上下文重要性加权、多层次对比搜索和自适应温度控制,以优化流畅性、创造性与精确性之间的平衡。CECS 的性能使用 BLEU、ROUGE 和语义相似度等几种标准度量进行了评估。实验结果表明,CECS 在连贯性和相关性方面显著优于现有对比搜索技术生成的文本。所提出的算法具有多种潜在的实际应用,包括法律文件起草、客户服务聊天机器人和内容营销。