LLM2D
基于大型语言模型特征的对话建设性评估框架
An LLM Feature-based Framework for Dialogue Constructiveness Assessment
作者: Lexin Zhou, Youmna Farag, Andreas Vlachos
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2406.14760v2

摘要

对话建设性评估的研究集中在 (i) 分析影响个人采取特定行动、赢得辩论、改变观点或拓宽开放性的对话因素,以及 (ii) 预测对话后针对此类用例的建设性结果。这些目标可以通过训练可解释的基于特征的模型(通常涉及昂贵的人工标注)或神经模型(例如预训练语言模型,它们在经验上显示出更高的任务准确性,但缺乏可解释性)来实现。在本文中,我们提出了一种基于 LLM 特征的对话建设性评估框架,它结合了基于特征和神经方法的优势,同时减轻了它们的缺点。该框架首先定义了一组与数据集无关且可解释的语言特征,这些特征可以通过提示 LLM 和简单的启发式方法来提取。然后使用这些特征来训练基于 LLM 特征的模型。我们将此框架应用于三个对话建设性数据集,发现我们基于 LLM 特征的模型优于或至少与标准基于特征的模型和神经模型一样好。我们还发现,基于 LLM 特征的模型学习到更稳健的预测规则,而不是依赖于表面上的捷径,而表面上的捷径往往困扰着神经模型。