LLM2D
HumT DumT:测量和控制LLM中的人类语言特性
HumT DumT: Measuring and controlling human-like language in LLMs
作者: Myra Cheng, Sunny Yu, Dan Jurafsky
发布日期: 2/20/2025
arXiv ID: oai:arXiv.org:2502.13259v1

摘要

arXiv:2502.13259v1 Announce Type: cross 摘要:LLM生成的语言应该使其看起来像人类吗?类人类的语言可以改进用户体验,但也可能导致过度依赖和刻板印象。评估这些潜在影响需要一种系统性的方法来衡量LLM输出中的人类化语气。我们引入了HumT和SocioT,这两种基于LLM相对概率的文本数据中人类化语气和社会感知的其他维度的度量方法。通过在偏好和使用数据集中测量HumT,我们发现用户更倾向于LLM不太人类化的输出。HumT还揭示了拟人化的影响:类人类的LLM输出与温暖、社会亲近感、女性化和低地位高度相关,这些都与上述危害密切相关。我们引入了DumT,这是一种使用HumT系统性地控制和减少人类化语气程度但保持模型性能的方法。DumT提供了一种缓解与拟人化语言生成相关风险的实际方法。