LLM2D
Home
Arxiv
返回列表
基于语言模型的语义变异度量的一致统计测度
A statistically consistent measure of Semantic Variability using Language Models
作者:
Yi Liu
发布日期:
2/4/2025
arXiv ID:
oai:arXiv.org:2502.00507v1
摘要
arXiv:2502.00507v1 交叉类型公告 摘要: 为了解决语言模型生成输出的可变性问题,我们提出了一种在温和假设下统计一致性的语义可变性度量。这种度量称为语义谱熵,是一种易于实现的算法,只需要标准的语言模型即可。我们对语言模型施加了很少的限制,并且在清晰的模拟研究中显示,尽管存在来自语言模型的随机性,该方法仍能生成准确的度量值。
查看原文
下载 PDF