LLM2D
使用语言模型的语义变异性统计一致度量
A statistically consistent measure of Semantic Variability using Language Models
作者: Yi Liu
发布日期: 2/12/2025
arXiv ID: oai:arXiv.org:2502.00507v2

摘要

arXiv:2502.00507v2 宣布类型: replace-cross 摘要: 为了解决语言模型生成输出的变异问题,我们提出了一种统计上一致的语义变异度量方式。该度量方式称为语义频谱熵,是一种易于实现的算法,仅需使用现成的语言模型即可。我们对语言模型的限制非常少,并且通过清晰的仿真研究显示,即使受到语言模型随机性的影响,该方法也能生成准确的度量指标。