LLM2D
召唤语义相似性
Conjuring Semantic Similarity
作者: Tian Yu Liu, Stefano Soatto
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2410.16431v1

摘要

样本表达之间的语义相似度衡量了它们潜在“含义”之间的距离。这些含义本身通常由文本表达来表示,而文本表达往往不足以区分细粒度的概念。我们提出了一种新方法,该方法基于图像而不是其他可以重新表述的文本表达来衡量文本表达之间的语义相似度。虽然人类无法做到这一点,但生成模型使我们能够轻松地可视化和比较由文本提示生成的图像或其分布。因此,我们将两个文本表达之间的语义相似度简单地定义为它们诱导的图像分布或“意象”之间的距离。我们证明,通过选择由每个文本表达诱导的反向时间扩散随机微分方程 (SDE) 之间的 Jensen-Shannon 散度,可以通过蒙特卡罗采样直接计算它。我们的方法为语义相似度提供了一个新视角,它不仅与人类标注的分数一致,而且还为评估文本条件生成模型开辟了新的途径,同时提供了对其学习表示的更好的可解释性。