LLM2D
学习人类对齐的表示:对比学习与生成相似性方法
Learning Human-Aligned Representations with Contrastive Learning and Generative Similarity
作者: Raja Marjieh, Sreejan Kumar, Declan Campbell, Liyi Zhang, Gianluca Bencomo, Jake Snell, Thomas L. Griffiths
发布日期: 2/3/2025
arXiv ID: oai:arXiv.org:2405.19420v3

摘要

arXiv:2405.19420v3 宣告类型: replace-cross 摘要:人类依赖有效的表示方式从少量的例子中学习,并从感官数据中提取有用的信息。在机器学习模型中诱导这样的表示方式已被证明能够在诸如少样本学习和鲁棒性等各种基准测试中提高它们的性能。然而,找到有效的训练程序以实现这一目标可能颇具挑战性,因为富含心理特征的训练数据,如人类相似性判断,难以大规模应用,而人类归纳偏好的贝叶斯模型在复杂的真实场景中往往难以处理。在这里,我们通过利用一种生成相似性的贝叶斯概念来应对这一挑战,即如果两个数据点很可能来自相同的分布,则它们被视为相似。该度量可以应用于复杂的生成过程,包括概率程序。我们将生成相似性纳入对比学习目标中,以使模型能够学习表述人类认知表示的嵌入。我们通过表明该方法可以用于捕捉形状规律性、抽象欧几里得几何概念以及自然图像的语义层次结构等人类类似表示,来展示我们方法的实用性。