LLM2D
利用对比学习和生成相似性学习捕捉人类归纳偏差的空间
Using Contrastive Learning with Generative Similarity to Learn Spaces that Capture Human Inductive Biases
作者: Raja Marjieh, Sreejan Kumar, Declan Campbell, Liyi Zhang, Gianluca Bencomo, Jake Snell, Thomas L. Griffiths
发布日期: 10/2/2024
arXiv ID: oai:arXiv.org:2405.19420v2

摘要

人类依靠强大的归纳偏差从少量示例中学习,并从感官数据中抽象出有用的信息。在机器学习模型中灌输这种偏差已被证明可以提高其在各种基准测试中的性能,包括少样本学习、鲁棒性和一致性。然而,找到有效的训练程序来实现这一目标可能具有挑战性,因为心理丰富的训练数据(例如人类相似性判断)难以扩展,并且人类归纳偏差的贝叶斯模型对于复杂、现实的领域通常难以处理。在这里,我们通过引入生成相似性的贝叶斯概念来解决这一挑战,其中两个数据点被认为是相似的,如果它们可能来自相同的分布。该度量可应用于复杂的生成过程,包括概率程序。我们表明,即使其确切形式难以处理,生成相似性也可用于定义对比学习目标,从而能够学习表达特定归纳偏差的空间嵌入。我们通过展示该方法可用于捕获人类对几何形状的归纳偏差、区分由概率程序参数化的不同抽象绘图风格,以及捕获使泛化成为可能的抽象高级类别来证明该方法的效用。