LLM2D
关于表征对齐的一致性
Getting aligned on representational alignment
作者: Ilia Sucholutsky, Lukas Muttenthaler, Adrian Weller, Andi Peng, Andreea Bobu, Been Kim, Bradley C. Love, Christopher J. Cueva, Erin Grant, Iris Groen, Jascha Achterberg, Joshua B. Tenenbaum, Katherine M. Collins, Katherine L. Hermann, Kerem Oktar, Klaus Greff, Martin N. Hebart, Nathan Cloos, Nikolaus Kriegeskorte, Nori Jacoby, Qiuyi Zhang, Raja Marjieh, Robert Geirhos, Sherol Chen, Simon Kornblith, Sunayana Rane, Talia Konkle, Thomas P. O'Connell, Thomas Unterthiner, Andrew K. Lampinen, Klaus-Robert M\"uller, Mariya Toneva, Thomas L. Griffiths
发布日期: 11/27/2024
arXiv ID: oai:arXiv.org:2310.13018v3

摘要

生物和人工信息处理系统形成对世界的表征,它们可以利用这些表征进行分类、推理、规划、导航和决策。我们如何衡量这些不同系统所形成的表征之间的相似性?表征的相似性是否会转化为相似的行为?如果是这样,那么如何修改一个系统的表征以更好地匹配另一个系统的表征?这些关于表征对齐研究的问题是当代认知科学、神经科学和机器学习一些最有前景的研究领域的核心。在本篇综述中,我们调查了认知科学、神经科学和机器学习领域表征对齐研究中令人兴奋的最新进展。尽管这些领域存在重叠的兴趣,但这些领域之间的知识转移有限,因此一个领域的工作最终会在另一个领域重复,而有用的创新并没有得到有效的共享。为了改进交流,我们提出了一个统一的框架,该框架可以作为表征对齐研究的通用语言,并在我们的框架内绘制跨领域的几条现有工作流。我们还阐述了表征对齐中的一些开放性问题,在这些问题上取得进展可以使这三个领域都受益。我们希望这篇论文能够催化跨学科合作,并加速所有研究和开发信息处理系统的社群的进步。