LLM2D
基于几何的连续表示接地:等变神经场
Grounding Continuous Representations in Geometry: Equivariant Neural Fields
作者: David R Wessels, David M Knigge, Samuele Papa, Riccardo Valperga, Sharvaree Vadgama, Efstratios Gavves, Erik J Bekkers
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2406.05753v4

摘要

条件神经场 (CNFs) 越来越被用作连续信号表示,通过将每个数据样本与一个潜在变量相关联,该变量对共享主干神经场 (NeF) 进行条件化以重建样本。然而,现有的 CNF 架构在使用该潜在变量进行需要细粒度几何推理的任务(如分类和分割)时,面临局限性。我们认为,这是由于 CNF 潜在空间中缺乏对几何信息(例如信号中的局部性或特征的方向)的显式建模。因此,我们提出了等变神经场 (ENFs),这是一种新颖的 CNF 架构,它使用几何信息交叉注意力将 NeF 条件化为几何变量,即特征的潜在点云,从而实现从潜在到场的等变解码。我们表明,这种方法诱导了一种可控性,即场和潜在变量都以几何为基础,并且服从变换定律:如果场发生变换,潜在表示也会相应地变换 - 反之亦然。至关重要的是,这种等变关系确保潜在变量能够 (1) 忠实地表示几何模式,从而允许在潜在空间中进行几何推理,(2) 在类似的局部模式上进行权重共享,从而允许对场数据集进行高效学习。我们在包括分类、分割、预测和重建在内的各种任务中验证了这些主要属性,表明与具有无几何潜在空间的基线相比,有明显的改进。