LLM2D
将连续表示 grounding 在几何中:共变神经场
Grounding Continuous Representations in Geometry: Equivariant Neural Fields
作者: David R Wessels, David M Knigge, Samuele Papa, Riccardo Valperga, Sharvaree Vadgama, Efstratios Gavves, Erik J Bekkers
发布日期: 2/10/2025
arXiv ID: oai:arXiv.org:2406.05753v5

摘要

arXiv:2406.05753v5 宣告类型: 替换-交叉 摘要:条件神经场(CNFs)现在正越来越多地被用作连续信号的表示,通过将每个数据样本与一个可以条件化共同基础神经场(NeF)以重建样本的潜在变量相关联来实现。然而,现有的CNF架构在使用这些潜在变量进行需要精细几何推理的任务(如分类和分割)时受到限制。我们认为这是由于CNFs的潜在空间中缺乏对几何信息(例如信号中的局部性或特征的方向)的显式建模。因此,我们提出了等变神经场(ENFs),这是一种新颖的CNF架构,使用几何信息指导的交叉注意力来基于几何变量(即特征的潜在点云)条件化NeF,从而使从潜在空间到场的解码具有等变性。我们展示了这种方法通过将场和潜在表示都与几何学联系起来并适应变换定律来赋予可引导性:如果场发生变化,潜在表示也会相应变化——反之亦然。至关重要的是,这种等变性关系确保潜在表示能够(1)忠实表示几何模式,从而在潜在空间中进行几何推理,以及(2)在相似局部模式上共享权重,从而有效地学习场数据集。我们通过包括分类、分割、预测、重建和生成建模在内的各种任务验证了这些主要属性,表明与非几何潜在空间的基线相比具有明显的改进。提交代码附在 https://github.com/Dafidofff/enf-jax。代码可参考干净和简洁的仓库 https://github.com/david-knigge/enf-min-jax。