摘要
事件相机具有高动态范围和低延迟等优势,使其非常适合具有挑战性的光照条件和快速移动场景。然而,从原始事件流中重建 3D 场景很困难,因为事件数据稀疏且不携带绝对颜色信息。为了释放其在 3D 重建中的潜力,我们提出了第一个基于事件的可泛化 3D 重建框架,称为 EvGGS,该框架以前馈方式仅从事件输入重建场景为 3D 高斯分布,并且可以推广到未见过的案例而无需任何重新训练。该框架包括一个深度估计模块、一个强度重建模块和一个高斯回归模块。这些子模块以级联方式连接,我们使用设计的联合损失协同训练它们,使其相互促进。为了促进相关研究,我们构建了一个新的基于事件的 3D 数据集,其中包含各种材料物体以及灰度图像、深度图、相机姿态和轮廓的校准标签。实验表明,联合训练的模型明显优于单独训练的模型。我们的方法在重建质量、深度/强度预测方面优于所有基线,并具有令人满意的渲染速度。