LLM2D
面向内窥镜相机深度估计的全参数和参数高效自学习
Towards Full-parameter and Parameter-efficient Self-learning For Endoscopic Camera Depth Estimation
作者: Shuting Zhao, Chenkang Du, Kristin Qi, Xinrong Chen, Xinhan Di
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2410.00979v2

摘要

近年来,人们开发了适应方法,将深度基础模型应用于内窥镜深度估计。然而,这些方法通常在训练中表现不佳,因为它们将参数搜索限制在低秩子空间,并改变了训练动态。因此,我们提出了一种用于内窥镜深度估计的全参数和参数高效学习框架。在第一阶段,注意力、卷积和多层感知的子空间在不同的子空间内同时进行自适应。在第二阶段,提出了一种内存高效的优化方法,用于子空间组合,并在联合子空间中进一步提高性能。在 SCARED 数据集上的初步实验表明,与最先进的模型相比,第一阶段的结果将 Sq Rel、Abs Rel、RMSE 和 RMSE log 的性能从 10.2% 提高到 4.1%。