LLM2D
eNCApsulate: NCA 用于胶囊内镜的精确诊断
eNCApsulate: NCA for Precision Diagnosis on Capsule Endoscopes
作者: Henry John Krumb, Anirban Mukhopadhyay
发布日期: 5/1/2025
arXiv ID: oai:arXiv.org:2504.21562v1

摘要

arXiv:2504.21562v1 宣告类型: 交叉 摘要:无线胶囊内镜是一种非侵入性的成像方法,可以对整个消化道进行检查,并且是传统内镜的一种无痛替代方法。它会产生大量视频数据,需要大量审查时间,吞服胶囊后的定位是一个挑战。出血检测和深度估计等技术有助于病灶定位,但深度学习模型通常太大,无法直接在胶囊上运行。对出血分割和深度估计进行训练的神经细胞自动机(NCA)是在胶囊内镜图像上训练的。对于单目深度估计,我们通过将基础模型的输出视为伪ground truth,将大型基础模型精简为精瘦的NCA架构。然后,我们将训练好的NCA移植到ESP32微控制器上,使硬件如胶囊相机的图像处理变得高效。NCA比其他便携式分割模型更准确(Dice),同时所需的内存参数少于其他小型模型的100倍以上。NCA深度估计的视觉结果看起来令人信服,在某些情况下甚至比伪ground truth更真实、详细。在ESP32-S3上的运行时优化显著加速了平均推理速度,超过3倍。通过多种算法调整和精简,有可能将NCA模型封装进适合无线胶囊内镜的微控制器中。这是首次能够在微型设备上实现可靠的出血分割和深度估计的工作,为结合视觉里程计进行胶囊精确定位铺平了道路。