LLM2D
基于未配对数据学习的轻量级智能手机ISP
Learned Lightweight Smartphone ISP with Unpaired Data
作者: Andrei Arhire, Radu Timofte
发布日期: 5/16/2025
arXiv ID: oai:arXiv.org:2505.10420v1

摘要

arXiv:2505.10420v1 交叉发布类型:cross 摘要:图像信号处理器(ISP)是现代智能手机摄像头中的一个基本组件,负责将RAW传感器图像数据转换为以感知质量为重点的RGB图像。近期的研究突显了深度学习方法的潜力及其在质量上逐步接近专业级相机的能力。当开发一个学习型ISP时,一个困难且昂贵的步骤是获取像素级对齐的配对数据,这些数据将智能手机摄像头传感器捕获的RAW图像映射到高质量的参考图像。在本文中,我们通过提出一种新型的训练方法来解决这一挑战,该方法消除了直接在RAW图像和匹配内容的地面真实数据之间建立对应关系的需求。我们的非配对方法使用由多个判别器引导的多项损失函数,这些判别器处理预训练网络的特征图,以保持内容结构,同时从目标RGB数据集中学习颜色和纹理特性。使用适合于移动设备的轻量级神经网络架构作为骨干,我们在Zurich RAW to RGB和Fujifilm UltraISP数据集上评估了我们的方法。与配对训练方法相比,我们的非配对学习策略显示出强大的潜力,并在多个评估指标中实现了高保真度。代码和预训练模型可在https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data 获取。