LLM2D
PixLens:基于对象检测和 SAM 的扩散图像编辑解耦评估框架
PixLens: A Novel Framework for Disentangled Evaluation in Diffusion-Based Image Editing with Object Detection + SAM
作者: Stefan Stefanache, Llu\'is Pastor P\'erez, Julen Costa Watanabe, Ernesto Sanchez Tejedor, Thomas Hofmann, Enis Simsar
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.05710v1

摘要

评估基于扩散的图像编辑模型是生成式 AI 领域一项至关重要的任务。具体而言,评估它们执行各种编辑任务的能力,同时保留图像内容和真实感是必不可少的。尽管生成模型的最新发展为图像编辑开辟了前所未有的可能性,但对这些模型进行彻底评估仍然是一项具有挑战性和开放性的任务。由于评估本质上需要编辑后的参考图像,缺乏标准化的评估基准进一步加剧了这一问题。目前,评估通常依赖于 CLIP 等已建立的模型,或者需要人工干预才能全面了解这些图像编辑模型的性能。我们的基准 PixLens 对编辑质量和潜在表示解耦进行了全面评估,有助于推动和改进该领域现有的方法。