LLM2D
DebiasPI:文本到图像生成模型在推理时的提示迭代去偏见
DebiasPI: Inference-time Debiasing by Prompt Iteration of a Text-to-Image Generative Model
作者: Sarah Bonna, Yu-Cheng Huang, Ekaterina Novozhilova, Sejin Paik, Zhengyang Shan, Michelle Yilin Feng, Ge Gao, Yonish Tayal, Rushil Kulkarni, Jialin Yu, Nupur Divekar, Deepti Ghadiyaram, Derry Wijaya, Margrit Betke
发布日期: 2/3/2025
arXiv ID: oai:arXiv.org:2501.18642v1

摘要

arXiv:2501.18642v1 交叉公告类型 摘要:伦理干预提示已成为对抗文本到图像生成AI模型中的人口统计偏差的工具。现有的解决方案要么需要重新训练模型,要么难以生成反映性别和种族理想分布的图像。我们提出了一种名为DebiasPI的推理时过程,这是一种通过启用用户控制图像生成中个体人口统计属性分布的偏差消除-通过提示迭代。DebiasPI 通过探测模型的内部状态或使用外部属性分类器跟踪哪些属性已被生成。其控制循环引导文本到图像模型选择尚未充分代表的属性。借助DebiasPI,我们能够创建种族和性别平等代表的图像,以可视化具有挑战性的新闻标题概念。我们还实验了年龄、体型、职业和肤色等属性,并测量了当我们的干预提示针对无关属性类型分布时这些属性如何变化。例如,如果要求文本到图像模型平衡种族代表性,性别代表性会改善,但肤色则变得不那么多样化。我们使用各种干预提示尝试覆盖广泛的肤色范围,发现模型难以生成最浅的肤色。我们进行了多种消融研究,在这些研究中,我们移除了DebiasPI的属性控制,揭示了模型倾向于生成年轻男性角色的倾向。有时,模型通过生成两栏图像来可视化职业成功,其中预先成功的深肤色人物在成功后变浅肤色,或者从预先成功的女性角色变为成功的男性角色,从而进一步强调了使用DebiasPI进行伦理干预提示的重要性。