LLM2D
从认识论视角出发,研究独立约束下的解耦表示学习
Independence Constrained Disentangled Representation Learning from Epistemological Perspective
作者: Ruoyu Wang, Lina Yao
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2409.02672v2

摘要

解耦表示学习旨在通过训练一个数据编码器来识别数据生成过程中的语义上有意义的潜在变量,从而提高深度学习方法的可解释性。然而,关于解耦表示学习目标的普遍接受定义尚未达成共识。特别地,关于潜在变量之间是否应该相互独立存在着大量的讨论。在本文中,我们首先通过在认识论和解耦表示学习之间建立概念桥梁,来研究关于潜在变量之间相互关系的这些论点。然后,受这些跨学科概念的启发,我们引入了一个两级潜在空间框架,为关于这个问题的先前论点提供一个通用解决方案。最后,我们提出了一种新的解耦表示学习方法,通过在生成对抗网络 (GAN) 框架中整合互信息约束和独立性约束。实验结果表明,我们提出的方法在定量和定性评估方面始终优于基线方法。该方法在多个常用指标上表现出强大的性能,并展示了在解耦各种语义因素方面的强大能力,从而提高了可控生成的质量,进而有利于算法的可解释性。