LLM2D
逆熵最优传输通过数据似然最大化解决半监督学习问题
Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization
作者: Mikhail Persiianov, Arip Asadulaev, Nikita Andreev, Nikita Starodubcev, Dmitry Baranchuk, Anastasis Kratsios, Evgeny Burnaev, Alexander Korotin
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2410.02628v1

摘要

学习条件分布 $\pi^*(\cdot|x)$ 是机器学习中的一个核心问题,通常通过使用成对数据 $(x,y) \sim \pi^*$ 的监督方法来解决。然而,获取成对数据样本通常很困难,尤其是在领域转换等问题中。这需要开发利用有限成对数据和额外的非成对独立同分布样本 $x \sim \pi^*_x$ 和 $y \sim \pi^*_y$ 的**半监督**模型。这种组合数据的用法很复杂,通常依赖于启发式方法。为了解决这个问题,我们提出了一种新的学习范式,通过数据似然最大化技术**无缝地**整合成对数据和非成对数据。我们证明了我们的方法也与逆熵最优传输 (OT) 有着有趣的联系。这一发现使我们能够应用计算 OT 的最新进展,建立一种**轻量级**的学习算法来获得 $\pi^*(\cdot|x)$。此外,我们通过实证测试证明,我们的方法可以有效地使用成对数据和非成对数据同时学习条件分布。