LLM2D
使用嘈杂的零 shot 假标签增强半监督学习
Enhancing Semi-supervised Learning with Noisy Zero-shot Pseudolabels
作者: Jichan Chung, Irene Y. Chen
发布日期: 2/19/2025
arXiv ID: oai:arXiv.org:2502.12584v1

摘要

arXiv:2502.12584v1 公告类型: cross 摘要:半监督学习(SSL)利用有限的标记数据和大量的未标记数据来解决机器学习中的标注成本问题。虽然近期的基模型能够进行零 shot 推断,但通过伪标签将这些能力集成到 SSL 中的努力因零 shot 预测可靠性差而效果参差不齐。我们提出了 ZMT(零 shot 多任务学习),这是一种框架,它联合优化零 shot 伪标签和来自当代 SSL 方法的无监督表示学习目标。我们的方法引入了一种基于多任务学习的机制,该机制在确保对伪标签质量变化的鲁棒性的同时,包含伪标签。在视觉、语言和音频领域的 8 个数据集上的实验表明,与传统 SSL 方法相比,ZMT 可将错误率降低高达 56%,尤其是在伪标签噪音大且不可靠时表现尤为突出。ZMT 代表了使半监督学习在资源受限的环境中更有效和更易于访问的一个重要步骤。