LLM2D
humano和机器注意对增强监督学习的对齐
Aligning Human and Machine Attention for Enhanced Supervised Learning
作者: Avihay Chriqui, Inbal Yahav, Dov Teeni, Ahmed Abbasi
发布日期: 2/12/2025
arXiv ID: oai:arXiv.org:2502.06811v1

摘要

arXiv:2502.06811v1 交叉发布类型: cross 摘要:注意,或者在其他信息项之间优先选择某些信息项,是任何学习过程中的关键要素,无论是对人类还是机器。鉴于人类在某些学习任务上仍优于机器,通过使机器的注意机制与人类的注意机制相匹配来增强机器性能似乎是合情合理的——然而,关于这一主题的研究很少且效果有限。本文提出了一种新的方法来解决这一差距,名为人类-机器注意学习(HuMAL)。该方法依赖于由人类标注的数据,以反映他们在特定任务中自我感知的注意力。我们使用 Yelp 上的评论数据进行情感分析任务和 myPersonality 上的数据进行人格类型分类任务,评估了几种将此类人类注意力数据集成到机器学习(ML)算法中的替代策略。最佳的 HuMAL 策略显著提高了微调变压器模型(BERT、GPT-2 和 XLNET)的任务性能,特别是在不平衡或稀疏标签数据的挑战性条件下,优势尤为显著。这项研究促进了将人类注意力整合到 ML 模型中的策略的理解,并突显了利用人类认知来增强现实世界应用中 ML 的潜力。