摘要
arXiv:2310.07800v3 公告类型: 替换
摘要:注意力机制在通过识别输入数据中的关键部分来增强学习模型方面展现了巨大的潜力,特别是在训练样本有限的情况下。受人类感知的启发,我们提议专注于关键数据片段而不是整个数据集,以提高学习模型的准确性和可靠性。然而,在少量样本学习的情况下,识别这些关键数据片段,即“关键注意力发现”,是一项具有挑战性的任务,因为训练数据稀缺且模型参数复杂。为了解决这个问题,我们引入了LaHA,这是一种新颖的框架,利用语言引导的深度强化学习来识别和利用信息性数据区域,从而提高可解释性和性能。基准数据集上的 extensive 实验验证了 LaHA 的有效性。