摘要
arXiv:2406.04772v3 宣告类型: replace-cross
摘要:近期无需复述的方法,在通过提示引导下,在漂移数据相关的持续学习(CL)方面表现出色,但缺乏资源效率,使得实际部署具有挑战性。本文中,我们引入了资源高效提示(Resource-Efficient Prompting,REP),该方法在保持准确率的前提下提高了基于提示的无需复述方法的计算和内存效率。我们的方法采用快速提示选择,利用精心配置的模型对输入数据进行细化,并引入了自适应令牌合并(AToM)和层丢弃(ALD)以实现高效的提示更新。AToM 和 ALD 在新任务学习过程中选择性地跳过数据和模型层,同时保留特定任务的特征。在多个图像分类数据集上的广泛实验表明,REP 在资源效率方面优于最新的基于 ViT 和 CNN 的方法。