arXiv:2502.01179v1 Announce Type: cross 摘要：参数高效微调（PEFT）方法，如LoRA，常用于适应大语言模型（LLMs）。然而，在只有几百个例子的低资源场景中，标准的PEFT方法的效果有限。近期可解释性研究的进步激发了激活编辑技术的出现，这种技术可以修改特定模型组件的激活。由于其极小的参数计数，这些方法对于小数据集显示出了潜力。然而，他们的性能高度依赖于能够识别正确的要编辑的模块，并且在不同数据集上往往缺乏稳定性。在本文中，我们提出了一种联合定位和激活编辑（JoLA）的方法，该方法联合学习（1）哪些Transformer的头需要编辑；（2）干预应该是加性的、乘性的，还是两者皆有；（3）干预参数本身——应用于头输出的加性偏置向量或乘性缩放因子。通过对涵盖常识推理、自然语言理解和自然语言生成的三个基准的评估，我们展示了JoLA在所有基准上均优于现有方法。