arXiv:2502.12200v1 异常类型: cross 摘要: 提示调优（PT）为大规模预训练语言模型（PLMs）的精细调优提供了一种成本效益高的替代方案，只需要在输入文本之前添加少量的软提示令牌参数。然而，现有的PT方法面临两个显著的问题：(i) 它们忽略了软提示令牌之间的内在语义关联，导致高离散性和有限的互动，从而降低了模型在复杂任务中的理解和有效性。(ii) 由于下游任务的复杂性，需要较长的软提示来提高性能，但提示长度与内存使用和计算成本呈正相关。实现高效性和性能仍然是一个持续的挑战。为了解决这些问题，我们提出了一种新颖的低参数提示调优（LAMP）方法，该方法利用了提示分解和压缩外积。具体来说，提示分解模块采用截断SVD来减少训练参数，并显著降低软提示参数空间的维度。然后，它利用压缩外积模块来促进提示令牌之间的多种互动，探索它们的内在关联以增强知识表示。最后，LAMP使用平均池化来减少内存使用和训练/推理时间。在六种架构和八个数据集上的广泛实验表明，LAMP在性能和效率方面均优于最先进的PT基方法和LoRA基方法。