arXiv:2505.08463v1 类型: cross 摘要：微调预训练语言模型（PLMs）已成为将PLMs应用于下游任务的主要范式。然而，即使进行了有限的微调，PLMs仍然难以解决由PLMs编码器获得的表示与PLMs解码器的最佳输入之间的差异。本文通过在隐空间中学习校准PLMs的表示来应对这一挑战。在提出的方法RepCali中，我们在编码器之后的隐空间中整合了一个特定的校准块，并将校准后的输出作为解码器的输入。RepCali的优点包括其适用于所有具有编码器-解码器架构的PLMs的通用性、插件性质和易实现性。在8个任务（包括英文和中文数据集）上的25个基于PLM的模型的广泛实验表明，提出的方法RepCali为PLMs（包括LLMs）提供了可喜的增强，并显著改善了下游任务的性能。在4个基准任务的比较实验中，RepCali优于代表性的微调基线。