低秩适应 (LoRA) 是一种流行的参数高效微调 (PEFT) 方法，它可以有效地适应大型预训练模型以用于下游任务。LoRA 使用每层低秩矩阵参数化模型更新，显著减少了可训练参数的数量，从而在微调期间降低了资源需求。然而，由于使用了低秩矩阵模型，可训练参数数量的下限仍然很高。在本文中，我们通过提出一种新的方法来解决这一限制，该方法采用低秩张量参数化模型更新。所提出的低秩张量模型可以显著减少可训练参数的数量，同时还可以更细粒度地控制适配器的大小。我们在自然语言理解、指令微调、偏好优化和蛋白质折叠基准上的实验表明，我们的方法在微调大型语言模型方面既高效又有效，在保持相当性能的同时，显著减少了参数数量。