arXiv:2503.12790v2 通知类型: 替换-交叉 摘要：低秩适应（LoRA）通过低秩矩阵逼近使预训练语言模型的高效微调成为可能，在许多场景中实现了有效性。然而，在复杂任务或高秩依赖设置中，它的表示能力受到限制，可能限制了模型的适应性。为了解决经典低秩逼近在微调大型语言模型（LLMs）时的表达能力瓶颈，我们提出了量子张量混合适应（QTHA），这是一种参数效率高的微调方法，将量子神经网络（QNN）与张量网络相结合。QTHA 通过将预训练权重分解为量子神经网络和张量网络表示，在低秩空间内探索量子张量混合微调，利用量子态叠加来克服经典秩限制。实验表明，QTHA 在参数效率微调中的性能与 LoRA 相当甚至超越 LoRA。与 LoRA 相比，QTHA 在保持相同训练步数的情况下，减少了 76% 的可训练参数，降低了高达 17% 的训练损失，并在测试集上提高了高达 17% 的性能。这项研究不仅使量子资源能够轻量级地适应十亿参数级模型，还验证了由LLM任务驱动的量子硬件优化的可行性。它为未来的量子增强人工通用智能（AGI）系统建立了首个工程就绪的基础。