arXiv:2504.03718v1 类型: cross 摘要：大型语言模型（LLMs）在决策制定、推理和问答等各种任务中取得了显著的成功，并且已经在边缘设备上得到了广泛应用。然而，由于边缘设备上的高计算成本以及有限的存储和能源资源，针对特定任务对LLMs进行微调仍然是一个挑战。为此，我们提出了TaskEdge，这是一种适用于边缘设备的任务感知参数高效微调框架，该框架将最有效的参数分配给目标任务，并仅更新特定于任务的参数。具体来说，我们首先设计了一个参数重要性计算标准，该标准将权重和输入激活都纳入了权重重要性的计算中。然后，我们提出了一种模型无关的任务特定参数分配算法，以确保特定于任务的参数能够在模型中均匀分布，而不是集中于特定区域。通过这样做，TaskEdge可以在更新不到0.1%的参数的情况下，显著降低计算成本和内存使用量，同时在下游目标任务上保持性能。此外，TaskEdge可以轻松集成到结构化稀疏性中，从而利用 NVIDIA 的专门稀疏张量核实现加速，还可以无缝集成 LoRA，以实现高效的稀疏低秩适应。在各种任务上的 extensive 实验表明了 TaskEdge 的有效性。