arXiv:2502.06806v1 公告类型：交叉 摘要：许多商用大型语言模型（LLMs）往往是封闭源代码的，这限制了开发者仅能通过提示调整来使内容生成与特定应用对齐。尽管这些模型目前无法访问标记对数（token logits），但我们认为如果能够访问这些对数，将能够启用超出提示工程的更强大的适应技术。在本文中，我们提出了一种标记级别概率重塑框架，该框架在获得对数和少量任务特定数据的情况下，可以有效地引导黑盒LLM朝向特定应用的内容生成。我们的方法将下一标记预测视为监督分类问题。我们证明，将黑盒LLM与任务特定数据对齐可以表述为标签噪声修正问题，从而产生了“插件”模型——一种仅基于对数的概率重塑模型。我们提供了重新加权对数足以实现任务适应的理论依据。多个数据集、LLM和重新加权模型的广泛实验表明了我们方法的有效性，促进了在封闭源代码模型中更广泛的对数访问。