摘要
深度学习模型通常被部署到训练过程可能没有意识到的下游任务中。例如,仅训练以实现准确预测的模型可能难以在下游任务中表现良好,因为看似微小的预测误差可能会导致巨大的任务误差。标准的端到端学习方法是使任务损失可微分,或者引入一个可微分的代理,模型可以对其进行训练。在这些设置中,需要仔细平衡任务损失和预测损失,因为它们可能具有冲突的目标。我们建议将任务损失信号比模型参数更深入一层,并使用它来学习模型训练所用损失函数的参数,这可以通过在预测空间中学习度量来实现。这种方法不会改变最佳预测模型本身,而是改变模型学习,以强调对下游任务重要的信息。这使我们能够实现两全其美:在原始预测空间中训练的预测模型,同时对所需的后续任务也很有价值。我们通过在两种主要设置中进行的实验验证了我们的方法:1)涉及投资组合优化和预算分配的决策重点模型学习场景,以及 2)在具有干扰状态的嘈杂环境中的强化学习。用于复制我们实验的源代码可在 https://github.com/facebookresearch/taskmet 获取。